जनरेटिव प्री-ट्रेनड ट्रांसफॉर्मर (जी. पी. टी.) गहन-शिक्षण मॉडल का एक वर्ग है जो इनपुट प्रॉम्प्ट के आधार पर मानव जैसे पाठ उत्पन्न करने के लिए ट्रांसफॉर्मर वास्तुकला का लाभ उठाता है। जी. पी. टी. एन. एल. पी. कार्यों की एक विस्तृत श्रृंखला में उत्कृष्टता प्राप्त करते हैं, जिसमें पाठ सृजन, भाषा अनुवाद, भावना विश्लेषण और बहुत कुछ शामिल हैं। पारंपरिक डेटा प्रीप्रोसेसिंग कार्य, जैसे टोकनाइजेशन, स्टेमिंग और लेमेटाइज़ेशन, समय लेने वाले और संसाधन-गहन हो सकते हैं।