जनरेटिव्ह प्री-ट्रेनड ट्रान्सफॉर्मर्स (जी. पी. टी.) हा सखोल-शिक्षण मॉडेल्सचा एक वर्ग आहे जो इनपुट प्रॉम्प्टवर आधारित माणसासारखा मजकूर तयार करण्यासाठी ट्रान्सफॉर्मर आर्किटेक्चरचा लाभ घेतो. जी. पी. टी. मजकूर निर्मिती, भाषेचे भाषांतर, भावना विश्लेषण आणि बरेच काही यासह एन. एल. पी. कार्यांच्या विस्तृत श्रेणीमध्ये उत्कृष्ट कामगिरी करतात. टोकनायझेशन, स्टेमिंग आणि लेम्मॅटायझेशन यासारखी पारंपारिक डेटा प्रीप्रोसेसिंग कार्ये वेळखाऊ आणि संसाधन-गहन असू शकतात.