जेनेरेटिभ पूर्व-प्रशिक्षित ट्रान्सफर्मरहरू (जिपिटीहरू) गहिरो-सिक्ने मोडेलहरूको एउटा वर्ग हो जसले ट्रान्सफर्मर आर्किटेक्चरको लाभ उठाएर इनपुट प्रम्प्टहरूमा आधारित मानव-जस्तो पाठ उत्पन्न गर्दछ। जिपिटीहरू पाठ उत्पादन, भाषा अनुवाद, भावना विश्लेषण, र अधिक सहित एनएलपी कार्यहरूको विस्तृत श्रृंखलामा उत्कृष्ट छन्। परम्परागत डेटा पूर्व-प्रशोधन कार्यहरू, जस्तै टोकनाइजेशन, स्टेमिङ, र लेम्मेटाइजेसन, समय खपत गर्ने र स्रोत-गहन हुन सक्छ।