जनरेटिव्-प्री-ट्रेनीड्-ट्रान्स्फ़ार्मर्स् (जी. पी. टी.) इति गहन-शिक्षण-प्रतिरूपाणां एकः वर्गः अस्ति यः इन्पुट्-प्राम्प्ट्स् इत्यस्य आधारेण मानवसदृशं पाठं निर्मातुं ट्रान्स्फ़ार्मर्-वास्तुकलायाः लाभं करोति। जी. पी. टी. इत्येते एन. एल्. पी. कार्येषु विविधेषु क्षेत्रेषु उत्कृष्टाः भवन्ति, यथा पाठ्य-निर्माणम्, भाषा-अनुवादः, भाव-विश्लेषणम् इत्यादीनि। टोकनैसेशन्, स्टेमिङ्ग्, लेम्मेटैसेशन् इत्यादीनि पारम्परिक-दत्तांश-पूर्वसंस्करण-कार्याणि समयसापेक्षानि, संसाधन-गहनानि च भवितुम् अर्हन्ति।