জেনারেটিভ প্রি-ট্রেইন্ড ট্রান্সফর্মার (জিপিটি) হল গভীর শিক্ষার মডেলগুলির একটি শ্রেণী যা ইনপুট প্রম্পটগুলির উপর ভিত্তি করে মানুষের মতো পাঠ্য তৈরি করতে ট্রান্সফরমার স্থাপত্যকে কাজে লাগায়। জিপিটিগুলি পাঠ্য তৈরি, ভাষা অনুবাদ, অনুভূতি বিশ্লেষণ এবং আরও অনেক কিছু সহ এনএলপি কাজের বিস্তৃত পরিসরে দক্ষতা অর্জন করে। ঐতিহ্যবাহী ডেটা প্রি-প্রসেসিং কাজ, যেমন টোকেনাইজেশন, স্টেমিং এবং লেমাটাইজেশন, সময়সাপেক্ষ এবং সম্পদ-নিবিড় হতে পারে।