জেনেৰেটিভ প্ৰাক-প্ৰশিক্ষিত ট্ৰান্সফৰ্মাৰ (জিপিটি) হৈছে গভীৰ-শিক্ষণ মডেলৰ এটা শ্ৰেণী যি ইনপুট প্ৰমপ্টৰ ওপৰত আধাৰিত কৰি মানুহৰ দৰে লিখনী সৃষ্টি কৰিবলৈ ট্ৰান্সফৰ্মাৰ স্থাপত্যৰ ব্যৱহাৰ কৰে। জি. পি. টি.-সমূহে এন. এল. পি.-ৰ বিভিন্ন ক্ষেত্ৰত উৎকৃষ্টতা অৰ্জন কৰে, যাৰ ভিতৰত আছে পাঠ সৃষ্টি, ভাষা অনুবাদ, আৱেগ বিশ্লেষণ আৰু বহুতো। পৰম্পৰাগত তথ্য প্ৰি-প্ৰচেছিং কাৰ্য্য, যেনে টোকেনাইজেশ্যন, ষ্টেমিং, আৰু লেমেটাইজেশ্যন, সময় খৰচী আৰু সম্পদ-নিবিড় হ 'ব পাৰে।