જનરેટિવ પ્રી-ટ્રેઇન્ડ ટ્રાન્સફોર્મર્સ (જી. પી. ટી.) એ ડીપ-લર્નિંગ મોડેલ્સનો એક વર્ગ છે જે ઇનપુટ પ્રોમ્પ્ટ્સના આધારે માનવ જેવા લખાણ પેદા કરવા માટે ટ્રાન્સફોર્મર આર્કિટેક્ચરનો લાભ લે છે. જી. પી. ટી. લખાણ નિર્માણ, ભાષાનું ભાષાંતર, લાગણીનું વિશ્લેષણ અને વધુ સહિત એન. એલ. પી. કાર્યોની વિશાળ શ્રેણીમાં ઉત્કૃષ્ટતા ધરાવે છે. પરંપરાગત ડેટા પ્રીપ્રોસેસિંગ કાર્યો, જેમ કે ટોકનાઇઝેશન, સ્ટેમિંગ અને લેમેટાઇઝેશન, સમય માંગી શકે છે અને સંસાધન-સઘન હોઈ શકે છે.