ഇൻപുട്ട് പ്രോംപ്റ്റുകളെ അടിസ്ഥാനമാക്കി മനുഷ്യനെപ്പോലുള്ള വാചകം സൃഷ്ടിക്കുന്നതിന് ട്രാൻസ്ഫോർമർ ആർക്കിടെക്ചറിനെ സ്വാധീനിക്കുന്ന ആഴത്തിലുള്ള പഠന മോഡലുകളുടെ ഒരു വിഭാഗമാണ് ജനറേറ്റീവ് പ്രീ-ട്രെയിൻഡ് ട്രാൻസ്ഫോർമറുകൾ (ജിപിടി). ടെക്സ്റ്റ് ജനറേഷൻ, ഭാഷാ വിവർത്തനം, വികാര വിശകലനം എന്നിവയും അതിലേറെയും ഉൾപ്പെടെ വൈവിധ്യമാർന്ന എൻഎൽപി ജോലികളിൽ ജിപിടികൾ മികവ് പുലർത്തുന്നു. ടോക്കണൈസേഷൻ, സ്റ്റെമ്മിംഗ്, ലെമ്മറ്റൈസേഷൻ തുടങ്ങിയ പരമ്പരാഗത ഡാറ്റാ പ്രീപ്രൊസസിംഗ് ജോലികൾ സമയമെടുക്കുന്നതും വിഭവ-തീവ്രവുമാണ്.