ਜਨਰੇਟਿਵ ਪ੍ਰੀ-ਟਰੇਨਡ ਟ੍ਰਾਂਸਫਾਰਮਰਜ਼ (ਜੀ. ਪੀ. ਟੀ.) ਡੂੰਘੀ ਸਿਖਲਾਈ ਦੇ ਮਾਡਲਾਂ ਦੀ ਇੱਕ ਸ਼੍ਰੇਣੀ ਹੈ ਜੋ ਟ੍ਰਾਂਸਫਾਰਮਰ ਆਰਕੀਟੈਕਚਰ ਦਾ ਲਾਭ ਉਠਾਉਂਦੇ ਹੋਏ ਇੰਪੁੱਟ ਪ੍ਰੋਂਪਟਸ ਦੇ ਅਧਾਰ 'ਤੇ ਮਨੁੱਖ ਵਰਗਾ ਟੈਕਸਟ ਤਿਆਰ ਕਰਦੇ ਹਨ। ਜੀ. ਪੀ. ਟੀ. ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ, ਭਾਸ਼ਾ ਅਨੁਵਾਦ, ਭਾਵਨਾ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਹੋਰ ਬਹੁਤ ਸਾਰੇ ਐੱਨ. ਐੱਲ. ਪੀ. ਕਾਰਜਾਂ ਵਿੱਚ ਉੱਤਮਤਾ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ। ਰਵਾਇਤੀ ਡਾਟਾ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਕਾਰਜ, ਜਿਵੇਂ ਕਿ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ, ਸਟੈਮਿੰਗ ਅਤੇ ਲੈਮੈਟਾਈਜ਼ੇਸ਼ਨ, ਸਮਾਂ-ਖਪਤ ਅਤੇ ਸਰੋਤ-ਤੀਬਰ ਹੋ ਸਕਦੇ ਹਨ।