ಜನರೇಟಿವ್ ಪ್ರಿ-ಟ್ರೈನ್ಡ್ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ಗಳು (ಜಿಪಿಟಿಗಳು) ಆಳವಾದ ಕಲಿಕೆಯ ಮಾದರಿಗಳ ಒಂದು ವರ್ಗವಾಗಿದ್ದು, ಇನ್ಪುಟ್ ಪ್ರಾಂಪ್ಟ್ಗಳ ಆಧಾರದ ಮೇಲೆ ಮಾನವನಂತಹ ಪಠ್ಯವನ್ನು ಉತ್ಪಾದಿಸಲು ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ವಾಸ್ತುಶಿಲ್ಪವನ್ನು ಬಳಸಿಕೊಳ್ಳುತ್ತವೆ. ಜಿಪಿಟಿಗಳು ಪಠ್ಯ ಉತ್ಪಾದನೆ, ಭಾಷಾ ಅನುವಾದ, ಭಾವನೆ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಹೆಚ್ಚಿನವುಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ಎನ್ಎಲ್ಪಿ ಕಾರ್ಯಗಳಲ್ಲಿ ಉತ್ಕೃಷ್ಟತೆಯನ್ನು ಸಾಧಿಸುತ್ತವೆ. ಟೋಕನೈಸೇಶನ್, ಸ್ಟೆಮ್ಮಿಂಗ್ ಮತ್ತು ಲೆಮ್ಮಟೈಸೇಷನ್ನಂತಹ ಸಾಂಪ್ರದಾಯಿಕ ದತ್ತಾಂಶ ಪೂರ್ವ-ಸಂಸ್ಕರಣಾ ಕಾರ್ಯಗಳು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುವ ಮತ್ತು ಸಂಪನ್ಮೂಲ-ತೀವ್ರವಾಗಿರಬಹುದು.