ଜେନେରେଟିଭ୍ ପ୍ରି-ଟ୍ରେନଡ୍ ଟ୍ରାନ୍ସଫର୍ମର୍ସ (ଜିପିଟି) ହେଉଛି ଗଭୀର-ଶିକ୍ଷଣ ମଡେଲର ଏକ ବର୍ଗ ଯାହା ଟ୍ରାନ୍ସଫର୍ମର୍ ସ୍ଥାପତ୍ଯ଼ର ଲାଭ ଉଠାଇ ଇନ୍ପୁଟ୍ ପ୍ରମ୍ପଟ ଉପରେ ଆଧାର କରି ମାନବ ପରି ପାଠ୍ଯ଼ ସୃଷ୍ଟି କରେ | ଜି. ପି. ଟି. ଗୁଡ଼ିକ ଏନ. ଏଲ. ପି. ର ବିଭିନ୍ନ କାର୍ଯ୍ଯ଼ରେ ଉତ୍କର୍ଷ ହାସଲ କରିଥାନ୍ତି, ଯେଉଁଥିରେ ପାଠ୍ଯ଼ ସୃଷ୍ଟି, ଭାଷା ଅନୁବାଦ, ଭାବପ୍ରବଣତା ବିଶ୍ଳେଷଣ ଏବଂ ଆହୁରି ଅନେକ କିଛି ସାମିଲ ରହିଛି। ପାରମ୍ପରିକ ଡାଟା ପ୍ରି-ପ୍ରୋସେସିଂ କାର୍ଯ୍ଯ଼, ଯେପରିକି ଟୋକନାଇଜେସନ୍, ଷ୍ଟେମିଂ, ଏବଂ ଲେମାଟାଇଜେସନ୍, ସମଯ଼ ସାପେକ୍ଷ ଏବଂ ସମ୍ବଳ-ନିବିଡ଼ ହୋଇପାରେ |