Pretraining

השלב הראשון באימון של מודלי שפה גדולים.

בשלב הזה לוקחים כמויות עצומות של טקסט מהאינטרנט, ומאמנים את המודל לחזות את הטוקן הבא בטקסט.
לא שיחה, לא צ׳אט, רק לחזות את הטוקן הבא.

בשלב הזה המודל רוכש את רוב הידע והיכולות שלו.
בהמשך האימון, מה שמכונה Post Training, המודל רוכש את היכולות לדבר כמו צ׳אט ולהשתפר בפתרון בעיות.