מודל Dense

בהקשר של מודלי שפה גדולים, כשכותבים ארכיטקטורת Dense מדברים על מודל שפה גדול שבנוי בצורת הטרנספורמר הקלאסי, אל מול Mixture of Experts או כל ארכיטקטורה אחרת שמוגדרת ״ספארסית״ (דלילה).

בעברית, מדובר על מודל שכדי להצליח להפעיל אותו, צריך להעביר את הטוקנים לגמרי לגמרי בכולו, הוא לא מחולק לחלקים שרק חלקם משתתפים בתהליך ההסקה.