רגולריזציה

רגולריזציה הוא תהליך בלימוד מכונה שמקיים את הרעיון ש״מה שפשוט יותר, טוב יותר״.

במהות, רגולריזציה היא פעולה מתמטית שכופה על הפרמטרים של המודל להיות קטנים ככל האפשר. הפרמטרים של המודל הם בעצם אלה שמחליטים על ההשפעה של כל אלמנט בקלט, וככל שהם קטנים יותר או שואפים ל-0, אנחנו בעצם אומרים למודל ״תנסה לעשות כמה שפחות עבודה על הקלט, ועדיין לקבל תוצאה טובה״.

פרקטית, אפשר לחשוב על זה בצורה הבאה. נניח ואנחנו רוצים לחזות את מחירי הדיור בעיר מסוימת, ויש לנו מאפייני גיל, מצב סוציואקונומי ומאפיינים נוספים. רגולריזציה תכפה על המודל להשתמש בכמה שפחות מאפיינים כאלה לביצוע החיזוי, כדי לייצר מודל ״אלגנטי״ ולא משהו מאד מסובך שלוקח בחשבון המון המון פרטים, שאולי התאימו במקרה בדאטה עליו אימנו אבל לא באמת מסבירים אותו בעולם האמיתי. במילים אחרות, מדובר בדרך לטפל בתופעת הOverfitting בלימוד מכונה.

חשוב לציין כי רגולריזציה זאת סוג של ״אמונה״ שלנו, שמלווה בהמון ניסויים אמפיריים שמראים שכנראה עובדת טוב, שמורכבות יתר מובילה בסוף, בעולם האמיתי, ליותר טעויות.