היפרפרמטרים (Hyperparameter) הם פרמטרים שהערכים שלהם נקבעים לפני תחילת תהליך אימון למידת מכונה. בניגוד לפרמטרים של מודל הנלמדים במהלך תהליך האימון, היפרפרמטרים אינם נגזרים מנתוני האימון ובדרך כלל נשארים קבועים לאורך שלב האימון. הם ממלאים תפקיד מרכזי בשליטה בהיבטים שונים של תהליך ההכשרה, כולל קצב הלמידה, חוזק ההסדרה וארכיטקטורת הרשת, בין היתר.
כוונון היפרפרמטרים הוא שלב מכריע בפיתוח מודל למידת מכונה. הבחירה הנכונה יכולה לשפר משמעותית את ביצועי הדגם, בעוד שבחירות לא אופטימליות עלולות להוביל להתאמת יתר או התכנסות איטית. אסטרטגיות שונות, כגון חיפוש רשת, חיפוש אקראי ואופטימיזציה בייסיאנית, משמשות כדי להתאים באופן שיטתי הפרמטרים ולהעריך את השפעתם על ביצועי המודל. על ידי אופטימיזציה של ערכים אלה, המתרגלים שואפים להגיע לאיזון בין הטיה לשונות, ומבטיחים שהמודל יתכלל היטב לנתונים חדשים, בלתי נראים.
