الخوف الذي أخّر الشبكات العصبية كان مصوَّبًا نحو الشيء الخطأ.

D2 · نزول التدرّج

كل نموذج سمعتَ به تعلّم بالطريقة نفسها: تحسّس اتجاه ميل الأرض، ثم اخطُ نزولًا، ثم كرّر ذلك بضعة ملايين من المرّات. يبني هذا الفصل تلك الحلقة من الصفر. سترى الخسارة مشهدًا أرضيًا، وتشاهد معدّل تعلّم كبيرًا أكثر من اللازم يقذف نموذجًا عن جرف، وتقابل الخوف من القيعان المحلّية الذي أسهم في إبعاد كثير من الباحثين عن الشبكات العصبية، وترى لماذا جعلت الأبعاد العالية ذلك الخوف في غير محلّه. ثم النصف العملي: الدفعات الصغيرة ولماذا تنفع الضوضاء، والزخم، و RMSProp، وآدم و AdamW، والإحماء والجداول الجيبتمامية، وقصّ التدرّج، وكيف تقرأ منحنى الخسارة قراءةً تكفي لتعرف ما الذي تُغيّره. وستبني SGD والزخم وآدم بيدك وتُسابقها على السطح نفسه.