المرحلة ١ · مبتدئ · D2
نزول التدرّج
الخوف الذي أخّر الشبكات العصبية كان مصوَّبًا نحو الشيء الخطأ.
١٤ درسًا · ١٦٩ دقيقةمتوسط
عن هذا الفصل
كل نموذج سمعتَ به تعلّم بالطريقة نفسها: تحسّس اتجاه ميل الأرض، ثم اخطُ نزولًا، ثم كرّر ذلك بضعة ملايين من المرّات.
يبني هذا الفصل تلك الحلقة من الصفر. سترى الخسارة مشهدًا أرضيًا، وتشاهد معدّل تعلّم كبيرًا أكثر من اللازم يقذف نموذجًا عن جرف، وتقابل الخوف من القيعان المحلّية الذي أسهم في إبعاد كثير من الباحثين عن الشبكات العصبية، وترى لماذا جعلت الأبعاد العالية ذلك الخوف في غير محلّه.
ثم النصف العملي: الدفعات الصغيرة ولماذا تنفع الضوضاء، والزخم، و RMSProp، وآدم و AdamW، والإحماء والجداول الجيبتمامية، وقصّ التدرّج، وكيف تقرأ منحنى الخسارة قراءةً تكفي لتعرف ما الذي تُغيّره. وستبني SGD والزخم وآدم بيدك وتُسابقها على السطح نفسه.
ما ستقدر عليه، درسًا بعد درس
- ١١٠ دقائق
الخسارة مشهدٌ أرضي
تقرأ مشهد الخسارة: كل ضبط للأوزان مكان، والخسارة هي ارتفاعك فوقه.
- ٢١١ دقيقة
الميل يدلّك على طريق النزول
تستعمل المشتقّة عند نقطة لتقرّر أي اتجاه يُنقص الخسارة، ثم تُعمّم ذلك على أوزان كثيرة دفعةً واحدة.
- ٣١٢ دقيقة
خطوة واحدة نزولًا
تكتب تحديث نزول التدرّج وتُشغّله، وتشرح ما الذي يتحكّم فيه معدّل التعلّم.
- ٤١٢ دقيقة
كبير جدًا، صغير جدًا
تتعرّف على التباعد وعلى الزحف من منحنى الخسارة، وتعرف مدى معدّلات التعلّم التي يمكن أن تنجح.
- ٥١٢ دقيقة
القصاع والمشاهد الحقيقية
تُميّز المسألة المحدّبة من غير المحدّبة، وتقول ماذا يضمن كلٌّ منهما بشأن المكان الذي تنتهي إليه.
- ٦١٣ دقيقة
الخوف في غير محلّه
تشرح لماذا لا تكون القيعان المحلّية هي العائق الحقيقي في الأبعاد العالية، وما هي نقطة السرج بدلًا منها.
- ٧١٣ دقيقة
الخطوات المشوّشة تغلب الخطوات المثالية
تختار بين تدرّج الدفعة الكاملة والمثال الواحد والدفعة الصغيرة، وتشرح لماذا تنفع الضوضاء بدل أن تضرّ.
- ٨١٢ دقيقة
امنح الكرة بعض الثقل
تشرح الزخم بوصفه متوسّطًا متحرّكًا للتدرّجات، وتتوقّع أين ينفع وأين يتجاوز الهدف.
- ٩١٢ دقيقة
خطوة مختلفة لكل وزن
تشرح لماذا لا يناسب معدّل تعلّم واحد مشترك النماذجَ الحقيقية، وكيف يمنح RMSProp كل وزن مقياسه الخاصّ.
- ١٠١٣ دقيقة
آدم: الفكرتان معًا
ترى كيف يجمع آدم بين الزخم وRMSProp، ولماذا تحتاج خطواته الأولى إلى إصلاح، وماذا يغيّر AdamW في اضمحلال الأوزان.
- ١١١٢ دقيقة
غيّر الخطوة وأنت تمشي
تختار جدول معدّل تعلّم لتشغيلة، وتقول ممّ يحمي الإحماء.
- ١٢١٢ دقيقة
القفزة التي تُفسد أسبوعًا
تتعرّف على التدرّج المنفجر، وتحدّ حجمه دون أن تغيّر الجهة التي يشير إليها.
- ١٣١٣ دقيقة
أن تعرف متى تتوقّف
تقرأ منحنى الخسارة وتقرّر هل تواصل، أم تخفض معدّل التعلّم، أم تتوقّف.
- ١٤١٢ دقيقة
شاهِدها تتسابق
تُسابق SGD والزخم وRMSProp وآدم على الأرض نفسها، وتشرح لماذا يتغيّر الفائز بتغيّر الأرض.