المرحلة ١ · مبتدئ · D3
الانتشار الخلفي
قانون نيوتن الثاني في الذكاء الاصطناعي.
١٤ درسًا · ١٥٢ دقيقةمتوسط
عن هذا الفصل
أخبرك نزول التدرّج أن تخطو نزولًا. ولم يخبرك كيف يعرف نموذج فيه مئة مليار وزن أين النزول، وهذا ما يشرحه الفصل.
الانتشار الخلفي (Backpropagation) هو قاعدة السلسلة مطبَّقة على رسم حسابي (Computation Graph)، لا أكثر. سترسم الرسم، وتدفع الأرقام إلى الأمام، ثم تدفع التدرّجات إلى الخلف حافةً حافةً حتى يعرف كل وزن نصيبه من اللوم. وستحسب خلية واحدة بيدك، ثم شبكة من طبقتين بيدك، ثم الشيء نفسه بالمصفوفات.
ثم يأتي الجزء الصريح. التدرّجات تتلاشى في الأكوام العميقة، وتنفجر في الشبكات المتكرّرة، وتموت داخل وحدات ReLU. سترى كل عطب، وتقيسه، وتتحقّق من كل تدرّج تحسبه بفرق منتهٍ (Finite Difference). وتختم بالتاريخ، من أطروحة فنلندية عام ١٩٧٠ إلى مجلة Nature عام ١٩٨٦، وبأسباب اعتقاد علماء الأعصاب أن الدماغ يفعل شيئًا آخر.
ما ستقدر عليه، درسًا بعد درس
- ١١١ دقيقة
كل نموذج رسم حسابي
تحوّل أي تعبير إلى رسم من عمليات صغيرة.
- ٢١٠ دقائق
التمريرة الأمامية
تمرّر القيم عبر الرسم وتخزّن ما ستحتاجه التمريرة الخلفية.
- ٣١٢ دقيقة
كل عقدة تعرف مشتقة صغيرة واحدة
تكتب التدرّج المحلّي لعمليات الجمع والضرب ولدالّة لاخطّية.
- ٤١٢ دقيقة
التسلسل إلى الخلف
تضرب التدرّجات المحلّية على مسار لتحصل على تدرّج أي وزن.
- ٥١١ دقيقة
خلية واحدة بيدك
تحسب كل تدرّجات خلية سيجمويد واحدة بالورقة والقلم.
- ٦١٢ دقيقة
طبقتان بيدك
تنفّذ تمريرة خلفية كاملة عبر شبكة من طبقتين بيدك.
- ٧١١ دقيقة
الانتشار الخلفي بالمصفوفات
تفهم لماذا تشغّل المكتبات الحقيقية التمريرة الخلفية على شكل بضعة جداءات مصفوفات، وتتحقّق من أن كل شكل يتراصف.
- ٨١٠ دقائق
الاشتقاق التلقائي بالنمط العكسي
ترى لماذا يمشي الانتشار الخلفي في الرسم إلى الخلف: فمع خسارة واحدة وملايين الأوزان، تكفي مسحة خلفية واحدة لتعطي كل التدرّجات.
- ٩٩ دقائق
لماذا تكلفته زهيدة
تقارن تكلفة الانتشار الخلفي بحساب كل تدرّج على حدة.
- ١٠١٠ دقائق
تدرّجات تتلاشى
تشرح لماذا يتقلّص التدرّج مع العمق، وتقيس سرعة ذلك.
- ١١١٠ دقائق
تدرّجات تنفجر ووحدات تموت
تكشف انفجار التدرّج وموت وحدات ReLU من الأرقام التي تسجّلها.
- ١٢١٢ دقيقة
الاشتقاق التلقائي عمليًا
تدرّب شبكة صغيرة باشتقاق أدوات مصفوفة التلقائي وتقرأ كل تدرّج.
- ١٣١١ دقيقة
التحقّق العددي من التدرّجات
تفحص تمريرتك الخلفية باختبار التحريك البسيط، وتقرّر ما الفرق المقبول.
- ١٤١١ دقيقة
ما ليس هو الانتشار الخلفي
تذكر الأسباب الرئيسة التي تجعل تشغيل الدماغ للانتشار الخلفي مستبعدًا.