قانون نيوتن الثاني في الذكاء الاصطناعي.
D3 · الانتشار الخلفي
أخبرك نزول التدرّج أن تخطو نزولًا. ولم يخبرك كيف يعرف نموذج فيه مئة مليار وزن أين النزول. وهذا هو موضوع الفصل. الانتشار الخلفي (Backpropagation) هو قاعدة السلسلة مطبَّقة على رسم حسابي (Computation Graph)، لا أكثر. سترسم الرسم، وتدفع الأرقام إلى الأمام، ثم تدفع التدرّجات إلى الخلف حافةً حافةً حتى يعرف كل وزن نصيبه من اللوم. وستحسب خلية واحدة بيدك، ثم شبكة من طبقتين بيدك، ثم الشيء نفسه بالمصفوفات. ثم الجزء الصريح. التدرّجات تتلاشى في الأكوام العميقة، وتنفجر في الشبكات المتكرّرة، وتموت داخل وحدات ReLU. سترى كل عطب، وتقيسه، وتتحقّق من كل تدرّج تحسبه بفرق منتهٍ (Finite Difference). وتختم بالتاريخ، من أطروحة فنلندية عام 1970 إلى مجلة Nature عام 1986، وبأسباب اعتقاد علماء الأعصاب أن الدماغ يفعل…
- كل نموذج رسم حسابي
- التمريرة الأمامية
- كل عقدة تعرف مشتقة صغيرة واحدة
- التسلسل إلى الخلف
- خلية واحدة بيدك
- طبقتان بيدك
- الانتشار الخلفي بالمصفوفات
- الاشتقاق التلقائي بالنمط العكسي
- لماذا تكلفته زهيدة
- تدرّجات تتلاشى
- تدرّجات تنفجر ووحدات تموت
- الاشتقاق التلقائي عمليًا
- التحقّق العددي من التدرّجات
- ما ليس هو الانتشار الخلفي