المرحلة ٢ · متوسط · D6
التسلسل والذاكرة
قبل الانتباه، كان على النموذج أن يحشر فقرة كاملة في متجه واحد.
١١ درسًا · ١٠٧ دقائقمتوسط
عن هذا الفصل
الترتيب يحمل معنى، لذا يحتاج النموذج الذي يقرأ جملة إلى ذاكرة. أعطته الشبكات المتكررة ذاكرة: حالة مخفية تُمرَّر من خطوة إلى أخرى. يفكّ هذا الفصل تلك الحلقة، ويدرّبها عبر الزمن، ويبيّن النقطة التي تموت عندها التدرّجات على المدخلات الطويلة. عالجت البوابات جزءًا من المشكلة، وكشف متجه العنق الواحد في الترجمة بقية المشكلة، ولسدّ هذه الفجوة اختُرع الانتباه.
ما ستقدر عليه، درسًا بعد درس
- ١٨ دقائق
بيانات يهم فيها الترتيب
تتعرف على مسائل التسلسل وتقول لماذا يفشل معها حجم دخل ثابت.
- ٢٩ دقائق
متجه يتذكر
تصف الحالة المخفية كملخّص جارٍ لكل ما رآه النموذج حتى الآن.
- ٣١٠ دقائق
فكّ الحلقة
ترسم شبكة متكررة مفرودة عبر الزمن وتشير إلى الأوزان المشتركة.
- ٤١١ دقيقة
الانتشار الخلفي عبر الزمن
تنفّذ الانتشار الخلفي عبر الخطوات الزمنية وتشرح البتر.
- ٥١٠ دقائق
المشكلة نفسها، لكن في الزمن
تبيّن لماذا تتلاشى الاعتماديات الطويلة وأين تضيع الإشارة.
- ٦١٢ دقيقة
بوابات تختار ما تحتفظ به
تمرّ بخطوة زمنية واحدة عبر بوابات الذاكرة الطويلة القصيرة (LSTM) الثلاث وحالة الخلية.
- ٧٨ دقائق
GRU: بوابات أقل ونتيجة مشابهة
تقارن GRU بـ LSTM من حيث المعاملات والسرعة والدقة المعتادة.
- ٨٩ دقائق
التدريب مقابل التوليد
تشرح الإجبار بالمعلّم وفجوة التعرّض التي يخلقها عند التوليد.
- ٩١١ دقيقة
نموذج لغوي على مستوى الحرف
تدرّب نموذج حروف صغيرًا على هذا الجهاز وتولّد منه نصًا.
- ١٠١٠ دقائق
متجه واحد لجملة كاملة
تشرح عنق الزجاجة في بنية المرمّز والمفكّك وتقيس أثره على المدخلات الطويلة.
- ١١٩ دقائق
لماذا نحتاج الانتباه
تذكر المشكلات الثلاث التي حلّها الانتباه ولم تستطع البوابات حلّها.