قبل الانتباه، كان على النموذج أن يحشر فقرة كاملة في متجه واحد.
D6 · التسلسل والذاكرة
الترتيب يحمل معنى، لذا يحتاج النموذج الذي يقرأ جملة إلى ذاكرة. أعطته الشبكات المتكررة ذاكرة: حالة مخفية تُمرَّر من خطوة إلى أخرى. يفكّ هذا الفصل تلك الحلقة، ويدرّبها عبر الزمن، ويبيّن النقطة التي تموت عندها التدرّجات على المدخلات الطويلة. عالجت البوابات جزءًا من المشكلة، وكشف متجه العنق الواحد في الترجمة بقية المشكلة، وهي بالضبط الفجوة التي اختُرع الانتباه لسدّها.
- بيانات يهم فيها الترتيب
- متجه يتذكر
- فكّ الحلقة
- الانتشار الخلفي عبر الزمن
- المشكلة نفسها، لكن في الزمن
- بوابات تختار ما تحتفظ به
- GRU: بوابات أقل ونتيجة مشابهة
- التدريب مقابل التوليد
- نموذج لغوي على مستوى الحرف
- متجه واحد لجملة كاملة
- لماذا نحتاج الانتباه