مختبر قلّص ذاكرة النموذج للمحادثة بنسبة 93 بالمئة، وأبقى رؤوسه كلها.
L2 · الانتباه
الانتباه قاموس يطابق فيه كل مفتاح قليلًا. كل رمز يطرح سؤالًا، وكل رمز يجيب بمقدار قربه، فيأتي الرد مزيجًا. ومن هنا تأتي الرؤوس والقناع السببي وذاكرة المفاتيح والقيم. وتأتي التكلفة أيضًا: شبكة الدرجات تنمو مع مربع طول النص، ولهذا وُجدت مجموعات الاستعلام والانتباه الكامن والانتباه الوامض.
- قاموس بمفاتيح ضبابية
- الاستعلامات والمفاتيح والقيم
- الانتباه بالضرب النقطي المقيس
- سوفت‑ماكس على المواضع
- رؤوس كثيرة وأسئلة كثيرة
- ممنوع النظر إلى الأمام
- قراءة خرائط الانتباه
- ذاكرة المفاتيح والقيم
- لماذا السياق الطويل مكلف
- صيغ انتباه أرخص
- الانتباه الوامض