D6 · التسلسل والذاكرة
بوابات تختار ما تحتفظ به
تمرّ بخطوة زمنية واحدة عبر بوابات LSTM الثلاث وحالة الخلية.
كل مشكلات الدرس الخامس جاءت من عادة واحدة. الخلية العادية تعيد بناء حالتها في كل خطوة، فتُضرب المعلومة القديمة مرة بعد مرة. والعلاج بسيط إلى حد الجرأة: احتفظ بمتجه ثانٍ، واكتفِ في الغالب بالإضافة إليه. فالجمع يعيد التدرج إلى الوراء بعامل 1 تمامًا، مهما كثرت الخطوات.