L3 · المحوّل
التسوية والوصلات المتبقية
تشرح الفرق بين التسوية القبلية والبعدية، ولماذا تتدرّب القبلية بسهولة أكبر.
كان محوّل 2017 يرتّب أرقامه بعد كل عملية جمع، وكان تدريبه يحتاج حذرًا: يبدأ معدل التعلم قرب الصفر ثم يرتفع ببطء. ثم نقل GPT-2 كل تسوية إلى مدخل كتلتها. الأجزاء نفسها، وسطر واحد انتقل، فصار تدريب الأكوام العميقة أسهل بكثير.