D2 · نزول التدرّج
آدم: الفكرتان معًا
تكتب تحديث آدم، وتقول ما الذي يُصلحه تصحيح الانحياز، وتشرح فيمَ يختلف AdamW.
قابلتَ النصفين من قبل. الزخم يأخذ متوسّط التدرّج فيثبت الاتجاه. وRMSProp يأخذ متوسّط مربّعه فينال كل وزن خطوة عادلة. وآدم (Adam) يحتفظ بالمتوسّطين ويستعملهما معًا. ونادرًا ما يحتاج ضبطًا كثيرًا، ولهذا انتشر.