D2 · نزول التدرّج
شاهِدها تتسابق
تُنفّذ SGD والزخم وآدم بيدك، وتُسابقها على السطح ثنائي الأبعاد نفسه، وتشرح لماذا يتغيّر الفائز بتغيّر السطح.
صار بين يديك أربع طرائق. وهي تختلف في خيارين فقط: اتجاه الخطوة، وطولها. فـSGD يأخذ التدرّج الخام للأمرين. والزخم ينعّم الاتجاه. وRMSProp يضبط الطول لكل وزن. وآدم يفعل الاثنين. السطح نفسه، والبداية نفسها، وعدد الخطوات نفسه: والآن ترى الفروق بعينك.