D3 · الانتشار الخلفي
تدرّجات تنفجر ووحدات تموت
تكشف انفجار التدرّج وموت وحدات ReLU من الأرقام التي تسجّلها.
تخيّل نموذجًا يتدرّب بلا مشاكل ساعتين. ثم تعطي دفعة واحدة معيار تدرّج يقارب 1,200,000، فتطبع كل خسارة بعدها NaN. لم ينذر منحنى الخسارة بشيء. وأظهر معيار التدرّج كل شيء.