المرحلة ٢ · متوسط · D7
قوانين التوسّع العصبي
الذكاء الاصطناعي لا يتجاوز هذا الخط، ولا أحد يعرف لماذا هو موجود أصلًا.
١١ درسًا · ١١٠ دقائقمتقدّم
عن هذا الفصل
كبّر النموذج، وأطعمه بيانات أكثر، وأنفق حوسبة أكبر، فتهبط الخسارة على خط مستقيم في مخطط لوغاريتمي مزدوج. هذه الانتظامية من أغرب الحقائق التجريبية في المجال، وهي اليوم تقرر كيف تُنفق مليارات الدولارات. يعلّمك هذا الفصل قراءة تلك المخططات، ومقارنة وصفتَي كابلان وشينشيلا، وتوزيع ميزانية الحوسبة بين المعاملات والرموز. وهو صريح أيضًا بشأن الظهور المفاجئ (emergence)، حيث الأدلة موضع خلاف.
ما ستقدر عليه، درسًا بعد درس
- ١١٠ دقائق
قراءة المخطط اللوغاريتمي المزدوج
تقرأ الميل على محاور لوغاريتمية وتحوّله إلى جملة مفهومة.
- ٢١٠ دقائق
قوانين القوى في كل مكان
تتعرف على قانون القوى وتقول بماذا يتنبأ وإلى متى.
- ٣٩ دقائق
الحوسبة والبيانات والمعاملات
تشرح كيف تتبادل المدخلات الثلاثة فيما بينها عند خسارة ثابتة.
- ٤١٠ دقائق
نتيجة كابلان
تلخّص ما ادّعته ورقة التوسّع عام 2020 وكيف قيس ذلك.
- ٥١١ دقيقة
شينشيلا تغيّر الوصفة
تشرح لماذا كانت النماذج ناقصة التدريب وما هي النسبة المصححة.
- ٦١٠ دقائق
إنفاق ميزانية حوسبة
تقسّم ميزانية ثابتة بين حجم النموذج وعدد الرموز، مع تبرير.
- ٧١١ دقيقة
الظهور المفاجئ ونقّاده
تشرح كيف يصنع اختيار المقياس قفزة مفاجئة في القدرة.
- ٨١٠ دقائق
لماذا يستمر الأكبر في النجاح
تعرض التفسيرات الرائدة للتوسّع وتحدد أيها ما زال تخمينًا.
- ٩١٠ دقائق
كم تكلّف تجربة تدريب متقدمة
تقدّر الحوسبة والمال خلف تجربة تدريب كبيرة.
- ١٠٩ دقائق
التوسّع وقت الاستدلال
تقارن إنفاق الحوسبة أثناء التدريب بإنفاقها على كل إجابة.
- ١١١٠ دقائق
بماذا لا يتنبأ المنحنى
تذكر الأشياء التي لا تقول عنها منحنيات الخسارة شيئًا، ومنها نفاد البيانات.