لا يسلّم التدريب المسبق النموذج حقيقة واحدة. بل يلتقط الحقائق بنفسه، لأن تخمين الكلمة التالية جيدًا مستحيل من دونها.
L4 · تدريب نموذج لغوي
الهدف جملة واحدة: خمّن الرمز التالي، وادفع ثمن دهشتك. وكل ما يسميه الناس قدرة ينمو من فعل ذلك على نصٍّ كافٍ. يتابع هذا الفصل تجربة تدريب حقيقية من الدفعة الأولى إلى نقطة الحفظ الأخيرة، ثم عبر المراحل التي تحوّل متنبئًا بالنص إلى مساعد. ستراجع تجربة تدريب على فاتورتها، وتقرأ منحنى خسارة ساء مساره، وتخرج قادرًا على النظر في جدول معايير دون أن تنخدع به.
- خمّن الرمز التالي
- تقييم التخمين
- من أين يأتي النص
- تنظيف النص
- النوافذ والدفعات والرصّ
- الحلقة على نطاق واسع
- إحماء ثم تباطؤ
- أرقام صغيرة وقفزات كبيرة
- تقسيم العمل
- الرموز مقابل المعاملات
- من متنبئ إلى مساعد
- التعلّم من التفضيلات
- DPO، والاكتفاء بالأقل
- قراءة جدول المعايير