نموذج المحادثة لا يختار كلمة أبدًا. هو يرمي نردًا مرجّحًا.
F3 · الخطأ المقصود
النماذج لا تُخرج إجابات، بل تُخرج توزيعات، وكل اختيار بعد ذلك هو عيّنة. يبني هذا الفصل التوزيعات من العدّ البسيط، ثم يحوّلها إلى كميتين ستلازمانك: الإنتروبيا التقاطعية (cross-entropy) وهي دالة الخسارة التي يصغّرها كل مصنِّف ونموذج لغة تقريبًا، وتباعد كولباك–لايبلر (KL divergence) وهو البتات الزائدة التي يدفعها النموذج حين يعتقد غير الحقيقة. وتأتي قاعدة بايز (Bayes) كتحديث للاعتقاد لا كصيغة تُحفظ. وتخرج عارفًا بالضبط ماذا تفعل درجة الحرارة (temperature) بنرد النموذج.
- رقم لا تعرفه بعد
- العملات والفئات
- الجرس والخط المستوي
- أين يستقر وكم يتذبذب
- المشترك والهامشي والشرطي
- بايز تحديث للاعتقاد
- حين لا تخبرك معرفة أحدهما بشيء
- المعاينة وقانون الأعداد الكبيرة
- أي إعداد يفسّر البيانات أفضل
- المفاجأة مقيسة
- الإنتروبيا التقاطعية: الخسارة التي ستلازمك
- تباعد كولباك–لايبلر
- دالة سوفت‑ماكس ودرجة الحرارة