L4 · تدريب نموذج لغوي
تقييم التخمين
تقرأ خسارة نموذج لغوي حيرةً، وتقول متى لا تصح المقارنة بين حيرتين.
قابلت الإنتروبيا التقاطعية في فصل الاحتمالات: كل تخمين يدفع دهشة الاحتمال الذي منحه للجواب الصحيح. والنموذج اللغوي يدفع ذلك عند كل رمز. وخسارته هي متوسط الفاتورة.