R2 · أوراق فارقة، معادة البناء
شينشيلا (2022)
تقسم ميزانية تدريب واحدة بالطريقة المثلى حوسبيًا، وتقول ما الذي غيّرته.
بعد 2020 كانت النصيحة أن تُنفق الميزانية الأكبر على نموذج أكبر في الأغلب. فدرّب المجال مئات المليارات من الأوزان على بضع مئات من مليارات الرموز. ولم تكد البيانات تتغير من نموذج إلى آخر.