L4 · تدريب نموذج لغوي
تقسيم العمل
تميّز بالصورة بين الطرق الثلاث لتقسيم التجربة على شرائح كثيرة.
تدريب نموذج من سبعين مليار معامل يحتاج نحو تيرابايت من الذاكرة. وشريحة H100 الواحدة تسع 80 غيغابايت. فتُقطَّع المهمة قطعًا، وتقضي القطع عمرها في الحديث بعضها إلى بعض.