L10 · أصغر وأسرع وأرخص
نموذج صغير يكتب المسودة
تشرح كيف يراجع نموذج كبير مسودة نموذج صغير في تمريرة واحدة، ولماذا لا يتغير النص.
نموذج صغير يخمّن الرموز الخمسة التالية. والنموذج الكبير يراجعها كلها في تمريرة واحدة، في وقت يقارب كتابة رمز واحد. فإن قُبلت الأربعة الأولى، أعطتك تلك الخطوة الكبيرة خمسة رموز: الأربعة، ورمزًا من عنده. وهذا هو التوليد التخميني (Speculative Decoding).