كلمة strawberry فيها ثلاثة أحرف r، والنموذج لا يرى أيًّا منها.
L1 · الكلمات كأرقام
النموذج اللغوي لا يرى حروفًا أبدًا، بل يرى معرّفات رموز (tokens)، وطريقة تقطيع النص إلى رموز تقرر بهدوء ما الذي يسهل على النموذج وما يستحيل عليه. يبني هذا الفصل ترميز أزواج البايتات (BPE) دمجًا بعد دمج، ثم يحوّل المعرّفات إلى تضمينات (embeddings)، وهي إحداثيات يتعلمها النموذج للمعنى. وسترى لماذا ينجح الحساب على الكلمات أحيانًا، وستقيس التكلفة الإضافية التي تدفعها العربية في أغلب المُرمِّزات. وكثير من إخفاقات النماذج الغريبة يبدأ من هذه الخطوة.
- لا بد أن يصير النص أرقامًا
- الحروف والكلمات والوحدات الفرعية
- ترميز أزواج البايتات دمجًا بعد دمج
- ما حجم المفردات المناسب؟
- الرموز الخاصة وقوالب المحادثة
- التضمينات إحداثيات متعلَّمة
- التشابه والتناظر
- المعنى من الصحبة
- أين يقع الرمز
- الإخفاقات الغريبة
- ما تكلفة العربية على المُرمِّز
- حساب الرموز والتكلفة