المرحلة ٢ · متوسط · L1
الكلمات كأرقام
كلمة strawberry فيها ثلاثة أحرف r، والنموذج لا يرى أيًّا منها.
١٢ درسًا · ١١٧ دقيقةمتوسط
عن هذا الفصل
النموذج اللغوي لا يرى حروفًا أبدًا، بل يرى معرّفات رموز (tokens)، وطريقة تقطيع النص إلى رموز تقرر ما الذي يسهل على النموذج وما يستحيل عليه. يبني هذا الفصل ترميز أزواج البايتات (BPE) دمجًا بعد دمج، ثم يحوّل المعرّفات إلى تضمينات (embeddings)، وهي إحداثيات يتعلمها النموذج للمعنى. وسترى لماذا ينجح الحساب على الكلمات أحيانًا، وستقيس التكلفة الإضافية التي تدفعها العربية في أغلب المُرمِّزات. وكثير من إخفاقات النماذج الغريبة يبدأ من هذه الخطوة.
ما ستقدر عليه، درسًا بعد درس
- ١٨ دقائق
لا بد أن يصير النص أرقامًا
تشرح لماذا يحتاج النموذج إلى مفردات ثابتة من معرّفات صحيحة.
- ٢٩ دقائق
الحروف والكلمات والوحدات الفرعية
تقارن مستويات التقطيع الثلاثة من حيث حجم المفردات وطول التسلسل.
- ٣١١ دقيقة
ترميز أزواج البايتات دمجًا بعد دمج
تنفّذ تدريب BPE على نص صغير بيدك وتقرأ قائمة الدمج.
- ٤٩ دقائق
ما حجم المفردات المناسب؟
توازن بين حجم المفردات وطول التسلسل والذاكرة والكلمات النادرة.
- ٥٨ دقائق
الرموز الخاصة وقوالب المحادثة
تقرأ قالب محادثة وتشير إلى الرموز التي تحدد الأدوار.
- ٦١١ دقيقة
التضمينات إحداثيات متعلَّمة
تصف ما هو جدول التضمينات وكيف يُدرَّب.
- ٧١٠ دقائق
التشابه والمماثلات
تستخدم تشابه جيب التمام لإيجاد الجيران وتختبر مماثلة بأمانة.
- ٨١٠ دقائق
المعنى من الصحبة
تشرح إشارة التدريب في سكيب‑غرام بجملة واحدة، ولماذا تنجح.
- ٩١٠ دقائق
أين يقع الرمز
تشرح لماذا يجب إدخال الترتيب، وتقارن المواضع المطلقة بالدوّارة.
- ١٠١١ دقيقة
الإخفاقات الغريبة
تتوقع أي المهام تنكسر بسبب التقطيع، ومنها العدّ والحساب.
- ١١١٢ دقيقة
ما تكلفة العربية على المُرمِّز
تقيس عدد الرموز لكل كلمة في العربية والإنجليزية وتشرح فجوة التكلفة.
- ١٢٨ دقائق
حساب الرموز والتكلفة
تقدّر عدد الرموز وتكلفة موجّه حقيقي قبل إرساله.