المرحلة ٢ · متوسط · D10
التعلّم بالتجربة
لم يرَ AlphaGo Zero مباراة غو بشرية واحدة، ومع ذلك هزم النسخة التي رأتها بنتيجة 100 مقابل لا شيء.
١٥ درسًا · ١٣٨ دقيقةمتقدّم
عن هذا الفصل
بعض الأمور لا مفتاح إجابة لها، بل نتيجة تصل متأخرة. يبني هذا الفصل التعلّم من تلك النتيجة، صورة صغيرة بعد أخرى. ستختار بين أربعة مقاهٍ، وتراقب وكيلًا يتعلّم شبكة خانةً خانة، وتعبث به حتى يجد طريقًا آخر. ثم تكبر الحلقة نفسها: شبكات تلعب أتاري من البكسلات، وبرامج تهزم أبطال العالم باللعب ضد نفسها، وروبوتات تتدرّب في المحاكاة، والمرحلة الأخيرة من تدريب مساعد المحادثة.
ما ستقدر عليه، درسًا بعد درس
- ١٨ دقائق
لا أحد يعطيه الجواب
تسمّي أركان التعلّم بالتجربة الأربعة: الوكيل، والعالم، والفعل، والمكافأة.
- ٢٨ دقائق
المألوف أم الجديد؟
تقدّر جودة كل خيار من متوسطه حتى الآن، وتقول لماذا تخدع المحاولات القليلة.
- ٣٩ دقائق
جشِع غالبًا، فضولي أحيانًا
تضبط كم مرة يستكشف الوكيل، وتقرأ ما يكلّفه الاستكشاف وما يكسبه.
- ٤٩ دقائق
مكانك يغيّر اختيارك
تصف مسألة بالحالات والأفعال والمكافآت والانتقالات، وتتحقق من أن الحالة تحمل كل ما يلزم للاختيار.
- ٥٩ دقائق
دولار اليوم
تجمع سلسلة من المكافآت في عائد واحد، وتصغّر البعيدة منها بمعامل خصم.
- ٦٩ دقائق
كم تساوي هذه الخانة؟
تقرأ خريطة القيم وتحوّلها إلى سياسة، بأن تخطو دائمًا إلى الجار الأعلى قيمة.
- ٧١١ دقيقة
التعلّم خطوة بخطوة
تحدّث قيمة Q من حركة واحدة، وتراقب جدولًا منها يتعلّم طريقًا بلا خريطة.
- ٨٩ دقائق
فضول في البداية وحذر في النهاية
تختار جدولًا للاستكشاف، وتكتشف الوكيل الذي رضي بالأقل لأنه توقف عن البحث مبكرًا.
- ٩١١ دقيقة
خانات أكثر من أن يسعها جدول
تشرح كيف حلّت شبكة محل جدول Q، وما الذي احتاجه DQN كي لا تنهار تلك الشبكة.
- ١٠١٠ دقائق
ارفع ما نجح
تشرح بكلمات بسيطة كيف تجعل طريقة REINFORCE حركات الحلقة الجيدة أرجح.
- ١١١٠ دقائق
مدرّب بجانب اللاعب
تقول ما يضيفه الناقد إلى السياسة، ولماذا تحدّ طريقة PPO المسافة التي يحرّكها كل تحديث.
- ١٢٨ دقائق
تعلّم النتيجة لا المهمة
تكتشف الوكيل الذي يجمع المكافأة التي أُعطيها بدل أن يؤدي العمل المقصود منه.
- ١٣١٠ دقائق
أن تلعب ضد نفسك
تشرح كيف يصنع اللعب ضد النفس خصومه بنفسه، وكيف يحسّن البحث النقلة قبل لعبها.
- ١٤٩ دقائق
من الألعاب إلى الروبوتات
تشرح لماذا تتعلّم الروبوتات في المحاكاة أولًا، وكيف يساعدها محاكٍ مشوّش عمدًا على الصمود في العالم الحقيقي.
- ١٥٨ دقائق
الحلقة نفسها، موجّهة إلى الكلمات
تطابق المرحلة الأخيرة من تدريب مساعد المحادثة مع الوكيل والفعل والمكافأة والسياسة.