L3 · المحوّل
من متجه إلى الرمز التالي
تتتبّع آخر متجه عبر رأس المخرجات حتى احتمال لكل رمز.
بعد آخر كتلة لديك متجه لكل رمز، وأنت تحتاج احتمالًا لكل رمز من خمسين ألف رمز قد يأتي تاليًا. والجسر مصفوفة واحدة فيها صف لكل رمز. قارن المتجه بكل صف لتحصل على درجات، ثم تحوّلها softmax إلى احتمالات.