L3 · المحوّل
GPT وBERT
تقارن بين هدفَي التدريب، وما يتقنه كل نموذج.
يتعلّم النموذجان بإخفاء كلمات وتخمينها، لكنهما يخفيان أشياء مختلفة. يخفي GPT المستقبل: في كل موضع يخمّن الرمز التالي. أما BERT فيخفي كلمات قليلة متفرقة في جملة مكتملة، ثم يخمّنها مما قبلها وما بعدها.