BERT

TransformerのEncoder部分を複数重ねたモデル。

BERTでは、事前学習とファインチューニングのニ段階の学習が必要になる。 まず、事前学習で、膨大な数の教師なし文章を用いて一般的な文章を理解するモデルを作成する。その後、ファインチューニングで、少量の教師ありデータを用いて各タスクに特化した予測モデルを作成する。

事前学習では、膨大な数のラベルなし文章データを用いて、以下の2つの偽のタスクを解く。

ファインチューニングでは、最終層の後ろに1層追加して真のタスクを解く。これにより、少量の教師ありデータを用意するだけで精度の高いモデルが得られる。