google ALBERT

スタンフォード大学のwikipedeia質疑応答タスクSQuADのランキングで2019年10月現在トップに君臨するのが、google ALBERTです。アルバート・アインシュタインを彷彿とさせるネーミングですね。2018年に発表されたgoogle BERTの軽量版、a Lite BERTです。

※グーグルとTTIC（トヨタ技術研究所シカゴ）の最新論文「軽量BERT＝ALBERT、言語表現の自己教師あり学習」

https://arxiv.org/pdf/1909.11942.pdf

要約

自然言語の事前学習を行う場合、一般にデータサイズを大きくするとパフォーマンスが向上します。しかし、GPU/TPUメモリの制限、トレーニング時間の制限、予期しない性能低下などにより、データサイズの拡張には困難が伴います。これらの問題に対処するために,メモリ消費を低減し,BERT(Devlinら,2019)のトレーニング速度を増加させるために,２つのパラメータ削減手法を提示した。

包括的な経験的証拠によると,提案手法が元のBERTと比較してはるかに良く拡張できるモデルを導くことが示された。また,文間一貫性のモデル化に焦点を当てた単語欠落文の自己教師あり学習により,複数文から成る教師あり学習タスクを一貫して改善することを示した。

その結果、我々の最善モデルでは、GLUE, RACE,SQuAD課題において、state of the art(SOTA)つまり、世界最先端の結果が得られました。しかもBERTと比較して少ないパラメータにより実現されています。

－－－

はい、ちょっと難しすぎますね。「自己教師あり学習」は、教師あり学習を自分だけで行うというニュアンスですが、それなら教師無し学習のような気がしちゃいますね。BERTを軽量化して、性能が向上してしまったというのが不思議ですね。

教師あり学習の教師データを作成する事業も世界中で毎日進展していますし、教師データを削減するための工夫も毎日改善されているということでしょう。勿論、ムーアの法則で、コンピューターの処理速度と記憶容量も日々進化しています。機械学習の改善と、ムーアの法則がダブルで作用して、自然言語処理の精度は驚くべきスピードで改善し続けているのです。

※参考記事

google BERT 自然言語のディープラーニングが進行中