google BERT 自然言語のディープラーニングが進行中

Screenshot of ai.googleblog.com

アメリカの英語のグーグル検索窓において、自然言語処理Natural Language Processing=NLPの大きなブレークスルーBERTが英語のグーグル検索で実際に提供開始されました。日本語など他言語においても順次提供開始されるということです。

https://www.google.com/

こちらの検索窓で英語で普通の言葉で話し掛けてみましょう。Bidirectional Encoder Representations from Transformers(BERT)は、直訳で「変換器による双方向読み込みによる表現」となります。エンコードというのは、ニューラルネットワークに読み込ませるという意味ですから、ニューラルネットワークに双方向読み込みさせるということですね。双方向というのは、文章の頭から読み込ませる方向と、文章の後ろから読み込ませる方向と、両方やっているということです。頭から読んでも、後ろから読んでも、文章(自然言語)であることに変わりは無いので、学習効果が上げられるというわけです。そうやって受け答え(自然言語処理)の精度を上げていくのですね。

画像認識は2015年、音声認識も2017年頃に、人類の認識率を越えたとされています。自然言語処理においても、人類の認識率を超えることが時間の問題と言われています。

勿論、画家や音楽家や文学者のような芸術作品のレベルに到達することは困難でしょうけど、普通の画像認識、普通の音声認識、普通の自然言語理解については、AIが人類を超越することが現実化してきたと言えます。実際、SQuAD1.1というスタンフォード大学が提供している英語の自然言語応答データセットの課題スコアでは人間を超えているというデータがあります。EMは完全一致率、F1は部分一致率です。人間のパフォーマンスEM82.304%に対して、BERTはEM87.433%を叩き出しています。

SQuAD1.1 Leaderboard

画像認識、音声認識、自然言語認識とは、つまり、普通の我々人間が、社会生活において、受け答えしたりする活動の全てを意味します。画像センサーや、マイクや、スピーカーなどで、我々の軽度な知的作業はすべて代替可能になるということです。

上記ブログ記事を読めば分かりますが、この自然言語処理は自動運転ソフトウェアautowareなどと同様に、「オープンソースソフトウェア」として全世界に公開されて共同開発がされています。この技術はオープンイノベーションとして急速に開発(改良)され、急速に普及していくでしょう。

これから成人し就職することになる未成年の皆さんは、このインパクトがどのように波及していくか、真剣に考える必要があるでしょう。

※参考記事

AIの画像認識率が既に人類を超えてる件

AIの音声認識率も既に人類を超えてる件

コメントする

メールアドレスが公開されることはありません。