end-to-end reinforcement learning

斎藤康毅、ゼロから作るDeepLearning

「ニューラルネットワーク自作入門」も良書でしたが、こちらもディープラーニングの仕組みが良く分かる良書だと思いました。文系だの数学苦手だの言ってないでガンガン読むべきでしょう。分からなくても読む、分からないことを勉強するという態度が重要でしょう。

この本に書いてあった重要概念は、end-to-end reinforcement learning 。直訳すると、端から端までの強化学習という言葉ですね。

画像データを分類したり認識したりして「答え」を出す場合に、ディープラーニングでは、

①人の考えたアルゴリズムで人が作ったプログラムで分類するのではなく、②人が考えたSHIFT,HOG,SURF などの特徴量を抽出してから、サポートベクターマシンなど機械学習の認識器を使って分類するのでもなく、③端から端まで、つまり、最初から最後まで、ひとつの改良されたニューラルネットワーク(ディープラーニングニューラルネットワークDNN)を使うということです。

end-to-end reinforcement learning は「人の介入が一切不要である」という性質を示している表現になるわけです。人の介入が不要なので、「データの下処理」や「プログラミング」が一切不要になります。

人間の五感作用、視覚、聴覚、味覚、触覚、嗅覚、これみんなセンサー入力の観測数値を脳に入力して処理しますから、脳にとっては全て同じものなんですね。あらゆる人間の知能作用は、すべてディープラーニングの学習で習得できてしまうのか、という感想を持ちました。

ディープラーニングのこの性質を初めて知った時に一部のプログラマーの方々は「これじゃあプログラマーは要らなくなる、失業だ!」という嘆きをブログなどで書いておられました。実際それはGPT3で現実化しつつあるわけですが、ディープラーニングを知らないプログラマーでもない人がそれを読んでも、「そんな馬鹿な!ちょっと大げさでは?」という感想を持つかも知れませんが、「ディープラーニングを勉強すればするほど」、「プログラミングを勉強すればするほど」、この意味が分かってくると思います。ブログの論調では、客に頼まれて仕様書通りの処理を仕上げるような普通のプログラマーは失業だけど、新しいサービスを発案したりするような提案型の創造的プログラマーは大丈夫なはず、というような結論が多いようです。

孫子の言葉「敵を知り己を知れば百戦危うからず」にもある通り、シンギュラリティを乗り越えるためにはAIの性質を深く正しく理解し、自らの行動を修正していくことが必要になります。

※参考記事

ニューラルネットワーク、ディープラーニング


投稿日

カテゴリー:

投稿者:

タグ:

コメント

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です