LLM遊び

いま、Chat-GPTが大流行しており、テレビでも毎日、生成ＡＩのネタでどうするこうすると大騒ぎとなっていますが、その開発の最先端は huggingface の open LLM Leaderboard なんでございます。huggingfaceというのは、機械学習に特化したクラウド開発環境ですね。githubとかgoogle colabみたいなものですね。

はい、LLMというのは Large language model 大規模言語モデルというものです。wikipedia などの大量の文章をコンピューターに読み込ませて、自然な文章を作り出す言語モデルを形成するのです。質問の文章をベクトル列に数値化して（エンコード）、それに最も近い、単語の列を作り出します（デコード）。これを別の言語でやれば機械翻訳になりますし、同じ言語でやれば、要約とか質疑応答 text generation になるわけです。

open LLM Leaderboard

huggingface spaces というのは、github actions みたいなクラウド実行環境で、プログラムをアップロードするとそれを実行して、閲覧者が操作することができるものです。このシステムを使って、オープンLLMの性能ランキングを作った人が居ました。

もうここでは毎日、新しいモデルがアップロードされ、様々な指標で毎日得点を競っているわけです。様々な会社や個人が毎日しのぎを削っています。その開発の最前線を体感するためには、自宅PCで実際にそのモデルを動かしてみることが必要です。そのための便利なソフトウェアが整いつつあります。

text-generation-webui

遅ればせながら我が家でも text-generation-webui を試してみましたので、少しご紹介致します。

必要なものは、

・LLM遊び専用に使えるPC（ubuntuをインストールして使う）

・メインメモリ32GB以上

・SSD1TB以上

これだけです。グラボがあった方が良いですがVRAM4GB程度では話になりませんので、むしろグラボ無しの設定で試した方が良いでしょう。

githubから oobabooga-linux.zipをダウンロードしてきて解凍して、

$ sudo ./start_linux.sh

を実行します。グラボ選択画面になりますので、「グラボなし」のｄを選択しました。それで、インストールが終わったら、

http://127.0.0.1:7860

はい、この呪文を、ブラウザのアドレスバーに入力してエンターキーを押下してください！不思議な画面が現れますので、modelタブに移動して、適当なモデルを入力してダウンロード致しましょう。

サイバーエージェントさんのopen-calm-small というモデルを試す場合は、右側の窓Download model or LoRA に　cyberagent/open-calm-small　と入力してダウンロードボタンを押下しましょう。それから、今度は、Loadボタンを押して、それから、chatウインドウに移行して、会話を楽しんでください。

open-calm-7b という70億パラメーターのモデルを動かした時のシステムモニターがこちらです。この時は、メインメモリ８GBに加えてスワップファイル３１GBを利用しておりましたので、合計して39GBのメモリが必要となっておりました。実メモリ８GBの時は、１応答に２時間掛かりました（汗）。それで、32GBのDRAMを買うことを決心致しました。

で、実際の会話例がコレです。２時間も考えてこれかよ！とも思いますが、LLMの特性を理解するのに良いと思います。質問によって回答の調子が変わるのが面白いですね。要するに、学習した題材に近い質問を答えるのは得意だけど、学習した題材から離れると突然精度が落ちる訳です。どういうことかというと、ウィキペディアにあるような質問だと得意で、ウィキペディアに無い質問は苦手ということです。それでも、bing-chat-gpt4のレベルになるとハイレベルな回答をひねり出しますけどね！そういう実感を持つために、このLLM遊びは役立つのです。LLMの日々の進歩を体感できるからです！そして勿論、我々人類に残された仕事領域の減少も実感できるでしょう。

このLLMの進歩のスピード、黎明期の雰囲気は、1980年代のパソコンが出始めた頃の雰囲気と非常に良くにていると思います。LLMの進歩は誰も止められないでしょう。いつの間にか、全ての検索エンジンとスマホ画面にLLMが組み込まれていることになるでしょう。LLMがテレビや冷蔵庫など家電のAIスピーカーに搭載され、我々は毎日LLMとお話するようになるでしょう。

だから圧倒的に半導体が不足しています。これほど明白なことはないですね、CPUとDRAMとSSDとGPUが圧倒的に不足していますね。これの爆発的な需要が発生し、これの爆発的な生産が始まるのです。