大規模言語モデルはどうやって言葉をつくるのか

1.文章はトークンという断片に分けられる

言語モデルは、文章を文字どおりに読んでいるわけではありません。まず文章をトークンという断片に切り分けます。トークンは一つの単語のこともあれば、単語の一部や数文字、句読点のこともあります。よく使われる言葉は一つのトークンに、まれな言葉は複数のトークンに分かれる傾向があります。

次に、それぞれのトークンを数の並び（ベクトル）に変えます。この数の並びは学習を通じて、意味の似たトークン同士が似た値を持つように調整されます。そのため、モデルの中では「子犬」と「犬」は近く、「子犬」と「税金」は遠くにあります。「数学の基礎 第10講」で扱うベクトルの類似度が、まさにこの考え方です。

トークンには実用的な意味もあります。多くのAIサービスは、一度に読める文章の量や利用量をトークンの数で数えます。同じ内容でも、言語や表現によってトークンの数は変わります。

2.中心となる仕組み：次のトークンの予測

言語モデルがしていることを一文にまとめると、「ここまでのトークンを見て、次に来るトークンの確率を計算する」です。「空がとても」の次には、「澄んでいる」「青い」「曇っている」といったトークンが、それぞれ異なる確率で来る可能性があります。モデルはこの確率分布を計算し、その中から一つを選んで文章の後ろにつなげます。

そして、いまつなげたトークンまで含めた文章をあらためて入力とし、その次のトークンを予測します。これを答えが終わるまで繰り返します。長い回答も、結局はこの一つずつの選択が数百回、数千回と続いた結果です。

次のトークンをうまく予測するには、文法だけでなく、事実、論理、口調、文脈まであわせて知っている必要があります。「日本の首都は」の次を当てるには地理を知らなければならず、数学の解答の次の行を当てるには計算のルールを知らなければなりません。膨大な量の文章でこの予測を訓練する過程で、モデルは驚くほど多くの知識とパターンを身につけていきます。

3.短い答え一つができあがる過程をたどる

仕組みを通してたどってみましょう。ユーザーが「雨の日を一文で描写して」と入力したとします。モデルはこの質問をトークンに切り分け、そのあとに続く最初のトークンから一つずつ選んでいきます。以下の確率はすべて説明のためにつくった数値です。

選び方にも選択肢があります。毎回確率がいちばん高いトークンだけを選べば、同じ質問にはいつも同じ答えが出ますが、表現が平凡になりがちです。確率に比例して、ときどき有力でないトークンも選ぶようにすると、表現が多様になる代わりに答えが毎回少しずつ変わります。多くのサービスには、このランダムさの度合いを決める設定があります。

よくある誤解の一つもここで解けます。モデルは完成した答えを先に頭の中で書いておき、それを見せているわけではありません。前に選んだトークンが後ろの選択を次々に絞り込みながら、答えができあがっていきます。そのため、最初のいくつかのトークンがおかしな方向へ進むと、後ろでその流れを引き継ぎ、間違った内容をもっともらしく付け足してしまうことがあります。

4.事前学習と対話向けの追加学習

大規模言語モデルは、ふつう二つの段階でつくられます。第一段階の事前学習では、本、ウェブ上の文書、プログラムのコードといった膨大な文章で次のトークンの予測を繰り返し、言語と知識のパターンを身につけます。「大規模」とは、学習した文章の量とモデルの中の重みの数が非常に多いという意味です。

事前学習だけを終えたモデルは、文章の続きを書くのは得意ですが、質問に親切に答えるのは苦手です。そこで第二段階で「質問とよい答え」の例を使って追加学習を行い、さらに人が複数の答えの中からよりよいものを選んだ評価を反映させて磨き上げます。この過程を経て、指示に従い、対話し、危険な依頼を断るモデルになります。

ここから重要な結果が一つ出てきます。モデルの知識は、学習データを集めた時点で止まっています。それ以降の出来事は、検索機能を別に付けるか、ユーザーが資料を入れない限りわかりません。最新の情報が必要な質問では、このことを必ず覚えておく必要があります。

5.文脈ウィンドウ：一度に見られる文章の量

言語モデルは対話の際、それまでの会話と貼り付けた資料を丸ごと入力として受け取ります。一度に受け取れるトークンの最大量を文脈ウィンドウ（コンテキストウィンドウ）といいます。モデルは基本的に会話を「記憶」しているのではなく、毎回それまでの会話全体を読み直して次の答えをつくっています。

そのため、会話が非常に長くなって文脈ウィンドウを超えると、前半が切り捨てられたり、あまり反映されなくなったりすることがあります。大事な条件は、会話の最初に一度言って終わりにするより、必要なときにもう一度短く念を押すほうが安全です。また、新しい話題は新しい会話で始めたほうが、結果がすっきりします。

6.仕組みから生まれる長所と短所

次のトークンを確率で選ぶため、同じ質問でも答えが少しずつ変わることがあります。この性質は、アイデアをたくさん得たいときには長所であり、まったく同じ結果が必要なときには短所です。

また、モデルは「もっともらしい次の言葉」を選んでいるのであって、事実を確かめているわけではありません。学習データによく出てくる内容はたいてい正確ですが、まれな内容や最新の内容、数字の多い内容では、もっともらしいけれど間違った文を自然につくり出してしまうことがあります。これが第7講で扱うハルシネーションです。

反対に、文章の形式を変える、要約する、説明をやさしく言い換える、いくつもの観点を広げるといった、「言語のパターン」が中心となる仕事にはとても強いのです。仕組みがわかれば、任せる仕事と確かめる仕事を区別できます。