この記事でわかること
「大規模言語モデル(LLM)」という言葉はよく見るけれど、その元になっている「言語モデル」とは何なのか。そう感じて検索してきたなら、この記事がちょうどよい入口です。
この記事では、言語モデルとは何かを、専門用語をできるだけ使わずに整理します。よく耳にする大規模言語モデル(LLM)との関係も、あわせて分かるようにします。
この記事で扱う主な内容は、次のとおりです。
- 言語モデルとは何か
- どんな仕組みで動くのか
- 言語モデルの発展(大規模言語モデルへの流れ)
- 言語モデルとLLMの違い
生成AIそのものの全体像を先に押さえたい場合は、生成AIのビジネス活用の全体像もあわせて読むと理解しやすくなります。
「LLMのLM」の正体
近年よく聞く「大規模言語モデル(LLM)」の、後半の「言語モデル(LM)」の部分。これが、この記事のテーマです。
LLMは、言語モデルを非常に大規模にしたものです。つまり、言語モデルという基本の考え方があり、それを巨大にしたのがLLMだ、という関係です。まずは、その土台となる「言語モデル」とは何かを押さえていきましょう。
結論=言語モデルは「言葉の並びや文脈のパターンを確率的に扱うモデル」
結論から言うと、言語モデルとは、言葉やトークン(言葉の小さなまとまり)の並びの「自然さ(起こりやすさ)」を、確率として学んだモデルです。もっとも身近な働きは、これまでの文脈から「次にどんな言葉が来やすいか」を予測することです。
たとえば「今日はいい」という文の後には、「天気」という言葉が続きやすく、「冷蔵庫」は続きにくい。人間なら自然に分かるこの「言葉の続きやすさ」を、大量の文章から学び、数値(確率)として扱えるようにしたのが言語モデルです。
ChatGPTなどは、この「次の言葉を予測する」方式(自己回帰型と呼ばれます)を使っています。一方、文中の隠された語を当てることで言葉の関係を学ぶ、BERTのようなモデルもあります。いずれも言語モデルの一種で、翻訳、文章作成、検索、意味理解など、言葉を扱うさまざまな技術の土台になっています。
言語モデルとは わかりやすく(スマホの予測変換のたとえ)
イメージしやすく言うと、言語モデルは、スマートフォンの予測変換に似ています。
あなたがスマホで「おは」と打つと、「おはよう」「おはようございます」と候補が出てきます。これは、これまで打たれた大量の文章から、「おは」の後に続きやすい言葉を予測しているからです。
言語モデルも、これと同じ考え方です。膨大な文章を学習し、「この言葉の後には、この言葉が来やすい」という確率を身につけています。それを高度に、大規模にしていくと、予測変換のレベルを超えて、文章そのものを作れるようになります。これが、今の生成AIの土台にある発想です。
なお、この予測変換のたとえは、GPTのような「次の言葉を予測する」自己回帰型をイメージしたものです。
どんな仕組みで動くのか
言語モデルの基本は、文章を単語や文字の小さなまとまり(トークン)に分け、その並びを大量に学習して、「言葉の並びや文脈のパターン」を確率としてつかむことです。
このうち、GPTなどの自己回帰型言語モデルでは、これまでの文脈から次に来るトークンの確率を計算します。文章を作るときは、この確率にもとづいて、次の言葉を一つずつ選びながら組み立てていきます。一方、BERTのようなマスク型では、文中で隠された語を左右の文脈から予測し、言葉の関係や表現を学びます。
いずれの型も、人間と同じ仕方で意味を理解しているとは限らず、統計的な「続きやすさ」をもとに言葉を扱っている点が特徴です。だからこそ、自然な文章を作れる一方で、事実と違う内容をもっともらしく作ってしまうこともあります。
言語モデルの発展(大規模言語モデルへの流れ)
言語モデルは、一気に今の形になったわけではなく、段階的に発展してきました。大まかな流れを知っておくと、LLMの位置づけが分かりやすくなります。
- 統計的な言語モデル(n-gramなど):直前の数単語から次の言葉を予測する、初期の方式。単純で計算しやすい一方、長い文脈は捉えにくい。
- ニューラル言語モデル:ニューラルネットワークを使い、より複雑な言葉の関係を扱えるようにした方式。
- 大規模言語モデル(LLM):膨大なデータとパラメータで学習させ、飛躍的に賢くなった言語モデル。現在の主要なLLMの多くはTransformerという設計を採用しており、ChatGPTなどの土台になっています。
この発展の先にあるのが、大規模化した現代の主要な言語モデル群である大規模言語モデル(LLM)です。その土台にあるTransformerについてはTransformerとはで解説しています。
言語モデルとLLMの違い
「言語モデルと大規模言語モデル(LLM)は何が違うのか」という疑問には、規模の違いで捉えると分かりやすいです。
言語モデルは、言葉の並びの自然さを確率として扱うモデルの総称です。その中でも、膨大なデータとパラメータで学習させ、非常に大規模にしたものが、大規模言語モデル(LLM)です。言語モデルという大きなくくりの中に、LLMという特に大規模なものがある、という関係です。
| 用語 | 位置づけ |
|---|---|
| 言語モデル(LM) | 言葉の並びの自然さを確率で扱うモデルの総称(n-gramから最新モデルまで) |
| 大規模言語モデル(LLM) | 言語モデルを、膨大なデータで大規模にしたもの。ChatGPTなどの土台 |
LLMのできることや、ビジネスでの使い分けについてはLLMとは何か・大規模言語モデルの仕組みで詳しく扱っています。
顧問先の経営者から、「言語モデルとは何ですか」「大規模になると何が違うのですか」と質問されることがあります。
そのとき私は、ニューラルネットワークの構造やパラメータ数の話から入ることはしません。まず、もっとも身近な働きである「次の言葉の予測」から説明します。
「明日の会議は午前10時から、第1会議室で……」とくれば、続きは「行います」あたりだと誰でも予想できます。言語モデルは、この「続きの予想」を大量の文章から学び、予測した言葉の先をさらに予測する処理を繰り返して、文章を組み立てていきます。
そのうえで、必ず添えるのが次の一言です。
「生成AIは、倉庫に保存されている完成済みの回答を取り出しているのではなく、その場で文章を組み立てています」
ここが伝わると、AIへの頼み方や結果の受け止め方が変わります。
大規模言語モデル(LLM)との関係は、「限られた社内文書だけを読んだ新人と、幅広い分野の膨大な資料を読んできた新人の違いに近い」とたとえています。
後者は営業でも会計でもITでも会話でき、要約も翻訳も企画もこなします。ただし、どれほど膨大な資料を読んできた新人でも、あなたの会社の商品、顧客、過去の判断までは知りません。
自社の資料や条件を渡さなければ、モデルの性能がどれほど高くても、回答は一般論に寄ります。大規模言語モデルは高性能な文章生成・整理の仕組みであって、正解が保証された社内データベースではないからです。
経営者が生成AIを検索エンジンと同じものと考えている場合には、違いも説明します。
検索エンジンは、既にあるページを探して候補を示します。言語モデルは、質問と与えられた文脈をもとに、その場で回答文を作ります。
だから、「言語モデルは文章を作るのが得意で、検索は根拠を探すのが得意です。両方を組み合わせ、人が最後に確認すると実務で使いやすくなります」という伝え方をしています。
最後はいつも、こうまとめています。
「大規模言語モデルは、何でも知っている経営者の代わりではありません。大量の文章からパターンを学び、与えられた材料をもとに、考えや文章を整理する非常に優秀な補助者です」
経営者が数式やパラメータまで理解する必要はありません。どの情報を渡し、どの仕事を任せ、どこを人が確認するか。この役割分担が分かるところまで説明できれば、言語モデルの解説としては十分だと考えています。
言語モデルについてよくある質問
言語モデルにはどんな種類がありますか?
発展の段階で見ると、統計的な言語モデル(n-gramなど)、ニューラル言語モデル、そして大規模言語モデル(LLM)があります。近年主流なのはLLMで、その多くはTransformerを土台にしています。
言語モデルとLLMの違いは何ですか?
言語モデルは、言葉の並びの自然さを確率として扱うモデルの総称で、次の言葉を予測するもの(GPTなど)や、隠された語を当てるもの(BERTなど)があります。LLM(大規模言語モデル)は、その中でも膨大なデータで大規模に学習させたものを指します。言語モデルという大きなくくりの中の、特に大規模なものがLLMです。
ChatGPTの言語モデルとは何ですか?
ChatGPTの土台で動いているのは、GPTと呼ばれる大規模言語モデル(LLM)です。GPTそのものについてはGPTとはで解説しています。
関連記事と「AI戦略」に関するご案内
言語モデルは、生成AIの土台にある基本の考え方です。「言葉の並びや文脈のパターンを確率的に扱うのが言語モデルで、それを大規模にしたのがLLM。GPT系はその中で、次の言葉を予測しながら文章を生成する」という関係を押さえておくと、AIの用語がすっきり整理できます。
大規模言語モデルはLLMとは、その土台のTransformerはTransformerとは、GPTはGPTとはで整理しています。AI活用を経営全体で考えたい場合は、中小企業社長のためのAI戦略活用完全ガイドもご覧ください。
確認日:2026年7月24日(言語モデル・大規模言語モデルに関する各社・研究機関の公開解説を参照)
