この記事でわかること
生成AIの利用料を抑えたい、社内の設備で動かしたい。そういう相談をすると、技術者から「蒸留したモデルを使う手もあります」という提案が返ってくることがあります。
本記事で扱う蒸留は、AIモデルを小さくする技術としての知識蒸留です。 酒を造る蒸留、水を精製する蒸留とは、まったく別の概念です。同じ言葉が使われているため検索すると別の話が混ざりますが、本記事はAIの文脈に限って説明します。
この記事では、知識蒸留とは何かを、数式やコードを使わずに整理します。エンジニア向けの実装解説ではなく、「自社でAIを使う側として、どこまで理解しておけばよいか」という目線でまとめました。
この記事で扱う主な内容は、次のとおりです。
- 知識蒸留とは何か
- 仕組み（教師モデルと生徒モデル）
- 何のために使うのか
- 転移学習・ファインチューニングとの違い
- モデルを軽くする三つの手法の整理
大規模言語モデルそのものについてはLLMとはで整理しています。
知識蒸留とは
知識蒸留とは、大きなモデルが持っている判断のしかたを、小さなモデルに学ばせる手法です。英語ではKnowledge Distillation、読み方は「ちしきじょうりゅう」です。
大きなモデルは性能が高い一方、動かすのに大きな設備と費用がかかります。かといって、小さなモデルを普通に学習させても、大きなモデルほどの性能は出ません。
そこで、大きなモデルに「先生役」をさせます。小さなモデルは、正解だけを見て学ぶのではなく、先生役のモデルがどう答えたかを見ながら学びます。こうすると、同じ大きさのモデルを普通に学習させた場合より、性能が上がることが知られています。
大きい側を教師モデル、小さい側を生徒モデルと呼びます。
知識蒸留とは わかりやすく（ベテランの判断を新人向けの手順書に落とす）
もう少しイメージしやすく説明します。知識蒸留は、ベテランの判断を新人向けの手順書に落とす作業にたとえると分かりやすいです。
長年の経験を持つベテランは、書類を一目見て「これは怪しい」と判断できます。ただ、その人は一人しかいませんし、全案件を見てもらうことはできません。
そこで、ベテランに実際の案件を判断してもらい、その判断を新人が横で見て学びます。このとき新人が受け取るのは、正解・不正解という結果だけではありません。「これはかなり怪しい」「これは少し引っかかる程度」といった、判断の度合いも一緒に伝わります。
正解だけを渡された場合と比べて、この度合いの情報があるほうが、新人は早く勘所をつかめます。知識蒸留で起きているのは、これと似たことです。
ただし、たとえで表せない部分もあります。新人はベテランに質問して理由を聞けますが、生徒モデルは教師モデルの出力を数値として受け取るだけで、理由を尋ねることはできません。また、教師モデルが間違っていれば、その間違いを引き継ぐリスクがあります。
知識蒸留の仕組み
通常の学習と何が違うのか。ここが知識蒸留を理解する要になります。
典型的な教師あり分類では、正解ラベルだけを使います。 「この画像は猫」という正解に対して、モデルの出力を近づけていく。正解か不正解かの二択の情報です。
知識蒸留では、教師モデルの出力そのものを使います。 教師モデルは「猫である可能性が高く、次に犬の可能性があり、車の可能性はほぼない」といった、選択肢ごとの度合いを出力します。生徒モデルは、この度合いの分布を再現するように学習します。
この違いが効いてきます。「猫」という正解だけでは、猫と犬が似ていることは伝わりません。教師モデルの出力には、どれとどれが紛らわしいかという情報が含まれています。生徒モデルは、正解だけを見るより多くの手がかりを得られます。
実際には、教師モデルの出力と正解ラベルの両方を使う形が一般的です。どちらをどれだけ重視するかは、設計次第です。
主な狙いは、小さい生徒モデルで教師モデルの性能へ近づけることです。通常は容量の差による性能低下が課題になりますが、条件や評価対象によって結果は異なり、特定の評価で生徒が教師を上回る報告もあります。
何のために使うのか
知識蒸留が使われる理由は、主に次の点にあります。
- 設備を小さくできる：必要なメモリや計算資源が減り、動かせる環境の選択肢が広がります。
- 応答が速くなる場合がある：計算量が減るため、条件によっては速くなります。ただし、実際の速度はハードウェアや実装によって変わります。
- 費用を抑えられる場合がある：処理あたりの計算資源が減れば、運用費用に効きます。
- 端末側で動かせる：スマートフォンや業務端末など、限られた資源の環境で動かす道が開けます。
一方で、通常は容量の差による性能低下が課題になります。どこまで下がるかは、モデルの構成・タスク・データ・蒸留の方法によって変わります。「小さくしても性能は変わらない」という説明を受けたら、どの条件での話かを確認したほうがよい部分です。
判断の軸になるのは、自社の業務に必要な精度がどこまでかという点です。すべての業務に最高性能のモデルが要るわけではありません。分類や定型処理であれば、小さなモデルで十分なことも多くあります。
転移学習・ファインチューニングとの違い
混同されやすい三つの手法を整理します。
| 手法 | 何をするか | 目的 |
|---|---|---|
| 知識蒸留 | 大きなモデルの出力を使って、小さなモデルを学習させる | モデルを小さくする |
| 転移学習 | ある目的で学習したモデルを、別の目的に流用する | 学習の手間を減らす |
| ファインチューニング | 学習済みモデルを、自社データで追加学習する | 特定の用途に合わせる |
※ 実務では組み合わせて使われることもあります。この表は目的の違いを整理したものです。
とくに押さえておきたいのは、目的が違うという点です。知識蒸留は「小さくする」、ファインチューニングは「合わせる」。同じ「モデルを学習させる」話でも、狙っているものが別です。ファインチューニングについてはファインチューニングとはで整理しています。
モデルを軽くする三つの手法
モデルを軽くする方法は、知識蒸留だけではありません。実務では次の三つが並んで検討されます。
- 知識蒸留：大きなモデルの判断を、小さなモデルに学ばせる。モデルそのものを作り直します。
- 量子化：モデル内部の数値を、より少ない情報量で表現し直す。既存のモデルに適用できます。詳しくはLLMの量子化とはをご覧ください。
- 枝刈り：影響の小さい部分を取り除く。既存のモデルに適用できます。
三つは排他的ではなく、組み合わせて使われることもあります。また、モデルの規模を保ちながら一回あたりの計算量を抑えるMoEとはという設計上の工夫もあり、こちらは軽量化とは別のアプローチです。
利用する立場で選べるのは、どの手法を使うかではなく、提供されているモデルのどれを使うかです。公開されているモデルには、蒸留によって作られたものが含まれています。
経営者として、どこまで知っておけばよいか
技術的な選定は技術者に任せてかまいません。ただし、判断する立場としては、次の五点を押さえておくと、話が噛み合うようになります。
第一に、これは教師モデル自体を高性能化する技術ではないということ。小さいモデルの性能を、同じ規模を通常学習した場合より高めながら、教師へ近づけることを狙う技術です。
第二に、業務に必要な精度がどこまでかを決めること。すべての処理に最高性能のモデルが要るわけではありません。ここを決めれば、選択肢が広がります。
第三に、処理ごとに使い分けられること。単純な分類は小さなモデル、複雑な判断は大きなモデル。この使い分けが費用に効きます。
第四に、実際の業務データで比べること。一般的な性能比較ではなく、自社の文書と質問で、小さなモデルでも足りるかを確かめます。
第五に、「小さくしても変わらない」という説明は条件付きで受け取ること。どのタスクで、どう測った話かを確認します。
小さく安いモデルで十分だった業務と、そうでなかった業務の分かれ目
生成AIの導入支援をしていると、経営者から「やはり一番性能の高いモデルを使ったほうがよいのでしょうか」と聞かれることがあります。
高性能なモデルは、複雑な指示や長い文書に強い。しかし、すべての業務へ最上位モデルを使えばよいとは限りません。速度は遅くなり、料金も増えます。
自社の業務で試していくと、小さく安いモデルで十分だった仕事と、高性能なモデルが必要だった仕事には、一定の分かれ目がありました。文章の長さや、仕事の重要度だけではありません。
判断基準が明確か。複数の情報を結び付ける必要があるか。間違えたとき、人間がすぐ見つけて直せるか。この三つです。
小さいモデルで安定したのは、入力と出力の形式が決まっている仕事です。問い合わせを決められた分類へ振り分ける。文章から会社名や金額を抜き出す。長い原稿からSNS投稿案を作る。
こうした仕事は、範囲を狭くできます。分類の定義と具体例、「判断できなければ要確認へ戻す」というルールを与え、出力を分類名と理由に限定する。ここまで整えると、小さなモデルでも十分な結果が出ました。
差が出たのは、正解が一つではなく、複数の情報を組み合わせる仕事です。複数の長い資料を比較して矛盾を整理する。曖昧な相談から本当の要望を読み取る。反対意見も踏まえて施策を評価する。
こちらでは、小さなモデルは条件を見落としたり、表面的な一般論でまとめたり、前半と後半で矛盾したりすることがありました。
私はモデルを選ぶとき、その仕事に「考える段数」が何段あるかを見ています。「問い合わせを読んで分類名を返す」は段数が少ない。「内容を理解し、感情を読み取り、契約を確認し、緊急度を判断し、返信案まで決める」は、判断の連続です。
後者を一度に小さなモデルへ任せると、どこで間違えたのかも分からなくなります。その場合は上位モデルに替える前に、まず作業を工程へ分解する。分類、緊急性の判定、返信案の作成、人間の承認——工程ごとに、必要なモデルを選びます。
運用では、振り分けも効きます。通常案件の八割は小さなモデルで処理し、長文や例外、確信度の低い二割だけを上位モデルへ回す。品質を保ちながら、費用を抑えられます。
もうひとつ、見落としがちな点があります。大きいモデルを使うことと、任せ切ることは別です。モデルが大きくなるほど説明は自然で説得力を増すため、かえって誤りを見抜きにくくなる場合があります。数値、契約条件、顧客への正式回答は、モデルにかかわらず人間の確認を残します。
私は経営者へ、こう伝えています。
「モデルは、常に一番大きいものを選ぶのではなく、その仕事に必要な能力を満たす最小のものを選びます」
簡単な処理は小さいモデル、複雑な検討は高性能なモデル、重要な決定は人間。この役割分担が、AIの品質と費用を両立させる現実的な方法だと考えています。
知識蒸留についてよくある質問
知識蒸留とは何ですか？
大きなモデル（教師モデル）の出力を使って、小さなモデル（生徒モデル）を学習させる手法です。正解ラベルだけで学ぶ通常の学習と違い、教師モデルが示す判断の度合いも手がかりにするため、同じ大きさのモデルを普通に学習させるより性能が上がることが知られています。
知識蒸留の読み方は？
「ちしきじょうりゅう」と読みます。英語ではKnowledge Distillationで、単に「蒸留」「ディスティレーション」と呼ばれることもあります。
IT用語の蒸留は、酒の蒸留と関係ありますか？
関係ありません。液体を加熱して成分を分離する蒸留から言葉を借りたものですが、技術としてはまったく別です。本記事は、大きなモデルの知識を小さなモデルに移す手法を指しています。
知識蒸留のデメリットは何ですか？
通常は容量の差による性能低下が課題になります。また、教師モデルに偏りや誤りがあれば、それを引き継ぐリスクがあります。どこまで下がるかはタスクやデータによって変わるため、実際の業務で確かめる必要があります。
転移学習とは違うのですか？
目的が違います。知識蒸留はモデルを小さくすることが目的で、転移学習はある目的で学習したモデルを別の目的に流用し、学習の手間を減らすことが目的です。
関連記事と「AI戦略」に関するご案内
知識蒸留とは、大きなモデルの判断のしかたを小さなモデルに学ばせ、性能をできるだけ保ちながら軽くする手法です。教師モデル自体を高性能化する技術ではない、という点が判断の出発点になります。
勘所は、業務に必要な精度がどこまでかを先に決めることです。ここが決まれば、小さなモデルで足りる処理と、大きなモデルが要る処理を分けられます。
数値表現を小さくする手法はLLMの量子化とはで、規模を保ちながら計算量を抑える設計はMoEとはで、自社データでの調整はファインチューニングとはで、それぞれ整理しています。大規模言語モデルそのものはLLMとはをご覧ください。
AI活用を個別用語の理解で終わらせず、経営課題や業務改善につなげたい場合は、中小企業社長のためのAI戦略活用完全ガイドで全体像を確認できます。
確認日：2026年7月29日（モデル軽量化に関する各社の公開情報を参照）
