この記事でわかること
AIの開発を外注し、「精度は95%です」という報告を受け取る。数字だけを見れば申し分ないのに、いざ現場で使い始めると、期待したほど当たらない。AI導入の現場で、この種のずれは珍しくありません。
その原因として最もよく知られているのが、過学習です。機械学習の失敗としては古典的で、対策の定石もある程度確立しています。それでも起き続けるのは、発注する側が「どの数字を見ればよいか」を知らないまま報告を受け取ってしまうためです。
この記事では、過学習の原因・見分け方・対策を、数式を使わずに整理します。技術者向けの実装解説ではなく、「発注する側・使う側として、何を確認すればよいか」という目線でまとめました。
この記事で扱う主な内容は、次のとおりです。
- 過学習とは何か(なぜ精度の数字が当てにならなくなるのか)
- 過学習が起きる原因
- 過学習の見分け方
- 過学習を防ぐ代表的な対策
- 未学習との違いと、経営者が確認すべき点
そもそも「AIに学習させる」とは何をすることなのかがあいまいな場合は、教師あり学習とはを先に読むと、この記事の内容がつかみやすくなります。
過学習(オーバーフィッティング)とは
過学習とは、AIが学習に使ったデータに合わせすぎてしまい、学習していない新しいデータに対しては、うまく答えられなくなる状態のことです。英語ではオーバーフィッティングと呼ばれます。
ここで押さえておきたいのは、AIの目的が「学習したデータを正しく言い当てること」ではない、という点です。目的はあくまで、これから入ってくる未知のデータに対して、妥当な答えを出すことにあります。
過学習は、この二つが食い違った状態を指します。手元のデータについては完璧に近い答えを出すのに、本番のデータでは精度が落ちる。しかも、学習に使ったデータで測った精度だけを見ていると、この食い違いに気づけません。
「学習データでの精度が高い」ことは、「良いモデルである」ことを意味しません。 過学習を理解するうえで、ここが出発点になります。
過学習とは わかりやすく(過去問の答えを丸暗記した受験生)
もう少しイメージしやすく説明します。過学習は、過去問の答えを丸暗記してしまった受験生にたとえると分かりやすいです。
その受験生は、手元の過去問集なら満点を取ります。問題を見た瞬間に答えが出てくるからです。周囲から見れば、よく仕上がっているように見えます。
ところが本番の試験では、点数が伸びません。出題される問題が、過去問と同じではないからです。問題文の言い回しが少し変わっただけで、対応できなくなってしまう。
なぜこうなるのか。その受験生が覚えたのは「解き方の考え方」ではなく、「この問題にはこの答え」という対応関係そのものだったからです。過去問の細かい特徴まで拾いすぎた結果、共通する考え方のほうが身につかなかった、という状態です。
AIで起きているのも、これと同じことです。学習データに含まれるたまたまの特徴やノイズまで拾い上げてしまい、本来つかむべき規則性から離れてしまう。
ただし、たとえで表せない部分もあります。受験生の場合は「暗記に頼った」という原因が一つですが、AIの過学習は、データ量・モデルの複雑さ・学習の進め方など、複数の要因が重なって起こります。次の章で、その中身を見ていきます。
過学習が起きる原因
過学習の原因として、よく挙げられるものは次のとおりです。
- 学習データが少ない:例が少ないほど、たまたまの特徴を規則と取り違えやすくなります。
- モデルが複雑すぎる:表現力の高い仕組みほど、データの細部まで拾い込む余地が大きくなります。
- 学習を進めすぎた:繰り返し回数が増えるほど、学習データへの当てはまりだけが良くなっていく段階があります。
- データが偏っている:特定の条件のデータばかりだと、その条件でしか通用しない規則を覚えます。
- 手がかりとして与えた項目が多すぎる:本来関係のない項目まで判断材料に使われ、偶然の一致を拾ってしまいます。
これらは単独で起きるとは限らず、組み合わさって現れることのほうが多いです。「データを増やせば必ず解決する」といった単純な関係ではなく、扱う業務の性質やモデルの選び方によって、効きやすい対策は変わります。
なお、学習の進め方を決める設定値の調整についてはハイパーパラメータとはで整理しています。
過学習の見分け方
過学習が起きているかどうかは、学習に使ったデータでの精度と、学習に使っていないデータでの精度を比べることで見分けます。
具体的には、次のような兆候が現れます。
- 学習データでの精度は非常に高いのに、学習していないデータでの精度が明らかに低い
- 学習を進めるにつれて、学習データの精度は上がり続けるのに、学習していないデータの精度は途中から下がり始める
二つ目の「途中から下がり始める」という現象は、過学習が始まる地点を示す手がかりになります。後で触れる早期終了は、この性質を利用した対策です。
ここで、実務上とても重要な注意点があります。検証に使うデータに、学習の情報が混ざり込んでいないかという点です。
たとえば、データを分割する前に全体をまとめて前処理してしまうと、検証用データの情報が学習側へ漏れ込みます。同じ顧客のデータが学習側と検証側の両方に入っている場合も同様です。こうなると、検証の数字は実力より良く出てしまい、過学習を見逃します。
このため実務では、データを学習用・検証用・テスト用の三つに分けることがあります。学習用は学習そのものに、検証用は設定値の調整や手法の選択に使い、テスト用は最後の一回だけ、最終的な性能を確かめるために使います。検証用データを見ながら調整を繰り返すと、そのデータにも間接的に合わせ込んでしまうため、最終確認は別に取っておく、という考え方です。
過学習の対策
過学習への対策として、よく用いられる方法を紹介します。これらは「必ず効く手順」ではなく、状況に応じて選ぶ選択肢です。
| 対策 | 考え方 |
|---|---|
| 学習データを増やす | 例が増えるほど、たまたまの特徴を規則と取り違えにくくなる |
| データ拡張 | 画像の回転や反転など、正解の意味を変えない変換を加えて学習例を増やす |
| モデルを単純にする | 表現力を抑え、細部を拾い込む余地を減らす |
| 正則化 | 極端な判断に傾かないよう、学習に制約をかける |
| 早期終了 | 検証データで見た損失や精度などの指標が改善しなくなった時点で学習を止める |
| ドロップアウト | 学習中に一部の経路をあえて休ませ、特定の手がかりへの依存を減らす |
| 交差検証 | データの分け方を変えながら複数回検証し、評価が偏らないようにする |
| 手がかりの項目を絞る | 判断に関係のない項目を減らす |
※ 対策の効き方は、データ量・モデルの種類・扱う業務によって変わります。「この対策を入れたから安全」とは言えず、対策後も学習していないデータでの検証が必要です。
このうち、発注側として押さえておきたいのは上から三つです。データを増やす、水増しする、モデルを単純にする。この三つは、費用や納期に直結する判断だからです。
一方、正則化・早期終了・ドロップアウトといった手法は、技術者が学習の過程で調整するものです。中身まで理解する必要はありませんが、「そうした対策を取っているか」を確認できる程度に知っておくと、報告の内容が読めるようになります。
未学習(過少適合)との違い
過学習と対になる状態として、未学習があります。過少適合、アンダーフィッティングとも呼ばれます。
未学習は、学習が足りず、そもそも規則をつかめていない状態です。過学習と違い、学習データでの精度も、学習していないデータでの精度も、どちらも低く出ます。
| 状態 | 学習データでの精度 | 学習していないデータでの精度 |
|---|---|---|
| 未学習 | 低い | 低い |
| ちょうどよい | 高い | 高い |
| 過学習 | 非常に高い | 低い |
※ これは典型的な傾向であり、数値だけで機械的に線引きできるものではありません。「高い・低い」の水準は業務ごとに異なり、分類か回帰か、データの分布、どの指標で測るかによっても見え方が変わります。目安として、二つの数字の差に注目します。
この表が示すとおり、二つの数字を並べて見れば、どの状態にあるのかはおおよそ判断できます。逆に言えば、学習データでの精度しか報告されていない場合、この判断ができません。
経営者として、どこまで知っておけばよいか
技術的な調整は技術者に任せてかまいません。ただし、報告を受け取る立場としては、次の五点を押さえておくと、話が噛み合うようになります。
第一に、報告された精度は、どのデータで測ったものか。学習に使ったデータでの数字なのか、学習していないデータでの数字なのか。ここが最初の分かれ目です。
第二に、学習用と検証用のデータが、きちんと分かれているか。分け方によっては、同じ性質のデータが両側に入り込み、数字が実力より良く出ることがあります。
第三に、最終確認用のデータを別に取ってあるか。調整を繰り返した検証用データでの数字は、実力より良く出ている可能性があります。
第四に、精度以外の指標を見ているか。たとえば不良品の検知では、「見逃し」と「過剰な検出」のどちらを重く見るかで、望ましいモデルは変わります。全体の正解率だけでは判断できません。
第五に、運用を始めた後、精度の低下をどう検知するか。市場や業務が変われば、当時のデータで学習したモデルは徐々に合わなくなります。誰が、どの頻度で確認し、どうなったら作り直すのかを、あらかじめ決めておく必要があります。
「精度95%です」と言われたとき、私が追加で聞いている質問
AIシステムの提案を受けると、外注先から「検証では精度95%を達成しました」と説明されることがあります。95%と聞くと、かなり優秀に感じます。
しかし私は、その数字だけで導入判断をしません。最初に聞くのは、この質問です。
「その95%は、何件中の何件を、どの基準で正解とした数字ですか」
数字の高さより先に、どう計算された数字なのかを確認します。
たとえば、問い合わせを「通常」「要注意」に分類するAIを考えます。評価に使った100件のうち95件が通常の問い合わせだった場合、すべてを「通常」と答えるだけでも、表面上の正解率は95%になります。
ところが、本当に見つけたかった5件の要注意案件は、すべて見逃しています。正解率だけを見れば優秀なのに、業務では役に立たないAIです。
だから、全体の正解率と一緒に、分類ごとの内訳を出してもらいます。重要な案件を何件見逃したか。問題のない案件を、何件誤って警告したか。
そのうえで、二つ目の質問をします。
「残り5%の間違いは、どの種類の間違いですか。その中に、絶対に見逃してはいけないものは何件ありましたか」
不良品を良品と判定する誤りと、良品を不良品と判定する誤りでは、会社への影響がまったく違います。前者は顧客への流出につながり、後者は再検査の手間で済む。経営判断で重要なのは、どれだけ正解したかより、どのように間違え、その間違いを会社が許容できるのかです。
もうひとつ、見落としやすい確認があります。その95%に、人間の修正を含めていないか、です。
AIが答えた後に担当者が直し、その最終結果を精度として示している場合があります。人間と組み合わせて品質を上げること自体は、実務ではむしろ適切な方法です。
ただ、AI単独で95%なのか、人間込みで95%なのかによって、導入後の人員配置と費用は大きく変わります。ここは分けて出してもらいます。
あわせて、「分からない」と言える設計になっているかも確認します。確信度の低い案件を無理に判断させず、「要確認」として人へ戻せるか。
自動化率が少し下がっても、重大な見逃しを減らせるなら、経営上はそのほうが安全な場合が多いのです。
私は経営者へ、最後にこう伝えています。
「精度95%という数字は、導入を決める答えではありません。残り5%の中身を確認するための入口です」
回答は口頭で聞くだけでなく、評価データや誤りの一覧で確認する。それが、外注先の説明を経営判断へ変えるために必要な確認だと考えています。
過学習についてよくある質問
過学習とは何ですか?
AIが学習に使ったデータに合わせすぎてしまい、学習していない新しいデータに対してはうまく答えられなくなる状態のことです。学習データでの精度は高く出るため、その数字だけを見ていると気づけません。
過学習はどうやって見分けますか?
学習に使ったデータでの精度と、学習に使っていないデータでの精度を比べます。前者だけが高く、後者が明らかに低ければ、過学習が疑われます。学習を進めるにつれて後者が下がり始める場合も、同じ兆候です。
過学習を完全になくすことはできますか?
完全になくすことを目指すというより、学習データへの当てはまりと、未知のデータへの通用しやすさのバランスを取る作業だと考えるほうが実態に近いです。対策を入れすぎると、今度は未学習の方向に振れることもあります。
データを増やせば過学習は解決しますか?
有効な対策の一つですが、それだけで解決するとは限りません。増やしたデータが既存のものと似た偏りを持っていれば、効果は限られます。データの量だけでなく、業務の実態をどれだけ幅広く含んでいるかが問われます。
ディープラーニングでも過学習は起きますか?
起きます。むしろ表現力の高い仕組みほど、データの細部まで拾い込む余地が大きくなります。そのため、ドロップアウトや早期終了といった対策が併せて使われるのが一般的です。仕組み自体はディープラーニングとはで整理しています。
関連記事と「AI戦略」に関するご案内
過学習とは、手元のデータに合わせすぎて、本番で通用しなくなる状態です。防ぐための技術的な手立てはいくつもありますが、発注する側にとって最も効くのは、学習に使っていないデータでの数字を出してもらうという一点です。
学習のさせ方そのものは教師あり学習とはで、学習の材料となるデータの整え方はデータセットとはで、それぞれ整理しています。
AI活用を個別用語の理解で終わらせず、経営課題や業務改善につなげたい場合は、中小企業社長のためのAI戦略活用完全ガイドで全体像を確認できます。
確認日:2026年7月29日(機械学習に関する各社の公開情報を参照)
