この記事でわかること
AI導入の話が具体化してくると、必ず出てくるのが「学習させるデータはありますか」という質問です。ここで多くの会社が言葉に詰まります。データならある。ただ、それが使える形なのかどうかが分からない。
このとき話題になっているのが、データセットです。AIの精度を左右する材料であり、実際のAI導入プロジェクトでは、モデル選びよりもここに時間と費用がかかることが少なくありません。
この記事では、機械学習で使うデータセットとは何かを、実務の目線で整理します。なお、「データセット」という言葉は行政のオープンデータ公開や、統計データの配布といった文脈でも使われますが、本記事ではAI・機械学習で使うデータのまとまりに絞って説明します。
この記事で扱う主な内容は、次のとおりです。
- データセットとは何か(データベースとの違い)
- 機械学習で使うデータセットの種類
- データセットの入手方法と作り方
- 扱うときの注意点(品質・偏り・権利)
- 経営者として、どこまで知っておけばよいか
そもそも「AIに学習させる」とは何をすることなのかがあいまいな場合は、教師あり学習とはを先に読むと、この記事の内容がつかみやすくなります。
データセットとは
データセットとは、ある目的のために集められ、決まった形式で整理されたデータのまとまりを指します。機械学習では、AIの学習・検証・評価に使うデータのまとまりを指す言葉として使われます。
たとえば、問い合わせメールを自動で振り分けるAIを作るなら、過去の問い合わせメールの本文と、それぞれの区分(クレーム・見積依頼・その他)を組にしたものがデータセットになります。需要予測なら、過去の日付・気温・曜日・売上を並べた表が、そのままデータセットです。
ここで重要なのは、手元にデータがあることと、データセットがあることは同じではないという点です。社内システムに蓄積された記録は、多くの場合そのままでは使えません。形式がばらばらだったり、必要な項目が欠けていたり、同じ内容が別の言い方で入力されていたりします。散らばった記録を、目的に沿って集め、整え、一つのまとまりにして初めて、データセットと呼べる状態になります。
データセットとは わかりやすく(目的別に資料をそろえた案件ファイル)
もう少しイメージしやすく説明します。データセットは、一つの案件のために資料をそろえた案件ファイルにたとえると分かりやすいです。
ある案件を検討することになったとき、まず社内のあちこちから資料を集めます。契約書、過去の見積、担当者の記録、関連する統計。それらを集めただけでは使えないので、抜けている項目を補い、様式をそろえ、一冊のファイルにまとめます。この状態になって初めて、検討の材料として機能します。
大事なのは、先に目的が決まっていないと、何を入れるべきかも決まらないことです。「何かに使えそうだから」と資料をため込んでも、案件ファイルにはなりません。
そして、中身の偏りも効いてきます。特定の時期や特定の取引先の資料しか入っていなければ、そのファイルから導かれる結論も、その範囲でしか通用しません。
案件によっては、過去の結果まで添えます。受注できたのか、失注したのか。この「結果」にあたるものが、AIでいう正解ラベルです。一方、結果は添えず、資料の傾向そのものをつかみたい場合もあります。データセットも同じで、正解が付いているものと、付いていないものの両方があります。前者は教師あり学習とはで扱う学習方法に、後者は正解のないデータから傾向を見つける方法に使われます。
ただし、たとえで表せない部分もあります。案件ファイルは人が読む前提なので、多少の表記のばらつきは読み手が吸収できます。データセットは機械が処理する前提のため、様式の統一がはるかに厳密に求められます。この差が、次に述べる「整える」工程の重さになって表れます。
データセットとデータベースの違い
混同されやすいのが、データベースとの違いです。二つは似た言葉ですが、指しているものが違います。ここでは実務上の違いをつかむために、データベースを「継続的に保管・検索・更新する仕組み」、データセットを「特定の目的でひとかたまりとして扱うデータ」と整理します。
| データセット | データベース | |
|---|---|---|
| 指すもの | ある目的のために整理されたデータのまとまり | データを保管し、出し入れするための仕組み |
| 性質 | 中身(内容そのもの) | 入れ物と、その管理システム |
| 使われ方 | 分析や学習の材料として、ひとかたまりで扱う | 日々の業務で、必要な部分を検索・更新する |
※ 実務では、データベースから条件を指定して抽出し、整えたものがデータセットになる、という関係が一般的です。
たとえるなら、データベースは書庫、データセットはそこから必要な資料を抜き出してまとめた一冊のファイル、という関係です。書庫があることと、目的に沿ったファイルができていることは別だ、と考えると分かりやすくなります。
「うちにはデータがある」と言うとき、多くの場合それは書庫があるという意味です。そこからファイルを作る工程が、AI導入の実作業になります。
機械学習で使うデータセットの種類
データセットは、いくつかの軸で分類されます。
まず、役割による分類です。同じデータセットを分割して使い分けます。
- 学習用:AIに規則をつかませるために使う部分です。
- 検証用:設定値の調整や手法の選択が妥当かを確かめるために使います。
- テスト用:最後に一度だけ、実力を確かめるために使います。
この分け方が大切なのは、学習に使ったデータで性能を測っても、実力が分からないためです。この点は過学習の対策とはで詳しく整理しています。
次に、データの形式による分類です。
- 表形式:売上・在庫・顧客属性など、行と列で表せるデータです。中小企業のAI活用では最も出番が多い形式です。
- テキスト:問い合わせ、契約書、日報、口コミなどの文章データです。
- 画像・動画:外観検査、書類の読み取り、監視などで使われます。
- 音声:通話記録の文字起こしや、応対品質の分析などで使われます。
- 時系列:センサーの計測値や、日次の売上など、時間の並びに意味があるデータです。
データセットは表形式のものだけを指すわけではありません。扱う業務によって、必要な形式は変わります。
データセットの入手方法と作り方
データセットを用意する道筋は、大きく三つあります。
一つ目は、公開データセットを使う方法です。研究機関や企業、行政が公開しているものがあり、画像認識や自然言語処理の分野では、広く使われている定番のデータセットが知られています。手軽に試せる反面、自社の業務にそのまま当てはまることはまれです。技術検証や、担当者の学習用と考えるのが現実的です。
二つ目は、自社の記録から作る方法です。自社固有の判断を再現したいAIでは、ほとんどがこの道筋になります。基幹システム、販売管理、問い合わせ履歴、点検記録といった既存のデータを抽出し、整えます。
三つ目は、新たに集める方法です。センサーを設置する、検査画像を撮りためる、アンケートを取る、といった形です。時間はかかりますが、目的に合ったデータを設計段階から集められます。
自社の記録から作る場合、実際の工程は次のように進みます。
- 目的を決める:何を予測・分類したいのかを先に固めます。ここがあいまいだと、何を集めるべきかも決まりません。
- 必要な項目を洗い出す:判断の手がかりになりそうな項目を選びます。
- 抽出する:既存システムから該当期間のデータを取り出します。
- 整える:表記のゆれをそろえ、重複を取り除き、欠けている値をどう扱うかを決めます。この工程が最も時間を要します。
- 正解を用意する:教師あり学習の場合、各データに正解を付けます。成約・解約・故障といった業務結果からそのまま取り出せる場合もあれば、人が判断して付ける必要がある場合もあります。
データセットを扱うときの注意点
データセットを用意する際に、先に知っておくべき注意点が四つあります。
一つ目は、量より先に質です。大量にあっても、記録の精度が低ければ、その誤りごと学習してしまいます。「入力担当者によって書き方が違う」「後から手で直した記録が混ざっている」といった状態は、そのまま学習結果に影響します。
二つ目は、偏りです。特定の時期・地域・顧客層に寄ったデータで学習すると、その範囲でしか通用しない判断になります。繁忙期のデータだけで需要予測を作れば、閑散期には合いません。データが業務の実態を幅広く含んでいるかは、AIではなく人が確認する必要があります。
三つ目は、個人情報の取り扱いです。顧客データを学習に使う場合、本人に示したり公表したりした利用目的との関係が論点になります。個人情報保護法の対象となる情報が含まれるなら、社内規程や必要に応じて専門家の確認を経るべき領域です。
四つ目は、権利関係です。外部から取得したデータや、Web上の情報を学習に使う場合、利用条件や著作権の確認が必要になります。日本では情報解析目的の利用について定めがありますが、条件や例外があり、個別の判断が求められます。この論点はAIと著作権で整理しています。
経営者として、どこまで知っておけばよいか
データの整備は、技術というより社内の段取りの話です。判断する立場としては、次の五点を押さえておくと、話が進みやすくなります。
第一に、目的が先に決まっているか。「データがあるから何かできないか」という進め方は、集めるべきものが定まらず、途中で止まりがちです。何を予測・分類したいのかを先に決めます。
第二に、必要な記録が、どの期間・どの粒度で残っているか。過去三年分あるのか、直近半年しかないのか。日単位なのか月単位なのか。ここで実現できる範囲がほぼ決まります。
第三に、整える工程の担当と工数を見込んでいるか。表記ゆれの統一や欠損の扱いは、業務を知っている人でなければ判断できません。外注できる作業と、社内で決めるべき判断を分けて考えます。
第四に、正解をどこから得るのか。業務結果から自動的に取り出せるのか、人が判断して付けるのか。ここで必要な工数がまったく変わります。
第五に、個人情報と権利の確認を、誰がいつ行うか。運用を始めてから問題が見つかると、やり直しの範囲が大きくなります。
「社内データをAIに学習させたい」と相談されたとき、最初に確認していること
AI導入の相談で、経営者から「当社の社内データをAIに学習させたい」と言われることがあります。過去の提案書、顧客対応履歴、社内規程を覚えさせれば、自社専用の優秀なAIができる——そんなイメージをお持ちの場合が少なくありません。
しかし私は、すぐにツールや開発方法の話には入りません。最初に聞くのは、この質問です。
「そのAIに、社内データを使って何をさせたいのでしょうか」
社内データを使うことは手段です。目的が曖昧なままデータを集めると、必要以上に大きく、危険で、評価しにくいシステムになります。
実は「AIに学習させる」という言葉は、複数の別の方法をまとめて指していることが多いのです。
社内規程を検索して質問に答えたいだけなら、モデルを再学習させなくても、関連文書を検索してAIへ渡す仕組みで足りる可能性があります。文章の語調や形式を統一したいだけなら、指示文と良い回答例の整備で済む場合もあります。
だから私は、「学習させたい」という要望をそのまま技術要件にせず、まず必要な仕事へ分解します。ここで方式を取り違えると、費用の桁が変わることもあるからです。
次に確認するのが、データの量より先に、正式な最新版がどれかです。
社内フォルダには、現在の正式版、作成途中の下書き、廃止された旧版、個人が手直ししたコピーが混在しがちです。そのまま渡せば、AIは古い規程や未承認の資料を根拠に答えます。
AIは、社内にある情報の中から「会社としての正式見解」を自動で見抜いてはくれません。正本が決まっていなければ、AI導入より先に情報整理が必要です。
もうひとつが、閲覧権限です。人事部だけが見られる資料を、全社員向けのAIが回答に使ってはいけません。
AIを入れた結果、既存システムより情報へアクセスしやすくなりすぎることがあります。AIの利便性と、情報の閲覧権限は、別に設計しなければなりません。
利用するAIサービス側の条件も見ます。入力したデータがサービスの改善に使われないか、保存期間はどうなっているか。「便利そうだから、とりあえず全部入れる」という進め方は避けます。
始め方は、小さくです。たとえば、承認済みの社内規程だけを使い、総務担当者向けの検索補助として試す。回答の精度と修正の手間を確認し、価値が見えてから対象データと利用者を広げます。
そして、更新の責任者を先に決めます。商品も規程も担当者も変わるからです。更新する人がいなければ、導入直後は便利でも、数か月後には古い情報を答えるAIになります。
私は経営者へ、最後にこう伝えています。
「社内データをAIに入れれば、自動的に自社専用AIが完成するわけではありません。使う目的、正しい資料、閲覧権限、更新責任をそろえて初めて、社内データはAIにとって役立つ資産になります」
データセットについてよくある質問
データセットとは何ですか?
ある目的のために集められ、決まった形式で整理されたデータのまとまりです。機械学習では、AIの学習・検証・評価に使うデータのまとまりを指します。社内に記録が残っていることと、データセットができていることは別で、目的に沿って抽出・整理する工程が必要になります。
データセットとデータベースの違いは何ですか?
データセットは整理されたデータの中身、データベースはデータを保管し出し入れするための仕組みです。実務では、データベースから条件を指定して抽出し、整えたものがデータセットになります。
どれくらいの量のデータが必要ですか?
一律の目安を示すことはできません。予測したい内容が単純なら少ない件数でも形になりますが、微妙な判断を再現したい場合は相応の件数が要ります。件数を先に決めるより、手元に残っている記録の期間と粒度を確認し、その範囲で試せる規模から始めるほうが現実的です。
公開データセットを自社の業務に使えますか?
技術検証や担当者の学習には有用ですが、自社の業務にそのまま当てはまることはまれです。自社固有の判断を再現したいAIでは、自社の記録から作るのが基本になります(既製モデルや外部から調達したデータで足りる案件もあります)。また、公開データセットにも利用条件が設定されている場合があるため、商用利用の可否は個別に確認が必要です。
データが少ない場合はどうすればよいですか?
既存のデータから学習例を水増しする方法や、別の目的で学習済みのモデルを自社データで調整する方法が知られています。後者についてはファインチューニングとはで整理しています。ただし、いずれも元のデータの質と偏りの影響を受けます。
関連記事と「AI戦略」に関するご案内
データセットとは、AIの学習・検証・評価に使うために整理されたデータのまとまりです。AI導入の成否は、どのモデルを選ぶかよりも、この材料をどれだけ目的に沿ってそろえられるかに左右されます。そして、その作業の多くは技術ではなく、社内の段取りの問題です。
学習のさせ方そのものは教師あり学習とはで、材料が偏ったときに起きる代表的な失敗は過学習の対策とはで、それぞれ整理しています。機械学習とAIの関係を確認したい場合は機械学習とAIの違いもあわせてご覧ください。
AI活用を個別用語の理解で終わらせず、経営課題や業務改善につなげたい場合は、中小企業社長のためのAI戦略活用完全ガイドで全体像を確認できます。
確認日:2026年7月29日(機械学習・データ活用に関する各社の公開情報を参照)
