この記事でわかること
社内文書を使ったAIの構築を進めていると、「チャンクをどう切るか」という話が出てきます。技術者どうしでは当たり前に交わされている言葉ですが、発注する側には何の話か分かりません。
なお、チャンクという言葉はゲームの用語、食品の切り身、心理学の記憶の単位など、まったく別の分野でも使われます。本記事で扱うのは、生成AIやRAGで文書を分割するときの単位としてのチャンクです。
この処理は地味に見えますが、社内文書AIの精度に大きく効いてきます。実際には、埋め込みに使うモデル、検索の設定、結果の並べ直しなども結果を左右しますが、うまくいかない案件の原因が分割にあった、ということは珍しくありません。
この記事で扱う主な内容は、次のとおりです。
- チャンクとは何か（RAGでの意味）
- なぜ文書を分割する必要があるのか
- 分割のしかたと粒度の考え方
- 分割がうまくいかないと何が起きるか
- 経営者として、どこまで知っておけばよいか
社内文書を使ったAIの仕組み全体はRAGとはで整理しています。
チャンクとは
チャンクとは、検索や生成AIへの受け渡しに使う、文書を分割した一つひとつのまとまりです。英語のchunkは「かたまり」という意味で、そのまま使われています。
社内規程が50ページあったとして、それを丸ごとAIに渡すことはしません。「第3章 休暇に関する規定」「第4章 退職に関する規定」といった具合に、意味のまとまりごとに分けて扱います。この分けられた一つひとつがチャンクです。
分割する作業はチャンキングと呼ばれます。提案書で「チャンク戦略」「チャンクサイズ」といった言葉が出てきたら、この分け方の設計の話をしています。
チャンクとは わかりやすく（長い資料に付箋を打って分ける）
もう少しイメージしやすく説明します。チャンクは、長い資料に付箋を打って分ける作業にたとえると分かりやすいです。
分厚い規程集を渡されて「必要なところを見つけて」と言われたら、まず章や節の切れ目に付箋を打ちます。あとは、質問に関係しそうな付箋の箇所だけを読めば済みます。
このとき、付箋の打ち方が結果を左右します。細かく打ちすぎれば、一枚ごとの内容が断片的になり、前後の文脈が分からなくなる。粗く打ちすぎれば、一枚に関係のない話まで入り込み、探している箇所が埋もれてしまう。
AIの場合も同じです。分割が細かすぎると意味が通らなくなり、粗すぎると関係のない内容が混ざります。ちょうどよい大きさは、文書の性質によって変わります。
ただし、たとえで表せない部分もあります。付箋は人が内容を読んで判断して打ちますが、実際の分割は、文字数や区切り記号といった機械的な規則で行われることが多くあります。そのため、意味のまとまりの途中で切れてしまうことが起こります。ここが実務での難しさです。
なぜ文書を分割するのか
理由は大きく二つあります。
一つ目は、一度に扱える長さに上限があることです。生成AIもエンベディングのモデルも、一度に処理できる文章の長さが決まっています。その上限を超える長さの文書は、そのままでは渡せません。
二つ目は、検索の精度のためです。仮に長い文書を丸ごと扱えたとしても、そのほうが良いとは限りません。50ページ分をひとまとまりにすると、その中の一段落が質問と関係していても、全体としては「関係が薄い」と判定されてしまいます。適切な大きさに分けておくほうが、必要な箇所を狙って取り出せます。
分割したチャンクは、エンベディングとはで扱う処理によって数値に変換され、ベクトルデータベースとはで扱う仕組みに保存されます。分割は、この一連の流れのいちばん最初にあたる工程です。ここでつまずくと、後の工程だけで挽回するのは難しくなります。
分割のしかたと粒度の考え方
分割の方法には、いくつかの考え方があります。
- 文字数や単語数で区切る：一定の長さごとに機械的に分ける、最も単純な方法です。実装は簡単ですが、文の途中で切れることがあります。
- 区切り記号で分ける：段落や句点、見出しの位置で分ける方法です。文書の構造が整っていれば有効です。
- 見出しの構造に沿って分ける：章・節・項の単位で分ける方法です。規程やマニュアルのように構造がはっきりした文書に向きます。
- 前後を重ねる：隣り合うチャンクの端を少しずつ重ねておき、切れ目で文脈が失われるのを防ぐ方法です。
同じ文書でも、分け方によって結果は変わります。就業規則を例にすると、条文ごとに分ければ「第○条 年次有給休暇」という単位で取り出せますが、その条文に関連する但し書きが別の条にあれば拾えません。章ごとに分ければ関連する条文をまとめて渡せますが、一つのまとまりが大きくなり、無関係な条文も一緒に入ります。どちらが良いかは、その規則をどう使いたいかで決まります。
粒度については、一律の最適値はありません。扱う文書の性質、使うモデル、求める回答の粒度によって変わります。「何文字が正解」という数字を提示する情報を見かけたら、どういう条件での話かを確認したほうがよい部分です。
実務では、いくつかの設定を試し、実際の業務の質問で結果を比べて決めていきます。一度で決まるものではなく、評価と調整を前提にした工程だと考えてください。
表・図・スキャン文書をどう扱うか
実務でつまずきやすいのが、文章以外の要素の扱いです。
表は、そのまま文字として取り出すと構造が失われます。「休暇日数」という列名と「10日」という値が離れてしまえば、AIはその対応を読み取れません。表を文章の形に書き直してから取り込む、表だけを別扱いにする、といった対処が必要になります。
図やフローチャートは、通常の文字抽出では情報が失われやすい部分です。文字認識や画像も扱えるモデルを使えば読み取れる場合もありますが、精度は内容によります。図に描かれた手順が本文に書かれていなければ、その情報が渡らないおそれがあります。図の内容を説明する文章を添えておくと、この問題は避けやすくなります。
紙をスキャンしたPDFも注意が要ります。文字として認識する処理を通す必要があり、その精度によっては誤った文字が取り込まれます。読み取り精度の確認を工程に入れておくべき部分です。
いずれも、元の文書をどう作っておくかで手間が大きく変わります。これから作る文書については、見出しを付ける、表は本文でも要点を書く、といった配慮をしておくと、後の作業が軽くなります。
分割がうまくいかないと何が起きるか
社内文書AIが「使えない」と言われるとき、原因が分割にあることは少なくありません。典型的な症状を挙げます。
- 回答が途中で終わる：手順の途中でチャンクが切れており、後半が取り出せていない。
- 条件が抜け落ちる：「ただし、勤続3年未満の場合を除く」といった但し書きが別のチャンクに入り、本文だけが渡されている。
- 表が壊れる：表の途中で分割され、項目名と数値の対応が失われている。
- 関係のない内容が混ざる：チャンクが大きすぎて、一つの中に複数の話題が入っている。
とくに但し書きや例外規定が本文から切り離されるのは、実害が出やすい失敗です。AIが自信をもって不正確な案内をしてしまうためです。
これらは分割が原因の可能性が高い症状ですが、モデルや検索の設定など別の原因もあります。取り出された内容を確認して原因を切り分け、分割や元の文書の構造に問題があればそこを直します。
経営者として、どこまで知っておけばよいか
分割の設計そのものは技術者の領域です。ただし、社内文書AIの導入を判断する立場としては、次の五点を押さえておくと、話が噛み合うようになります。
第一に、対象文書の構造がどうなっているか。見出しが整理された規程類は分割しやすく、体裁がばらばらの文書は難しい。ここで手間の大きさがほぼ決まります。
第二に、表や図をどう扱うか。表が多い文書は、そのままでは分割で壊れます。別の扱いが必要になるため、早めに確認しておく論点です。
第三に、但し書きや例外が多い文書か。就業規則や契約書のように条件が細かい文書は、分割の設計に注意が要ります。
第四に、評価をどうやるか。実際に社員が使う質問を用意し、期待する箇所が取り出せているかを見る。分割の良し悪しは、この確認でしか分かりません。
第五に、文書自体を直すほうが早い場合があること。見出しを付ける、但し書きを本文の近くに置く、表を整理する。こうした整備は、分割の工夫よりも効果が大きいことがあります。
検索精度を調整するより、資料の作り方を直したほうが早かった事例
ある相談で、社内マニュアルをAIに参照させ、担当者からの質問へ答えられるようにしたい、という要望がありました。
ところが、質問しても必要な回答が出たり出なかったりします。検索条件、文書の分割方法、指示文と、システム側を順に調整しましたが、結果は安定しませんでした。
そこで私は、調整を続ける前に、元のマニュアルを人間として読み直しました。
すると、問題が次々に見つかりました。一つの見出しに複数の業務が書かれている。手順と注意点と例外が別々のページにある。「上記の場合」「必要に応じて」と参照先が曖昧なまま続く。正式ルールと担当者の補足説明が区別されていない。
つまり——人間がそのページだけを読んでも、結論と条件を正確に理解できない資料だったのです。
ベテラン担当者なら、「この例外は前のページの注意事項と組み合わせて読む」という暗黙の知識で補えます。しかしAIへ渡るのは、基本的に文書に書かれた内容だけです。
私は担当者へ、こう説明しました。
「AI検索は、整理されていない資料を、自動的に完璧なマニュアルへ変える仕組みではありません。元の資料が曖昧なら、その曖昧さを使って回答することになります」
このケースでは、検索技術の調整より先に、よくある質問を基準にマニュアルを組み替えました。
従来は「契約後の対応」という大きな見出しの中に、開始日も変更も解約も請求もまとめて書かれていました。これを「契約内容を変更するには何が必要か」「解約はいつまでに申し出るか」「判断できない場合は誰へ確認するか」という質問単位に分け、各項目は結論を最初に書き、条件・例外・手順・問い合わせ先を続けました。対象となる商品、適用開始日、最終更新日、責任部署も明示しました。
この変更で、AIが検索しやすくなっただけではありません。新人社員も、必要な情報を探しやすくなりました。
大事なのは、文章を短くすることではなく、情報の境界を明確にすることです。結論、対象、手順、例外、戻し先、根拠——この順に整理すると、検索結果の該当箇所を確認しやすくなり、AIが誤ったときも「どの文章を根拠に間違えたのか」を追えるようになります。本文で触れた表の扱いも同じで、重要な表には要点を文章でも書き添えました。
この経験から分かったのは、AI導入は、文書品質を映す鏡になるということです。
これまでは、ベテランが曖昧な資料を経験で補っていたため、問題が表面化しませんでした。AIへ質問すると、書かれていない条件、矛盾した説明、所在不明の正本が、一気に現れます。
私は、最後にこう伝えています。
「検索精度を上げる前に、その質問へ人間が文書だけで答えられるかを確認してください」
人間が答えられない資料を、AIだけが正確に読み解くことは期待できません。そして、AIに読ませるための資料改善は、AIだけのためではない。新人教育、引き継ぎ、顧客対応、内部統制にも効く、業務基盤の整備だと考えています。
チャンクについてよくある質問
生成AIでいうチャンクとは何ですか？
検索や生成AIへの受け渡しに使う、文書を分割した一つひとつのまとまりを指します。長い文書をそのまま扱えないため、意味のまとまりごとに分けたものです。
チャンクサイズはどれくらいが適切ですか？
一律の最適値はありません。扱う文書の性質、使うモデル、求める回答の粒度によって変わります。いくつかの設定を試し、実際の業務の質問で結果を比べて決めるのが現実的な進め方です。
心理学のチャンクとは違うのですか？
別の概念です。心理学のチャンクは、人が一度に記憶できる情報のまとまりを指します。本記事のチャンクは、AIに渡すために文書を分割した単位を指します。言葉の由来は同じ「かたまり」ですが、扱う対象が異なります。
ゲームや食品のチャンクとは関係ありますか？
関係ありません。ゲームで地形を区切る単位や、食品の切り身を指す使い方は、いずれも「かたまり」という一般的な意味から来ています。本記事は生成AI・RAGの文脈に限った説明です。
分割は自動でできますか？
機械的な分割は自動化できます。ただし、意味のまとまりを保った分割や、表・但し書きの扱いは、文書の性質に合わせた設計が必要です。設定して終わりではなく、結果を見ながら調整する工程だと考えてください。
関連記事と「AI戦略」に関するご案内
チャンクとは、AIに渡すために文書を分割した一つひとつのまとまりです。地味な工程ですが、社内文書AIの精度に大きく効いてきます。
判断の勘所は、分割の技術を細かく詰めるより、元の文書の構造を整えるほうが効くことがあるという点です。見出しの整理や但し書きの配置を直すだけで、結果が変わる場合があります。
仕組み全体はRAGとはで、意味を数値にする処理はエンベディングとはで、数値を保管して探す仕組みはベクトルデータベースとはで、それぞれ整理しています。AIが事実と異なる内容を答える現象はハルシネーションとはをご覧ください。
AI活用を個別用語の理解で終わらせず、経営課題や業務改善につなげたい場合は、中小企業社長のためのAI戦略活用完全ガイドで全体像を確認できます。
確認日：2026年7月29日（RAG・文書分割に関する各社の公開情報を参照）
