RAGのPDFチャンク分割を比較する：見出し・表・ページまたぎの演習

PDFの文章を取り込めても、質問に必要な条件が検索結果から抜ければ、RAGの回答は不完全になります。たとえば「申請できる期間」だけを取り出し、次のページにある「対象外の条件」を落とすケースです。まず抽出された文字を確認し、その後に分割と検索を分けて点検しましょう。

この記事では、実在組織の規程を使わず、架空の研修案内を教材にします。掲載する条件と判定例は演習用に作成したもので、特定サービスの実測結果ではありません。RAGの用語はRAGの基礎解説で確認できます。

分割する前に、PDFから何が取れたかを見る

文字の欠落を、チャンクサイズの問題として直そうとしても解決しません。1ページだけでも、PDF画面と抽出テキストを並べて確認してください。複数段組の順番、表の列、脚注、見出し、ページ番号を見ます。画像として保存されたページなら、文字認識が必要になる場合があります。

ここで直した抽出テキストは、比較するすべての方式で共通にします。抽出方法まで変えると、分割による違いを評価しにくくなります。

比較に使う架空の研修案内

教材には次の4要素を入れます。ページ番号は参照位置として残し、研修名は各断片から分かるようにします。

• 1ページ：春の研修。対象は新しく配属された社員。申請期間は4月1日から10日。
• 1ページ末尾：「受講費の扱いは次ページの表を参照」。
• 2ページ：オンライン受講は教材費込み、会場受講は交通費を含まないという表。
• 2ページの脚注：すでに同内容の研修を受けた人は申請対象外。

質問は回答例より先に決めます。「いつまで申請できるか」「会場受講に交通費が含まれるか」「同内容を受講済みでも申し込めるか」「申請期間と対象外条件の両方を説明できるか」の4問です。正解は教材文から作り、評価時にAIが新しい正解を作り直さないよう固定します。

固定長・段落・見出し単位の3方式を比べる

Microsoftの公式資料は、固定サイズだけでなく文書の構造を利用する分割も説明しています。どの方式にも、この教材に適したサイズを探す工程が必要です。文字数とトークン数は別なので、設定の単位も記録してください。［出典1・2］

比較時は、埋め込みモデル、検索方式、取得件数、質問、回答の指示を固定します。一度に変更するのは分割方法だけにします。見出しを各断片へ付けるなら、その条件も台帳に残します。

検索できたかと、正しく答えたかを別々に採点する

4問をそれぞれ実行し、まず取得された断片を確認します。回答が不正確でも、必要な根拠が全部届いているなら、分割以外の原因も考えます。逆に、偶然正しく回答していても、例外の断片を取得していなければ成功扱いにしません。

たとえばQ4で期間だけが届いたなら、検索の取りこぼしです。両方が届いているのに対象外条件を無視したなら、回答指示や生成結果を確認します。この区別を残すと、サイズをむやみに増やす試行を減らせます。

変更を採用する前のチェック

• 表と脚注の意味が抽出時点で保たれている。
• 各断片に文書名・版・見出し・参照位置を付けられる。
• 同じ質問で分割前後を比較し、取りこぼしと誤答を別々に記録した。
• 教材で良くなった方式を、別のPDFでも確認した。
• 取得量を増やした際の費用・処理時間も、自分の環境で記録した。

個別適用や説明の拡張時に確認する事項：最適なチャンクサイズはPDF全体に共通の正解ではありません。対象文書の構造と、読者が実際にする質問で判断します。社内文書を使う際は、教材の評価に加えて参照権限の設計が必要です。

出典

1. Microsoft Learn：ドキュメントのチャンク化。分割手法と設定の考え方。
2. Azure Architecture Center：RAGのチャンク化フェーズ。文書構造を踏まえた設計。