RAG（検索で見つけた文章を材料にして、AI に答えを作らせる仕組み）の品質は、AI モデルの賢さより「文章をどう切って保存するか」で大きく変わります。この切り方がチャンク分割です。企画の段階で方針を決めておくと、後の手戻りが減ります。
固定長で切るやり方
文字数で機械的に切る方法です。たとえば 500 文字ごとに区切り、前後を 50 文字ほど重ねます。作るのは早く、どんな文書にも使えます。一方で、手順の途中や表の真ん中で切れてしまうことがあります。すると「3 番目の手順だけ」が検索に引っかかり、前提条件が抜けた回答になります。
向いているのは、議事録やチャットログのように、もともと構造が薄い文章です。まず動くものを見せたい試作の段階にも合います。
見出しや段落で切るやり方
文書の章立てに沿って切る方法です。たとえば社内規程の「第 3 条」や、ヘルプ記事の「見出し＋本文」を 1 つの塊にします。意味のまとまりが保たれるので、回答の根拠が読みやすくなります。ただし、元の文書に見出しが整っていることが前提です。PDF を画像のように取り込んだ資料では、見出しの判定に手間がかかります。
向いているのは、規程、マニュアル、FAQ など、利用者が「根拠を確認したい」文書です。
私の意見は、迷ったら構造で切る方を先に試す、というものです。理由は、使う人への影響が違うからです。固定長だと、回答は一見もっともらしくても、出典を開くと文脈が合わないことが起きます。これは信頼を落とします。構造で切れば、出典を見出し単位で示せるので、確認が楽になります。
順番としては、構造が整った文書から構造分割で始め、整っていない文書は固定長で補う形がよいでしょう。どちらの場合も、実際の質問を 20 件ほど集め、正しい箇所が上位に出るかを見る確認を、公開前に入れておくと安心です。切り方の良し悪しは、文書と質問の組み合わせで決まります。