RAGの精度が出ないときの見直し所チェックリスト

【切り分け】
- 正解の資料を手で貼れば、AIは正しく答えられるか（＝生成は無事か）
- 失敗した質問について、検索結果の上位5件を実際に目で見たか
- 上位に正解の資料が入っていたか／入っていなかったか、記録したか
- そもそも正解が社内資料に存在するか、確認したか

【チャンク分割】
- 1チャンクは300〜800字程度に収まっているか
- 見出し・セクションの構造に沿って切れているか（固定長のぶつ切りになっていないか）
- チャンク同士に1〜2割の重なりがあるか
- チャンクの先頭に、文書名・見出し・更新日など出典の情報が付いているか
- 指示語（「この機能」「本項」）だけのチャンクになっていないか

【検索】
- ベクトル検索だけになっていないか（キーワード検索を併用しているか）
- 固有名詞・型番・エラーコードで、狙った資料が拾えるか
- AIに渡す件数（top-k）は3〜5件あたりから調整したか
- 埋め込みモデルは日本語を扱えるものか（採用時点の最新情報を確認したか）

【資料】
- PDFから抽出したテキストを、一度目で見て確認したか（とくに表）
- 改訂前の古い版が、インデックスに残っていないか

【評価】
- 質問と正解のセットを20〜30件、リストにしてあるか
- 変更のたびにそれを流して、数で良し悪しを見ているか