RAGチャットボット導入ガイド｜社内資料の準備と回答の評価

RAGは、質問に関係する情報を資料から検索し、その情報を使ってAIに回答させる方法です。社内マニュアルや商品情報を扱うチャットボットで検討されます。ただし、資料を登録するだけで正答を保証できる仕組みではありません。導入前に「答えてよい範囲」と「分からないときの対応」を決めます。

RAGが必要かを、質問の種類で考える

相談される内容	検討する構成	最初に確認すること
営業時間など、定型の質問が少数	固定FAQ・選択式の応答	頻出質問が既存の案内だけで解決するか
製品説明や社内手順を、言い換えた質問で探したい	RAGと参照元の表示	根拠資料が整っているか
注文・予約の現在の状態を知りたい	業務システムとの連携	誰の情報を取得してよいか
個別判断や承認が必要	担当者への引き継ぎ	引き継ぎ先と対応時間

最新の在庫や個人の契約状況を、古い資料の検索だけで回答させる構成は適しません。検索する資料、接続するシステム、人が判断する範囲を分けて設計します。

資料を渡す前に、棚卸しする

まず、回答に使う資料の責任者を決めます。古い版と新しい版が混在すると、AIにとっても利用者にとっても根拠が曖昧になります。

• 正式な回答根拠にしてよい資料を選ぶ。
• 文書名、更新日、担当部署、適用範囲を整理する。
• 重複するFAQ、廃止された手順、例外条件を見直す。
• 社外秘・個人情報の有無と閲覧できる人を確認する。
• 表や画像に重要情報がある資料は、読み取り結果を確認する。

すべてを一度に入れず、一つの業務とその資料から始めると、改善すべき点を特定しやすくなります。

閲覧権限は、回答する前に確認する

「資料にアクセスできるシステム」と「その資料を読んでよい利用者」は同じではありません。利用者の認証、検索対象の制限、ログへの保存範囲を設計します。部署限定の資料が別部署への回答や出典リンクに現れないかも試験します。

外部のAIサービスに送る情報、保存期間、契約上の扱いは、利用するサービスと構成に応じて確認します。モデルの選択だけでこれらの条件がすべて決まるわけではありません。

導入判断に使う試験質問をつくる

公開前に、担当者が実際に受ける質問と期待する対応を一覧にします。成功例だけでなく、答えないことが正しい質問も含めます。

試験の種類	確認する結果
頻出する質問	回答内容と参照元が正しい
言い換えや略語	同じ意図の資料に到達する
資料に答えがない質問	推測で断言せず、担当者へ案内する
条件が不足する質問	必要な条件を聞き返す
権限外の資料に関する質問	内容も出典も見せない
古いルールに関する質問	現行の版を使い、適用時期を示す

正答率だけでなく、誤回答の内容、有人対応へ移る割合、回答までの時間、質問あたりの費用を見ます。合格基準は業務の影響に合わせて担当者と決めます。

公開後の担当と費用を決める

資料更新時の反映、質問ログの確認、誤回答の修正、モデル変更時の再試験が必要です。AIのAPI利用料に加え、検索基盤・保存領域・運用改善の費用を見積もります。

YOSHINANIでは対象業務の整理から開発・運用改善まで相談を受けています。AIチャットボットの開発費用で共通基盤と追加機能の価格を確認できます。LINEでの受付を考えている方はLINEチャットボット開発の基礎もご覧ください。