ローカルLLMの回答は、誰が確かめていますか ― 抜き打ち検査で分かった、導入前に決めておくこと

社内で動かすローカルLLMの回答は、誰が確かめているでしょうか。クラウドのAIと違い、モデルも設定も自社で動かすので、回答の質を確かめるのも自社です。導入前の試験には合格していても、本番で毎日出ていく回答まで確かめる体制は、後回しになりがちです。

当社の社内AIアシスタント「Mr.AI」も同じでした。Mr.AIは、社内のGPUサーバーで動くローカルLLMです。そこで、利用者に届けた回答の一部を後から抜き取り、書かれた事実を確かめる、抜き打ち検査を作りました。狙いは、事実と違う内容をもっともらしく書く誤り（ハルシネーション）を、本番の回答から見つけることです。

実際に来た質問で測ると、回答の約2割に明らかな誤りがありました。しかも、最初の検査は不合格の8割が誤検出で、誤りの3分の2を見逃していました。この記事では、検査の仕組みと直した結果、ローカルLLMを導入する会社が発注前に決めておくことを書きます。数字は2026年11月11日時点の当社の記録です。

導入後の誤りは、確かめる仕組みがないと見えない

LLMの回答の確かめ方には、3つの段階があります。

1つ目の試験だけでは足りません。試験は決めた質問しか見ないからです。LLMの振る舞いは、同じサービス名のままでも短い期間で大きく変わりうると報告されています。回答時の検査は、回答ごとに点数を付けて止める仕組みですが、利用者を待たせられないので深くは見られません。

ローカルLLMでは、これらを自社で用意する必要があります。クラウドには、Amazon Bedrockのように提供元が回答時の検査を用意しているサービスがあります。自社で動かすモデルには、それが付いてきません。モデルの入れ替えも自社で行うので、入れ替えのたびに、設定と回答がずれていないかも確かめることになります。

本番の誤りを知るには、届けた回答を後から時間をかけて見る仕組みが要ります。当社のAIも、存在しない社内の仕組みを説明し、月の費用を20倍以上高く答えていました。検査を作るまで、どれくらい起きているかは分かりませんでした。

特に必要なのは、AIの回答がそのまま判断や行動に使われる場面です。

• 顧客や社員の問い合わせに、AIが直接答える
• 社内文書やデータを検索して、金額、数量、期日を答える
• AIが回答だけでなく、登録や送信などの操作まで行う

こうした場面では、1つの誤りがそのまま誤った発注や案内になります。誤りを0にはできないので、どれくらい起きているかを測り、減らし続ける仕組みが、システムの一部として要ります。

仕組み：検査役に、届けた回答を見せない

採点役のAIに回答を読ませて「正しいか」と聞くと、回答の書きぶりに引きずられる、と考えました。そこで、検査役には届けた回答を見せず、同じ材料から答え直させて、2つを突き合わせます。

• 根拠を記録する。回答を作るときにAIが呼んだ道具（検索など）の結果を、その時点のまま保存します
• 一部を抜き取る。質問にも根拠にも無いURLや数値が回答に出ている場合は、抜き取る確率を上げます
• 回答を見せずに答え直させる。検査役には、質問と記録した根拠だけを渡します
• 主張ごとに照合する。回答を事実の主張に分け、根拠に無い値を含む主張を判定します
• 結果を戻す。不合格が続く種類の回答は抜き取りを増やし、回答を作る側の指示に「事実は道具で確かめる」を足します

検証の問いに独立して答えさせる考え方はChain-of-Verification、回答を主張に分ける考え方はFActScoreとして知られています。当社の検査は、これを届けた後の回答に当てたものです。検査役も社内のGPUで動くので、回答や根拠を社外のAIに送らずに検査できます。

測った結果：検査そのものも、最初は当てにならなかった

社内チャットに実際に来た質問40件を、本番と同じ設定で答え直させ、すべての回答を検査にかけました。そのうえで、不合格の主張も合格の主張も、1件ずつ根拠と照らして確かめ直しました。合格を見ないと、見逃しが分からないからです。あわせて、正しい回答の数値を1か所だけ書き換えた回答も検査にかけ、仕込んだ誤りを見つけるかを数えました。

不合格の数だけを見ていたら、検査はよく働いているように見えたはずです。見つけた誤りには、ページを開かずにURLの文字から用途を推測した回答や、存在しない添付ファイルの名前を40件以上並べた回答がありました。

検査がうまく働かなかった原因は、2つです。

• 検査が、AIの記憶を知らなかった。Mr.AIは教わった案件やメンバーの情報を記憶し、回答に使います。検査が記録していたのは道具の結果だけだったので、記憶どおりの正しい主張が「根拠なし」になりました
• 検査役が、同じ思い込みを持っていた。見逃しの8割以上は、AIの設定（最初に読ませる指示文）に残っていた冗談と古いモデル名でした。モデルを入れ替えたときに、設定を直していなかったのです。検査役も同じ設定で動いていたので、同じ誤りを答え、2つは一致しました

設定に書いた誤りは、検査で拾うものではなく、設定そのものを直すものです。

直して測り直した結果

同じ日のうちに、設定と検査を2回に分けて直しました。設定の自己紹介を直し、検査の根拠にAIの記憶を加え、回答に書かれた計算式はプログラムで計算し直すようにしました。

直した設定で答え直させると、明らかな誤りを含む回答は、約2割から1割未満に減りました。検査で誤りを見つけるより、誤りの元を消すほうが効きます。

残った誤りの半分は計算違いでした。月の費用を、正しくは約590円のところ、約1万3千円と答えています。判定役のAIはこれを通し、式をプログラムで計算し直す検査が見つけました。

採点役に回答を見せる従来型の検査とも比べました。実際の誤りを見つけた割合は、見せない検査が67%、見せる検査が22%です。数値を書き換えただけの誤りでは、94%と97%で差がありません。この差が見せないことだけの効果かは、まだ言い切れません。本番の抜き取りも始めたばかりです。

ローカルLLMを導入する会社が、発注前に決めておくこと

今回の測定から、ローカルLLMの構築や、それを組み込むシステムを発注するときは、次の6つを先に決めることをおすすめします。開発会社に「導入後の回答を、どう確かめますか」と聞くと、答えの差が出るところです。

• 回答の根拠を記録するか。AIが読んだ検索結果、設定、記憶を残していないと、後から確かめられません
• 誰が、どの頻度で確かめるか。検査の結果も、最初は人が合格と不合格の両方を見る必要があります
• 金額や数量の計算を、AIに任せきりにしないか。式はプログラムで検算できます
• 誤りが見つかったとき、設定まで直す手順があるか。当社では、設定の直しが既存の会話に届いていませんでした
• モデルを入れ替えるとき、設定と試験を一緒に見直す手順があるか。当社の見逃しの多くは、ここが原因でした
• 検査がどこまで外部にアクセスしてよいか。検査役に道具を使わせると、検査が外部のページを開きます

これらは、後から足すより、設計の段階で入れるほうが手戻りが少なく済みます。根拠の記録は、回答を作る処理そのものに組み込むからです。

当社にご相談いただいた場合は、まず何を記録できるかを確かめます。次に、実際の質問を使って今回と同じ測定を行い、誤りの割合と原因、直す順番をご報告します。

よくあるご質問

すでに動いているAIにも、抜き打ち検査は追加できますか？

回答の根拠（検索結果など）を記録できる仕組みなら、追加できます。記録を取れない既製のサービスでは、できることが限られます。まず、何が記録できるかの確認から始めます。

回答のたびに行う検査があれば、十分ではありませんか？

十分ではありません。回答時の検査は、届ける前に明らかな誤りを止めるものです。それがどれだけ見逃しているかは、届けた後の回答を抜き取って見ないと分かりません。

抜き打ち検査を入れると、費用はどれくらい変わりますか？

記録する範囲、抜き取る割合、人が確かめる量で変わります。利用が少ないうちは全件を検査し、増えてきたら一部に絞るのが一般的です。見積相談で、用途に合わせた範囲をご提案します。

抜き打ち検査があれば、ハルシネーションはなくせますか？

なくせません。抜き打ち検査は、誤りがどこで、どれくらい起きているかを知る仕組みです。知った後に、設定を直す、道具を足すといった手を打って、はじめて減ります。

まとめ

ローカルLLMの誤りは、届けた回答を確かめる仕組みを自社で持たないと見えません。当社のローカルLLMでは回答の約2割に明らかな誤りがあり、検査と設定を直して、1割未満に減らしました。検査そのものも、不合格と合格の両方を確かめて、はじめて信用できます。

当社は、ローカルLLMの構築と、それを組み込むシステムの見積もりに、回答の確かめ方（根拠の記録、検査、人の確認）を含めてご提案します。これから導入する方も、すでに動いているローカルLLMの回答が気になる方も、無料見積相談で担当PMにご相談ください。機材の選定から運用までの進め方は、ローカルLLM構築・導入支援のページでご覧いただけます。

関連する記事とページ

• ローカルLLM構築・導入支援 ― ハードウェア選定から運用まで
• ローカルLLM導入事例 ― クラウドAIと機能ごとに使い分け
• AIエージェント導入事例 ― 変更依頼を本番まで進めるMr.AI
• AIに業務を任せるとは ― 任せる範囲と確かめ方、失敗の直し方
• ローカルLLMの必要スペックとおすすめモデル ― VRAM・GPUの目安
• ローカルLLMエージェントは、ハーネスでどこまで良くなるか

出典

• Amazon Web Services「Use contextual grounding check to filter hallucinations in responses」（Amazon Bedrock ユーザーガイド）
• Lingjiao Chen、Matei Zaharia、James Zou「How is ChatGPT's behavior changing over time?」2023年7月18日
• Shehzaad Dhuliawala ほか「Chain-of-Verification Reduces Hallucination in Large Language Models」2023年9月20日
• Sewon Min ほか「FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation」2023年5月23日