導入した当初は、よく答えてくれていた。ところが最近、様子がおかしい。的外れな返答が増えた。前は答えられていたことに、答えられなくなった。同じ質問なのに、日によって答えが違う。お客様から「窓口で違うことを言われた」と連絡が来た。──そんなご相談を、運用が半年から一年を過ぎたあたりの会社からいただくことがあります。導入したときの手応えを覚えているぶん、落差が気になるのだと思います。
私たち株式会社Milestoneは、静岡県沼津市を拠点に、AIチャットボット・お問い合わせ対応AIの開発を専門に手がけている会社です。今日は、この「精度が落ちた気がする」への向き合い方をお伝えします。
先に、一番大切なことを言います。多くの場合、AIが悪くなったのではありません。会社が変わったのに、AIに教えていないだけです。
商品が増えた。料金が変わった。担当者が代わった。申込みの手順が変わった。案内の言い回しを見直した。──会社は毎月少しずつ変化しているのに、AIの教材は導入したときのまま。これでは、答えが少しずつずれていくのは当然です。AIは古びません。教材が古びるのです。 ここを取り違えると、対処の方向まで間違えてしまいます。
原因の切り分け方、五つのよくある原因、直し方の手順、そして再発を防ぐ習慣まで。読み終える頃には、貴社の窓口に何が起きているか、見当がつくはずです。
まず、切り分ける
慌てて教材をいじる前に、状況を分けて見ます。
「本当に落ちたのか」を、確かめる
意外に多いのが、実は落ちていない場合です。
一つは、質問の種類が変わっただけ、というケースです。新商品の発売や季節の変化で、これまで来なかった種類の質問が増えると、当然、答えられない率は上がります。でもそれは、AIが劣化したのではなく、教えていない範囲の質問が増えたという事実です。同じ「答えられない」でも、原因が違えば対処法も変わります。
もう一つが、印象に引きずられている場合。おかしな答えを一度目にすると、その一件が強く記憶に残ります。実際に全体の割合を見てみると、以前と変わっていない、ということも珍しくありません。まず記録を見る。 感覚ではなく数字で確かめるのが、最初の一歩です。人の記憶は、失敗のほうを強く覚えているものです。
いつから、どう変わったか
落ちているとしたら、時期を特定します。ある日を境に急に変わったのか、じわじわ悪くなってきたのか。
急激な変化なら、何かの操作や変更が原因であることが多い。教材を入れ替えた、設定を変えた、連携先のシステムを触った、料金表を差し替えた。心当たりを時系列で並べれば、たいてい見つかります。
じわじわなら、教材の陳腐化が主犯です。時間の経過とともに、会社の実態と教材の内容がずれていった形です。
どの質問で、おかしくなるか
全部の質問がおかしいのか、特定の話題だけおかしいのか。ここも切り分けの大切な情報です。特定の分野だけ崩れているなら、その分野の教材に問題があります。全体的におかしいなら、設定や連携の側を疑う。この見立てだけで、探す場所がぐっと絞れます。
よくある五つの原因
現場で実際に多い順に、五つ挙げます。
| 原因 | 症状 | 直し方 |
| ①教材が古い | 前の料金・終わった商品・旧営業時間を答える | 変わった箇所を教え直す |
| ②教材に矛盾がある | 場面によって違うことを言う | 古い資料を消し、正を一つに |
| ③質問の傾向が変わった | 新しい話題にだけ答えられない | 増えた質問の答えを追加 |
| ④教材を足しすぎた | 全体的にぼやけた答えになる | 整理して、重複を削る |
| ⑤範囲の設定が緩い | 答えるべきでないことに答える | 範囲を締め直す |
①教材が古い──最も多い原因
料金改定、商品の入れ替え、営業時間の変更、担当部署の再編、キャンペーンの終了。──会社は変わるのに、教材は自動では変わりません。
特に見落とされがちなのが、小さな変更です。振込先の口座が変わった。定休日が一日増えた。担当窓口の内線が変わった。この程度の変更は、誰かがAIに教えるという発想自体が出てこないまま、放置されます。そして、それを知らないAIは、古い情報を、まったく悪びれることなく、自信を持って答え続けます。
②教材に矛盾がある──犯人は「古い資料の残骸」
意外な落とし穴がこれです。教材を追加したとき、古い資料を消さずに残していると、AIは二つの違う答えを持つことになります。
そして厄介なのは、どちらを答えるかが、質問の言い回しによって変わってしまうこと。「同じことを聞いたのに、違う答えが返ってきた」という現象の正体は、たいていこれです。正しい答えを足すだけでなく、間違った答えを消す。 両方やらないと、矛盾は残り続けます。書き換えではなく追記で運用している会社ほど、この落とし穴にはまりやすいので注意してください。
③質問の傾向が変わった──悪化ではなく、成長痛
新商品を出した。新しいサービスを始めた。世の中の関心が変わった。──こうした変化で、これまで想定していなかった質問が届き始めます。
これは劣化ではなく、事業が動いている証拠です。落ち込む必要はありません。増えた質問の答えを、教材に足せばいいだけです。むしろ、この種の「答えられなかった記録」は、お客様の関心がどこへ動いているかを教えてくれる、貴重な資料でもあります。売れ行きの数字より早く、変化が現れることさえあります。
④教材を足しすぎた──親切が、裏目に出る
真面目な会社ほど陥るのが、これです。答えられなかった質問が出るたびに資料を足していくと、教材が膨らみます。似た内容が重複し、どれを根拠にすべきか判別しにくくなり、答えがぼやける。
教材は、多ければ良いものではありません。 使われていない資料、重複した説明、細かすぎる例外規定。定期的に整理して、教材を痩せさせることも必要です。人間の新人に、使わない資料を山ほど渡しても混乱するだけなのと同じです。
⑤範囲の設定が緩い──答えるべきでないことに答える
これは精度というより、設計の問題です。答える範囲がはっきり区切られていないと、AIは知らないことにもそれらしく答えようとします。
「うちでは扱っていない商品を、あると言われた」「勝手に値引きの話をされた」「他社の商品を勧められた」。──こういう事故は、教材の問題ではなく、範囲の設定を締め直すことで対処します。分からないときは、正直に分からないと言わせる。 ここが緩いと、他をどれだけ磨いても事故は消えません。
まず、この五問に、答えてみる
原因の当たりをつける簡単な方法があります。次の五問に、はい・いいえで答えてみてください。
| 質問 | はいなら疑うもの |
| この一年で、料金や商品を変えましたか？ | ①教材が古い |
| 教材を追加したとき、古い資料を消しましたか？（いいえなら） | ②矛盾 |
| 新しい商品やサービスを始めましたか？ | ③傾向の変化 |
| 導入時より、教材の量が倍以上になっていますか？ | ④足しすぎ |
| 「答えられません」と返す設定を、確認したことがありますか？（いいえなら） | ⑤範囲が緩い |
複数当てはまることも珍しくありません。その場合は、当てはまった中で最も件数の多い症状から手をつけてください。
AI自体は、勝手に悪くならない
もう一つ、安心していただきたいことがあります。教材や設定を触っていないのに、AIが自分から悪くなることは、基本的にありません。
人間の記憶のように、時間とともに薄れていくわけではない。昨日答えられたことは、今日も同じように答えられます。
だからこそ、変化には必ず理由があります。教材が変わったか、質問が変わったか、設定が変わったか、つないでいるデータが変わったか。「なんとなく調子が悪い」ということは、起きないのです。 原因を探せば、必ずどこかにあります。
直し方の、手順
順番があります。
第一に、記録を集める
直近一か月ほどの、答えられなかったやり取りと、おかしな答えを返したやり取りを集めます。これが直しの材料になります。記録が残っていない窓口は、そもそも直しようがありません。 もし記録が取れていないなら、まずそこから整えてください。
第二に、分類する
集めた記録を、先ほどの五つの原因に振り分けます。古い情報を答えていたのか、矛盾していたのか、そもそも教えていない話題か。──この仕分けができた時点で、やるべきことの半分は決まったようなものです。
第三に、多い順から直す
一度に全部やろうとしないでください。件数の多いものから、上位五つほどに絞って直す。一番効くのは、たいてい上位のいくつかです。 残りは、翌月の手入れに回せば十分です。 全部やろうとして疲れて止まるより、上から順に片づけて習慣にするほうが、結果的に速く、そして長続きします。
第四に、直したら試す
直した後は、必ず同じ質問をもう一度投げて、意図どおりに答えるか確かめます。そして、関係のない質問も一つ二つ試してください。 一箇所を直したことで、別の場所の答えが変わってしまうことが、稀にあります。特に、資料を大きく入れ替えたときは要注意です。
再発を防ぐ、三つの習慣
直すだけでなく、落ちにくくする話です。
習慣①：月30分の手入れ
答えられなかった質問の記録を見て、多いものから教材を直す。これを月に一度、30分だけ。たったこれだけですが、この習慣がある会社と、無い会社では、一年後の精度がまったく違います。同じ費用をかけて作った窓口でも、一年後の価値には差がつきます。育て続けることを前提に設計されたAIは、時間が経つほど賢くなります。
習慣②：変更したら、AIにも伝える
料金を変えた、商品を入れ替えた、営業時間を変えた。──この種の変更を行うときの手順書やチェックリストに、「AIの教材も更新する」の一行を足してください。たった一行ですが、効果は絶大です。
ホームページを直したらAIも直す。料金表を刷り直したらAIにも渡す。この対応関係を仕組みにしておくと、抜けが目に見えて減ります。AIは、社内の連絡網に入れておくべき従業員の一人だと考えてください。 知らされていない人が、正しく答えられるはずがありません。
習慣③：年に一度、教材の棚卸し
一年に一度でいいので、教材の中身を通して見直します。使われていない資料、古くなった説明、重複した内容、もう扱っていない商品の情報。足すだけの運用に、削る機会を意図的に作る。掃除をしない部屋が散らかるのと同じで、教材も放っておくと溜まります。
やってはいけない、3つのこと
してはいけない①：「AIだから仕方ない」と諦める
精度の低下には、たいてい原因があり、たいてい直せます。「所詮AIだから」と仕組みの限界に結論づける前に、一度記録を見てください。教材の問題であることが、本当に多いのです。
してはいけない②：原因を確かめずに、教材を足す
おかしいから資料を足す、という反応は自然ですが、原因が矛盾や足しすぎだった場合、追加するほど悪化します。良かれと思った作業が、事態を悪くするのです。まず記録、次に分類、それから対処。 この順番を守ってください。
してはいけない③：黙って使い続ける
一番もったいないのが、おかしいと思いながら誰にも言わず、そのうち使われなくなるパターンです。お客様は、間違った案内を受け取ったことを、わざわざ教えてはくれません。黙って離れていくだけです。だから、社内で気づいた人が「今の答え、変じゃない？」と言える空気があるかどうか。この空気が、実は一番の予防策かもしれません。 窓口の品質は、技術だけでなく、社内の関心で決まる面があります。
「AIを制御する技術」×精度の維持──Milestoneの考え方
私たちが「AIを制御する」と言うとき、それは作るときの設計だけを指していません。運用の中で、答えの質を保ち続けることまでを含んでいます。
答えられなかった記録が、必ず残る形にする。教材の更新が、専門家を呼ぶ特別な作業ではなく、日常の手順の一部になるようにする。そして、範囲を後から締め直せる余地を残しておく。──作った時点が一番賢くて、あとは劣化していくだけの窓口を、私たちは作りたくありません。
静岡の中小企業では、専任の担当者を置ける会社は多くありません。だからこそ、月30分で回る形に設計し、更新の作業自体を軽くしておく。続けられない立派な運用より、続けられる地味な運用のほうが強い。運用を続けられる設計こそが、長い目で見た精度の正体だと考えています。
よくある質問（FAQ）
Q1．どれくらい落ちたら、対処すべきですか？ A．一律の基準はありませんが、「答えられなかった質問」の割合が以前より目立って増えたら、見直しどきです。数字が取れていない場合は、お客様や社内から指摘が二度あったら、というくらいの感覚で構いません。早めに見るほど、直すのは簡単です。
Q2．教材を更新すれば、すぐ直りますか？ A．はい、多くの場合、更新が反映されればすぐに改善します。ただし、古い資料が残っていると矛盾が続くので、足すのと同時に消す作業が必要です。直したつもりで直っていない原因は、たいてい「消し忘れ」です。
Q3．自社で直せますか？ 業者に頼むべきですか？ A．できる範囲を分けて考えてください。教材の文言を直す程度なら、自社で対応できる形にしておくのが理想です。範囲の設定や連携部分に関わる調整は、業者側の作業になります。導入時に「どこまで自社で直せるか」を確認しておくと、運用が楽になります。
Q4．他社で入れた窓口ですが、見てもらえますか？ A．拝見できます。実際、そうしたご相談もいただきます。記録を確認して、原因の切り分けと直し方をお伝えする形です。そのまま今の業者さんに直してもらう、という進め方でも構いません。まずは何が起きているかを知ることが先です。
Q5．記録が残っていません。どうすれば？ A．まず、記録が残る形に変えるところからです。何が聞かれ、どう答えたかが見えないと、改善はすべて勘に頼ることになります。真っ暗な部屋で掃除をするようなものです。ここは費用をかける価値のある部分です。
Q6．答えの精度は、どこまで上げられますか？ A．範囲を区切れば、かなり高くできます。「よくある質問に、正しく答える」という範囲であれば、高い水準を保てます。ただし100パーセントにはなりません。だからこそ、分からないときに正直に人へつなぐ設計を、精度と一緒に用意しておくことが大切です。
Q7．うちは変更が多いので、追いつけません。 A．そのお悩みは、設計で軽くできます。変更が多い会社ほど、教材の置き場所を一箇所にまとめる設計が効きます。あちこちに散らばった資料を全部直すのではなく、AIが見る場所を一つにしておけば、更新はそこだけで済みます。設計の工夫で、かなり楽にできます。
Q8．相談するとき、何を持っていけばいいですか？ A．「おかしいと感じた具体的なやり取り」を、いくつか用意してください。画面の写真でも、記憶の範囲での再現でも構いません。実例が数件あれば、原因の見当はかなりつきます。
落ちたのではなく、置いていかれただけ──株式会社Milestone
AIの答えがおかしくなる原因は、たいてい仕組みの内側ではなく、外にありました。会社が変わり、お客様の質問が変わり、教材だけがその場に取り残されていた。
だとすれば、直し方も明快です。記録を見て、原因を分類し、多い順に直す。そして月30分の手入れで、置いていかれない状態を保つ。窓口は、放っておけば取り残される代わりに、手をかければ賢くなり続けます。 どちらに転ぶかを決めるのは、月に一度の30分です。
私たちMilestoneは、静岡県沼津市を拠点に、AIチャットボット・お問い合わせ対応AIの開発と導入支援を専門に行っています。「AIを使う」のではなく「AIを制御する」を核に、作るところから、育て続けるところまで伴走します。
こんなご相談を歓迎しております
- 最近おかしい気がする窓口を、診断してほしい
- 記録が残る形に、作り直したい
- 教材の棚卸しを一緒にやってほしい
- 自社で更新できる運用に変えたい
- 他社で導入した窓口の改善だけ頼みたい
訪問対応（静岡県内・隣接エリア）、オンライン対応（全国）、どちらでも可能です。30分ほどお話を伺い、実例をいくつか拝見するだけで、貴社の窓口に何が起きているかは、たいてい見えてきます。
▶ ご相談・お問い合わせ https://milestone-net.com
「資料だけ見たい」「他社と比較検討中」というライトな段階のご連絡も、歓迎しております。
「やりたいをできるに、できるをできたに」。中小企業の長期パートナーとして、責任を持って伴走します。
株式会社Milestone（マイルストーン） 代表取締役 大石 湧斗（おおいし ゆうと） 所在地：静岡県沼津市
中小企業向けAIシステム開発・導入支援。「AIを使う」のではなく「AIを制御する」を経営の核に据え、業務にフィットしたAI導入を伴走型でご提案。静岡県全域と隣接エリアで対面対応可能。「やりたいをできるに、できるをできたに」をミッションに、貴社の長期パートナーとして責任を持ってご支援します。
