小さな会社のAIチャットボット改善
— 月1回ログで見る3つのサイン

「チャットボットを置いたけれど、良くなっているのか分からない」——小さな会社の問い合わせ担当から出やすい悩みです。

問い合わせ数だけ見ても、FAQを直すべきか、人に戻すべきか、商品ページを直すべきかが見えません。

では、専任の分析担当がいない会社は、月1回どのログを見れば改善につながるのでしょうか。

まず、全部のログを読もうとしていませんか？

最初から全会話を読み込む必要はありません。Google Dialogflow CXには会話履歴を見るConversation historyがあります。Amazon Lex V2にも、会話ログを保存してbot performanceの確認やtroubleshootingに使う説明があります。

つまり、ログは「AIが失敗した証拠」ではありません。次に直す場所を見つける材料です。小さな会社なら、月1回30分だけでも十分に始められます。

先週の問い合わせを見返すときも、最初に見るのは3つだけです。答えられなかった質問。人に戻った会話。同じ困りごとの繰り返し。この3つに絞ると、会議が感想で終わりにくくなります。

サイン1：「答えられなかった質問」は何を足せばよいですか？

Amazon Lex V2のAnalytics定義には、Success、Failed、Switched、Dropped、Fallbackなどの分類が出てきます。製品ごとに名称は違いますが、「うまく答えられなかった会話」を分けて見る発想は参考になります。

たとえば美容サロンなら、「子ども連れで行けますか」「駐車場は何台ですか」「当日キャンセルはどこからですか」といった質問が残ります。AIの性能を責める前に、そもそもAIに読ませる情報が足りているかを見ます。

ここで大事なのは、1回で全部直さないことです。月1回、よく出た質問を1つだけFAQに足す。そのくらいの粒度なら、担当者1人でも続けやすくなります。

サイン2：「人に戻った会話」は失敗として見ていますか？

Dialogflow CX Analyticsには、Live Agent HandoffやIntent escalationsなどの表示があります。人に戻る会話は、AIが悪かった記録とは限りません。むしろ、人が判断するべき場所を教えてくれる記録です。

料金、返金、契約、個人情報、クレームは、人に戻ってよい領域です。前回の記事「小さな会社のAIチャットボット運用 — 最初に決めたい『人に戻す』5つのルール」でも、この境界線を整理しました。

月次ログでは、「戻った件数を減らす」より「戻し方が自然だったか」を見ます。担当者へつながる前に必要な情報が聞けていたか。お客様を待たせる説明になっていたか。ここを見るほうが、現場の改善につながります。

サイン3：「同じ困りごと」はFAQ以外のどこを直しますか？

IBM Watson AssistantのAnalytics説明では、顧客が何を求めているか、assistantが理解して対応できているか、どう改善するかを見る文脈が示されています。Zendeskも、ヘルプデスクの指標として新規チケット数、応答時間、解決時間、顧客満足度などを挙げています。

チャットボットのログは、FAQだけの問題ではありません。同じ質問が何度も出るなら、料金ページの表現が分かりにくいのかもしれません。資料請求ボタンが見つけにくいのかもしれません。商品名が社内用語のままなのかもしれません。

「同じ困りごと」を見つけたら、AIの回答だけでなく、サイト、チラシ、申込フォーム、社内メモまで見直し対象に入れます。チャットボット改善は、顧客対応全体を少しずつ整える入口です。

月1回の30分会議では、何を決めればよいですか？

NIST AI Risk Management Frameworkは、AIの設計、開発、利用、評価にリスク管理の観点を組み込む枠組みです。小さな会社であれば、まず「誰がログを見るか」「どの情報は見ないか」「次に直す1つは何か」を決めるところから始めます。

会話ログには、個人情報や相談内容が含まれる場合があります。閲覧できる人を絞る。必要なら名前や連絡先を伏せる。外部ツールに貼る前に確認する。ログ改善は便利さだけでなく、扱い方もセットで決めます。

「今月は駐車場の質問だけ直す」「返金の質問は必ず人に戻す」「資料請求ボタンの文言を変える」。決めることは1つで十分です。

PromnyAIで始めるなら、最初に直すのはどの情報ですか？

PromnyAIでチャットボット運用を始めるなら、最初に見るのはAIそのものではありません。AIに読ませている自社情報です。

FAQ、サービス説明、料金の案内、担当者確認が必要な条件。これらが古いままだと、AIの返答も現場の運用も揺れます。先にFAQ棚卸しや会社情報の5分類を整えると、月次ログの見直しも進めやすくなります。

ログは、怒られるための記録ではありません。お客様が同じ場所で迷っていることを、会社側に教えてくれるメモです。

まとめ：ログを見る日は、次に直す1つを決める日です

• check_circle全部のログではなく、答えられなかった質問から見ます。
• check_circle人に戻った会話は、AIの限界線を整える材料です。
• check_circle同じ困りごとは、FAQだけでなくサイトや申込導線も見ます。
• check_circle月1回30分、ログ3件、直す1つから始めます。
• check_circle個人情報や相談内容の閲覧権限も一緒に決めます。

AIチャットボットは、置いた日よりも、見直した日のほうが会社に馴染みます。