Copilot Studioの分析は何を見る？利用状況・会話結果・改善点の確認方法

Copilot Studioでエージェントを公開した後、利用者数やセッション数を確認しても、それだけではエージェントが業務で役立っているか判断できません。利用されていても質問へ回答できていない場合や、会話の途中で利用者が離脱している場合があります。

Copilot Studioの分析では、利用状況だけでなく、会話の結果、利用者の反応、満足度、KnowledgeやTopicなどの使用状況を確認できます。また、個別のセッションや会話履歴を見ることで、どのような質問へ回答できず、どこで会話が成立しなかったのかを調べられます。詳しい画面項目は、Microsoft Learnの「エージェントの有効性を分析する」で確認できます。

ただし、解決率や満足度など、一つの数値だけで良し悪しを判断するのは適切ではありません。利用者が少ない原因は回答品質ではなく、エージェントの認知や利用導線にあるかもしれません。会話が期待どおりに進まない原因も、Knowledge不足、Topicの選択、質問の対象外などに分かれます。

この記事では、Copilot Studioの標準ハーネスにある分析・モニター機能を使い、利用状況、会話の結果、個別セッションをどのように確認し、Knowledge、Topic、Instructionsなどの改善へつなげるかを整理します。

公開前の回答評価や、SharePoint文書・検索結果・最終回答の切り分けから確認したい場合は、先に「Copilot StudioのSharePointナレッジ精度を高めるには？設定・文書・評価の基本」をご覧ください。

目次

Copilot Studioの分析は、利用数だけを見るものではない

Copilot Studioでエージェントを公開すると、アクティブユーザー数やセッション数などを確認できます。しかし、利用数が増えているだけでは、エージェントが利用者の目的を達成できているとは判断できません。

たとえば、利用数が多くても、質問へ答えられずに会話が終了している可能性があります。一方、利用数が少ない場合も、回答品質ではなく、エージェントの存在が知られていない、利用画面へたどり着きにくい、対象業務が限定されているといった原因が考えられます。

Copilot Studioの分析では、利用状況、会話の結果、会話履歴、利用者の反応を分けて確認し、設定やKnowledge・Topic、文書、利用案内の改善へつなげます。

上の図は、利用状況の確認から改善までの全体像です。各数値を個別に評価するのではなく、集計結果から問題がある会話を探し、原因を分類して、必要な箇所を見直します。

そのため、分析では次の観点を分けて確認します。

Copilot Studioのモニターでは、会話のセッション、エンゲージメント、アクティブユーザー、会話の結果などを確認できます。

上の画面は、検証用エージェントの表示例です。数値の大小だけで良し悪しを判断せず、対象業務や想定利用者数と照らし合わせます。そのうえで、会話の結果や個別セッションを確認し、改善箇所を探します。

モニターページでは、概要の数値から会話の結果や関連セッションへ進めます。集計値だけで判断せず、必要に応じて個別セッションやトランスクリプトを確認します。

重要なのは、一つの指標だけでエージェントの良し悪しを決めないことです。

たとえば、解決率が高くても、簡単な質問にしか使われていない場合があります。反対に、エスカレーションが多くても、最初から担当者への引き継ぎを目的としたエージェントであれば、設計どおりに動作している可能性があります。

分析画面に表示される「セッション」は、課金上のセッションと同じ概念とは限りません。分析では、会話がどのように開始され、エンゲージメント状態になったかによって集計されます。プロアクティブメッセージやWebサイトへの配置によって、未関与のセッションが増える場合もあります。詳しい定義は、Microsoft Learnの「エンゲージメントの測定」で確認できます。

標準分析で確認する範囲と、ほかの評価も分けておきます。

• 標準分析：利用状況、会話結果、反応、使用状況、個別セッション
• ログ監視：Tool、API、フロー、依存先、例外などの技術的な状態
• 業務効果測定：作業時間、品質、費用、業務成果、継続判断

つまり、Copilot Studioの分析は、エージェントへ点数を付けるためのものではありません。使われたか、会話がどのような結果になったか、次にどこを確認すべきかを判断するために使います。

次の章では、利用状況と会話の結果を分け、各指標から何を読み取るかを整理します。

利用状況と会話の結果を分けて確認する

Copilot Studioのモニターでは、エージェントがどの程度使われたかを示す「利用状況」と、会話がどのように終わったかを示す「会話の結果」を確認できます。

利用状況では、主に次を確認します。

たとえば、セッション数が増えても、アクティブユーザーが増えていなければ、一部の利用者が繰り返し使っている可能性があります。利用状況は、対象人数、周知方法、利用導線、業務の頻度とあわせて見ます。

一方、会話の結果では、利用者が会話をどのように終えたかを確認します。

エスカレーションは、一律に悪い結果ではありません。問い合わせ内容を聞き取り、担当者へ引き継ぐことが目的なら、設計どおりの結果です。反対に、Knowledgeに回答がある質問まで引き継いでいる場合は、文書や検索範囲を見直します。

「詳細を表示する」から、会話結果の内訳や理由を確認できます。上の画面では解決済みが100％ですが、数値だけで品質を判断せず、どの質問が対象だったかも確認します。

利用状況と会話結果を組み合わせると、次に確認する場所が見えやすくなります。

これらの数値だけで原因を断定することはできません。気になる結果を見つけた後、個別セッションへ進んで原因を具体化することが重要です。

次の章では、「セッションを表示」から個別の会話を確認し、改善すべき質問を探します。

セッションと会話履歴から、改善すべき質問を見つける

利用状況や会話結果から気になる傾向を見つけたら、関連する個別セッションを確認します。

セッション一覧では、期間、会話結果、結果サブタイプ、チャネル、満足度などで対象を絞り込めます。また、平均期間や平均メッセージ数から、会話が長くなっている傾向も確認できます。

上の画面は、検証用エージェントのセッション一覧です。すべてのセッションを順番に見るのではなく、次のようなセッションを優先して確認します。

• 放棄またはエスカレーションとなったセッション
• 結果が「解決済み」でも、回答内容を確認したいセッション
• 会話時間やメッセージ数が多いセッション
• 満足度や反応が低いセッション
• 同じような質問が繰り返されているセッション

対象セッションを開くと、利用者の質問とエージェントの回答に加え、会話結果、期間、メッセージ数、チャネルなどを確認できます。

上の画面は、検証用エージェントの個別セッション例です。画面上では「解決済み」と分類されていますが、それだけで回答内容が正しいとは判断できません。質問、回答、会話結果をあわせて確認し、必要に応じて回答の根拠や最新の仕様も確認します。

確認した内容は、次のように原因を分類すると、見直す場所を判断しやすくなります。

たとえば、同じ質問へ繰り返し回答できていない場合は、Knowledge不足だけでなく、文書の表現や検索範囲に原因がある可能性があります。一方、正しい情報を取得できていても回答が分かりにくい場合は、Instructionsや生成応答の組み立てを見直します。

重要なのは、各セッションを個別の失敗として扱わず、似た質問やつまずきをまとめて傾向を見ることです。共通する問題が見つかれば、影響の大きいものから改善できます。

また、利用者が実際に尋ねている内容から、エージェントの対象業務やKnowledgeがニーズに合っているかも確認します。

次の章では、分析で見つけた課題を、Knowledge、Topic、Instructions、利用案内などの改善と継続判断へつなげます。

分析結果を改善と継続判断につなげる

利用状況や会話履歴を確認したら、分析結果を具体的な改善へつなげます。

数値が低い項目を一律に直すのではなく、原因に応じて見直す場所を選びます。

改善時は、一度に多くの設定を変えないことが重要です。変更箇所が多いと、何が結果へ影響したのか判断しにくくなります。

まず課題を一つ選び、次の順番で進めます。

1. 対象となる質問やセッションを決める
2. 原因を分類し、見直す場所を選ぶ
3. 変更内容を記録する
4. 変更後の会話結果を確認する
5. 同じ問題が減ったかを個別セッションで確認する

ただし、Copilot Studioの標準分析だけでは、すべてを確認できません。

• 標準分析：利用状況、会話結果、反応、個別セッション
• ログ監視：Tool、API、フロー、例外などの技術的な状態
• 業務効果測定：作業時間、品質、費用、業務成果

Copilot Studioの分析は、エージェントに点数を付けるためではありません。改善すべき場所を見つけ、変更後の結果を確認するために使います。

一度の分析で完成を目指さず、定期的に確認し、影響の大きい箇所から改善します。業務成果や費用対効果まで含めた評価は、「Copilot・AIエージェントの効果をどう測る？利用・品質・業務成果から判断する」で詳しく整理しています。