Copilot・AIエージェントの効果をどう測る？利用・品質・業務成果から判断する

CopilotやAIエージェントが動いたことと、業務上の効果を確認できたことは同じではありません。利用されていても、期待した品質で動いていなければ、業務成果につながっているとは限りません。

大切なのは、何を良くしたいのかを先に決め、利用状況、品質、業務上の変化を分けて確認することです。その結果から、継続する、改善する、対象を広げる、用途を変えるといった次の対応を判断します。

この記事では、ACJで用意している効果測定実施キットの記入例も示しながら、CopilotやAIエージェントの効果を測る基本的な考え方を整理します。Microsoft 365 Copilotだけでなく、Copilot Studioで作成したAIエージェントや、Copilot Coworkを業務へ取り入れる場合にも共通する考え方です。

目次

効果測定では、最初に期待する変化を決める

効果測定では、最初から多くの数字を集める必要はありません。まず、誰のどの業務を、どのように変えたいのかを決めます。

例えば、作業時間を短縮したいのか、入力漏れを減らしたいのか、利用者が自分で業務を完了できるようにしたいのかによって、確認する指標は変わります。

あわせて、現在の方法と何を比較するのか、導入前の状態を確認できるか、どの結果なら継続・改善・展開するのかも整理します。

• 対象となる業務と利用者
• 期待する変化
• 比較対象と条件
• 導入前の状態
• データの取得方法
• 継続・改善・展開の判断基準

効果測定実施キットでは、対象業務、期待する価値、比較条件、導入前の状態、判断基準を一つのシートに整理します。次の画像は、クラウド環境管理を支援するAIエージェントを想定した記入例です。

※以降の画像は、クラウド環境管理を支援するAIエージェントを想定した、ACJの効果測定実施キットの記入例です。測定値は説明用の仮想例であり、実際の支援では対象業務や目的に合わせて設計します。

効果測定計画の記入例
対象業務、期待する価値、比較条件、導入前の状態、判断基準を整理しています。

大切なのは、測定できる数字を先に選ぶことではありません。期待する変化から逆算して、次の判断に必要な指標を決めます。

利用・品質・業務成果を分けて確認する

期待する変化を決めたら、その効果を確認する指標を選びます。利用回数だけを見るのではなく、利用・定着、品質・利用者体験、業務成果、投資対効果・展開性の視点から確認します。

• 利用・定着：対象者に使われているか、継続して利用されているか
• 品質・利用者体験：正しく処理できたか、修正や手戻りが多くないか
• 業務成果：作業時間、処理件数、解決率などが改善したか
• 投資対効果・展開性：得られた効果が費用や運用負荷に見合うか

Copilot Studioでは、エンゲージメント率やセッションの結果、利用者のフィードバックなどを確認できます。具体的な指標については、Microsoft Learnの「KPIと分析でエージェントのパフォーマンスを測定・改善」でも紹介されています。

クラウド環境エージェントで登録時間が短くなっても、入力漏れや誤った提案が増えていれば、十分な効果が出たとはいえません。利用回数が多くても、担当者による修正が多い場合も同様です。

すべての指標を測る必要はありません。期待する変化と次の判断に関わるものを重点指標として選び、それ以外は補足的に確認します。

一つの数字だけで成果を判断せず、使われているか、正しく機能しているか、業務が変わったかを分けて確認します。

測定条件をそろえて、導入前後を比べる

導入前後の数値を比べるときは、同じ条件で測れているかを確認します。対象業務や件数、難易度が違えば、時間や品質の変化を単純には比較できません。

例えば、次の条件をそろえます。

• 対象業務：同じ作業や処理範囲を比べているか
• 利用者：経験や役割が大きく異なっていないか
• 対象期間・件数：比較できる期間や件数を確保しているか
• 完了の定義：どの状態を「完了」とするか決めているか
• 人の作業：確認、修正、引き継ぎにかかった時間も含めているか

クラウド環境エージェントで登録案の作成時間が短くなっても、その後の確認や修正に時間がかかれば、業務全体の時間短縮にはなりません。エージェントの処理時間だけでなく、担当者が確認して登録を完了するまでを測ります。

実際の測定では、指標ごとに導入前の状態、目標、測定結果、対応方針をまとめます。次の画像は、クラウド環境エージェントを想定した記入例です。

効果測定結果の記入例
利用率、入力漏れ、登録完了時間について、目標、測定結果、対応方針を整理しています。

大切なのは、良い数字を出すことではありません。何を、どの条件で測り、どの結果から次の判断を行うのかを説明できる状態にします。

Microsoft 365 Copilotでは、Viva Insightsの「Microsoft Copilot影響レポート」を使って、利用状況や支援された時間、Copilot利用後のコラボレーションパターンなどを確認する方法もあります。なお、利用にはViva Insightsの役割やライセンス、Power BIなどの前提条件があります。

数値と現場の声から、次の対応を判断する

効果測定では、数値が改善したかだけでなく、利用者や運用担当者が実際に使える状態になっているかも確認します。

例えば、処理時間が短くなっても、確認や修正が難しくなっていれば、業務全体では負担が増えているかもしれません。反対に、大きな時間削減がなくても、入力漏れが減った、担当者による差が小さくなったといった変化に価値がある場合もあります。

測定結果と現場の声を合わせて、次の対応を判断します。

• 継続する：期待した効果があり、現在の運用を続けられる
• 改善して再試行する：課題を修正すれば、さらに効果を期待できる
• 対象を広げる：他の利用者や業務でも効果を見込める
• 用途を変える：別の使い方に絞った方が効果を得やすい
• 保留・停止する：効果や品質が費用・運用負荷に見合わない

改善して再試行する場合は、測定値だけでなく、発生した問題、原因の仮説、次に変更する内容も記録します。次の画像は、クラウド環境管理を支援するAIエージェントについて、現状確認、試行、再試行の流れを整理した記入例です。

試行・改善記録の例
測定結果、発生した問題、原因の仮説、次の改善内容を整理しています。

測定結果が目標に届かなかった場合も、必ずしも失敗ではありません。どこに課題があり、何を変えて再試行するのかが分かれば、次の判断材料になります。

効果測定は成果を証明するためだけではなく、継続・改善・展開・用途変更・停止を判断するために行います。

Copilot・AIエージェントの効果を確認するチェックリスト

対象となる業務について、確認できた項目にチェックを付けます。すべてを埋めてから効果測定を始める必要はありません。確認できない項目は、次に整理・測定することとして残します。

チェックの数で、効果の有無を判定するものではありません。重要なのは、期待した変化、実際の結果、残っている課題を分け、次の対応を決めることです。

目標に届かなかった場合も、原因と改善内容を整理できれば、次の試行につなげられます。反対に、数値が改善していても、品質や運用負荷に課題があれば、そのまま対象を広げるとは限りません。

効果測定を、成果を示すためだけでなく、CopilotやAIエージェントを継続・改善・展開するための判断材料として活用します。