Copilot StudioのSharePointナレッジ精度を高めるには？設定・文書・評価の基本

Copilot StudioでSharePointナレッジを設定しても、期待した回答が必ず返るとは限りません。必要な情報が文書に書かれていても、異なる文書が検索されたり、古い内容が回答へ使われたり、情報が見つからないまま一般知識から回答されたりすることがあります。

このような場合、Instructionsだけを修正しても、原因が文書や検索対象、標準ハーネスの設定にあれば改善しません。まず、エージェントがどの情報を回答へ利用できる状態なのかを確認し、そのうえでKnowledgeとTopicの構成、SharePoint文書、検索結果、最終回答を分けて見ます。

特に、標準ハーネスでは、オーケストレーション、根拠のない応答、Web情報、セマンティック検索などの設定によって、回答に利用される情報の範囲が変わります。また、エージェント全体へ追加したKnowledgeと、Topic内で検索対象を限定した場合でも、回答の動きは異なります。

この記事では、Copilot StudioのSharePointナレッジ精度を改善するために、標準ハーネスの設定、Knowledge・Topic・文書の整理、検索結果と回答の評価方法を順番に解説します。

Copilot StudioのKnowledge、Tool、Topic、Agentの基本的な役割から確認したい場合は、先に「Copilot Studioの設計はどう考える？Knowledge・Tool・Agentの違いと選び方」をご覧ください。

目次

SharePointナレッジの精度は、文書だけでは決まらない

Copilot StudioでSharePointをKnowledgeとして追加しても、それだけで期待する回答が返るとは限りません。

回答できない原因として、最初に思い浮かびやすいのはSharePoint文書の内容です。しかし、実際には文書以外にも、標準ハーネスの設定、Knowledgeの範囲、Topicとの関係、検索結果、最終的な回答生成などが影響します。

たとえば、社内規程に正しい情報が書かれていても、次のような状態では期待する回答になりません。

• エージェントがKnowledgeを使わず、一般知識から回答している
• Web検索の情報が回答へ含まれている
• 質問に合わないKnowledgeやTopicが選ばれている
• 正しい文書や必要な箇所が検索されず、古い版や類似文書が取得されている
• 必要な情報は取得できたが、最終回答で条件や例外が省かれている
• 利用者に文書の閲覧権限がない
• 更新した文書がSharePointの検索へまだ反映されていない

そのため、回答が期待どおりでないときに、Instructionsだけを繰り返し修正しても改善しないことがあります。まず、問題がどの段階で発生しているかを分けて確認します。

SharePointナレッジの回答精度は、一つの設定や文書だけで決まりません。標準ハーネスの設定、KnowledgeとTopic、検索対象となる文書、取得された根拠、最終回答を一連の仕組みとして確認します。

上の図は、SharePoint文書が検索され、回答へ使われ、その結果が評価・改善されるまでの全体像を示したものです。実際には、設定やKnowledge・Topicの構成が検索対象へ影響し、検索結果と最終回答のそれぞれに問題がないかを確認します。

特に注意したいのは、検索精度と回答精度は同じではないことです。

正しい文書が検索されていても、回答で重要な条件が省かれる場合があります。反対に、自然で正しそうな回答が返っていても、SharePoint文書ではなく、モデルの一般知識やWeb情報を使っている可能性があります。

改善時は、設定から最終回答までを順に確認し、評価結果に応じて問題のある段階を見直します。

なお、新規追加や更新直後のSharePoint文書は、検索結果へ反映されるまで時間がかかる場合があります。Microsoft Learnでも、SharePointの新規・更新コンテンツは、検索インデックスの作成が完了するまでナレッジの回答に利用できない場合があると説明されています。

このように、Copilot StudioのSharePointナレッジ精度は、文書だけで決まりません。設定、Knowledge・Topic、SharePoint文書、検索結果、最終回答を分けて確認することが、改善箇所を見つける第一歩です。

次の章では、回答に利用する情報の範囲へ影響する、標準ハーネスの設定を確認します。

標準ハーネスの設定で、回答に使う情報の範囲を決める

Copilot Studioの標準ハーネスでは、Knowledgeを追加するだけでなく、エージェントが回答に利用できる情報の範囲を設定します。

SharePointナレッジの精度を確認するときは、主に次の4項目を確認します。

オーケストレーション

オーケストレーションでは、生成オーケストレーションとクラシックオーケストレーションのどちらを使うかを選びます。

生成オーケストレーションでは、利用者の依頼に応じて、Knowledge、Topic、Toolなどから必要なものを選び、回答や処理を組み立てます。クラシックオーケストレーションでは、主にトリガーフレーズからTopicを選び、あらかじめ設計した流れに沿って処理します。

生成オーケストレーションを利用していても、登録したKnowledgeが必ず検索されるわけではありません。Knowledgeの名前や説明、Instructionsを分かりやすくし、どの場面で利用する情報なのかを判断しやすくします。

根拠のない応答とWeb情報

「根拠のない応答を許可する」がオンの場合、エージェントはKnowledgeやToolを使わず、モデルの一般知識などから回答することがあります。

社内規程やマニュアルだけを根拠にしたい場合は、一般知識による回答が混ざると、SharePointナレッジの精度を判断しにくくなります。SharePoint文書だけを評価する場合は、いったんオフにし、情報が見つからないときの応答を確認すると、原因を切り分けやすくなります。

ただし、常にオフが正解というわけではありません。社内文書だけを根拠にするのか、一般的な知識も利用して案内するのかによって決めます。

「Webの情報を使用する」がオンの場合は、公開Webの情報も回答材料になります。社内文書だけを評価するときはオフにし、外部情報が必要な用途では、情報の渡り先や利用条件を確認したうえで有効化します。

セマンティック検索

テナントグラフを利用したセマンティック検索は、Microsoft Graphを根拠として、テナント内の情報検索を強化する設定です。

ただし、設定をオンにするだけで、必ず回答精度が上がるわけではありません。文書に必要な情報がない、閲覧権限がない、古い文書が残っているといった問題は、検索方式だけでは解消できません。

また、対象利用者がMicrosoft 365 Copilotライセンスを持っているかによって、利用条件やCopilotクレジットの扱いが異なります。公開前には、対象利用者、認証方法、ライセンス、Copilotクレジットの消費条件を確認します。

これらの設定に一律の正解はありません。重要なのは、エージェントに何を根拠として回答させるかを先に決め、その目的に合わせて設定することです。

設定を変更した後は、同じ質問を使って、検索された文書、引用、最終回答がどのように変わったかを比較します。

次の章では、エージェント全体のKnowledge、Topic内の検索範囲、検索対象となるSharePoint文書の整理方法を確認します。

Knowledge・Topic・SharePoint文書を整理する

標準ハーネスの設定を確認したら、次に、どの場面で、どのKnowledgeを検索させるかを整理します。

Knowledgeを増やすと回答できる範囲は広がります。一方、似た内容の文書や対象外の情報源まで増えると、質問に合わない情報が検索される可能性もあります。

そこで、Knowledgeを次のように使い分けます。

たとえば、経費精算の案内では経費規程、休暇申請の案内では就業規則だけを参照させるなど、業務ごとに検索範囲を分けられます。

ただし、Topicを細かく増やしすぎると管理が複雑になります。共通して利用する情報はエージェント全体のKnowledgeへ置き、対象文書を限定したい業務だけTopicを使う方が整理しやすくなります。

また、検索対象となるSharePoint文書自体も確認します。

• タイトルから対象業務と内容が分かる
• 対象者、条件、手順、例外が見出しで分かれている
• 重要な条件を表や画像だけに閉じ込めていない
• 古い版や重複文書が整理されている
• 必要な利用者に閲覧権限がある

たとえば、「申請手順書」だけでは、何の申請か分かりません。「在宅勤務の対象者・申請条件・承認手順」のように、文書の役割がタイトルや見出しから分かる状態にします。

一方で、検索精度を意識して文書を細かく分けすぎると、条件と例外が別文書になり、回答に必要な情報がそろわない場合があります。一つの質問へ回答するために必要な情報を、同じ文書や近い見出しで確認できる状態を目指します。

Copilot StudioのSharePointナレッジ精度を改善するには、文書を追加し続けるのではなく、共通して使うKnowledge、業務ごとに限定するKnowledge、検索対象となる文書の役割を整理することが重要です。

次の章では、正しい文書が検索されたか、取得した情報が最終回答へ反映されたかを分けて評価します。

検索結果と最終回答を分けて評価する

標準ハーネスの設定、Knowledge・Topic、SharePoint文書を見直したら、同じ質問を使って改善前後を比較します。

このとき、最終回答だけを見て「精度が上がった」と判断しないことが重要です。回答が期待どおりでない原因は、次のいずれかにあります。

たとえば、正しい文書が検索されていない場合は、Instructionsだけを変更しても改善しない可能性があります。Knowledgeの範囲、Topic内のデータソース、文書タイトル、アクセス権などを確認します。

一方、正しい文書と該当箇所を取得できているのに、最終回答から重要な条件が抜けている場合は、回答生成側の問題です。Instructionsや生成応答ノードの入力、質問の渡し方などを見直します。

評価には、実際の利用者が入力しそうな質問を使います。基本的な質問だけでなく、次のような質問も含めます。

• 文書どおりに回答できる基本的な質問
• 同じ意味を別の表現で尋ねる質問
• 複数の条件を含む質問
• 文書に回答が存在しない質問
• 利用者に閲覧権限がない情報への質問

特に、「情報がない質問」と「権限がない質問」は重要です。回答できる質問だけを評価すると、根拠がない場合に推測する問題や、アクセスできない情報をどのように扱うかを確認できません。

評価結果は、正解・不正解だけでなく、次のように記録すると改善箇所を判断しやすくなります。

評価用の質問を固定し、設定や文書を変更する前後で同じ質問を実行します。正答率だけでなく、根拠がある質問へ正しく答え、根拠がない質問には無理に答えないことも確認します。

Copilot StudioのSharePointナレッジ精度は、一つの設定だけで改善するものではありません。標準ハーネスの設定、Knowledge・Topic、文書、検索結果、最終回答を分けて確認し、評価結果に応じて必要な場所を見直します。

繰り返し評価することで、単に回答を自然にするのではなく、根拠を確認でき、業務で安心して利用できる回答へ近づけることができます。