標的型攻撃メール訓練のPoC設計方法｜フィッシング訓練の評価15項目-セキュリティ対策Lab

投稿日時: 2026年09月03日更新日時: 2026年09月03日

標的型攻撃メール訓練のPoC/検証方法-NIST・NCSCと実環境研究から15の検証項目を整理

標的型攻撃メール訓練サービス（フィッシング訓練サービス）を比較する際、製品デモだけで判断すると「メールを送れる」「クリック率を集計できる」「ダッシュボードが見やすい」といった機能確認に偏りがちです。

しかし、導入後に確認したいのは、訓練メールを配信できるかどうかではありません。自社のリスクに合ったシナリオを用意できるか、報告行動を測れるか、報告後にSOCや情報システム部門が調査・封じ込めへつなげられるか、継続運用にどの程度の工数がかかるかまで含めて評価する必要があります。

標的型攻撃メール訓練そのものの目的、実施方法、効果測定、サービス選定の全体像は、セキュリティ対策Labの標的型攻撃メール訓練とは？フィッシング訓練の実施方法・効果測定・サービスの選び方で整理しています。本記事では、その中でも導入候補サービスを本番採用前にどうPoCで検証するかに絞ります。

NISTはSP 800-50 Rev.1で、サイバーセキュリティ学習プログラムをリスク管理の一部として継続的に評価・改善する考え方を示しています。また、NIST Phish Scaleは訓練メールそのものの検知難易度を評価する手法を提供しており、単純なクリック率比較では結果を誤って解釈する可能性があります。

英国NCSCも、フィッシング訓練を含むフィッシング対策を教育だけに依存させるのは現実的ではなく、報告しやすい環境、技術的対策、インシデント対応を組み合わせる必要があるとしています。

本記事では、NIST、CISA、NCSCと実環境研究を基に、標的型攻撃メール訓練サービスを導入前に検証するためのPoC項目を、セキュリティ対策Labが15項目に整理します。

結論から言えば、クリック率やダッシュボードだけではリスク低減効果を判断できません。シナリオ難易度、報告行動、検知・対応との連携、運用負荷まで条件をそろえたPoCで検証する必要があります。

標的型攻撃メール訓練PoCのサマリー

製品デモでは、配信機能や画面操作は確認できても、実際のリスク低減効果までは判断できません。
PoCでは、導入目的と解決したいリスクを先に定義する必要があります。
クリック率を比較する場合は、訓練メールの難易度をそろえる必要があります。
NIST Phish Scaleを使うと、メールの「見抜きにくさ」を評価できます。
業務・職種との関連性が異なるシナリオ同士を単純比較すべきではありません。
クリック率だけでなく、認証情報入力率、報告率、報告までの時間を測定する必要があります。
報告ボタンからSOCや情報システム部門へ連携できるかを確認する必要があります。
SIEM、メール、ID基盤などへ必要なログやイベントを出力できるかも検証対象です。
類似メール検索、削除、アカウント保護までの運用時間をPoCで測る必要があります。
USENIX Security 2023の研究は、フィッシング訓練導入に技術設定・関係者調整・運用準備などの隠れたコストがあることを示しています。
NCSCは、フィッシングをすべて教育で見抜かせることを非現実的とし、報告しやすい文化を重視しています。
IEEE S&P 2025の実環境研究では、年次教育の受講時期と訓練失敗率に有意な関係が確認されず、埋め込み型教育の効果も限定的でした。
PoC結果は「教育効果」「報告・検知への貢献」「運用負荷」「技術連携」の4分類で判定すると比較しやすくなります。
本記事の15項目はNISTが規定したものではなく、NIST・CISA・NCSCと実証研究を基にセキュリティ対策Labが整理したものです。

評価領域	検証項目数	主な確認内容
PoC開始前の設計	4	リスク、対象、比較条件、成功基準
シナリオ品質	3	難易度、職種との関連性、テンプレート偏り
行動指標	4	クリック、入力、報告、報告時間、反復
検知・対応連携	3	報告連携、ログ出力、封じ込め時間
運用可能性	1	工数、調整、問い合わせ、心理・プライバシー
合計	15	導入可否を総合評価

なぜ製品デモだけでは効果を判断できないのか

製品デモで確認しやすいのは、テンプレートの種類、メール配信方法、クリック率の集計、教育コンテンツ、管理画面などです。

これらは製品選定に必要ですが、「自社のリスクを下げられるか」という問いには直接答えません。

同じ従業員が対象でも、誰が見ても怪しいメールと、実際の業務に近いメールではクリック率が変わります。クリック率が低かった製品を「教育効果が高い」と評価しても、単にシナリオが簡単だった可能性があります。

NIST TN 2276「NIST Phish Scale User Guide」は、訓練メールの人間にとっての検知難易度を評価するための方法を示しています。メール内の手掛かりと、受信者の業務との前提整合性を評価することで、クリック率や報告率を難易度の文脈で解釈できます。

セキュリティ対策Labでも、NIST Phish Scaleを使った効果測定方法を解説しています。

標的型攻撃メール訓練の効果測定方法－NIST Phish Scaleで難易度を客観的に評価

製品比較のPoCでは、同じ難易度または同等の難易度にそろえたシナリオを使い、条件をできるだけ統一する必要があります。

PoC開始前に決める4項目

まだ比較対象となるサービスを絞り込めていない場合は、先に2026年版標的型攻撃メール訓練サービス比較6選―選び方・料金・必須機能を解説で、対象者管理、シナリオ、報告機能、SOC連携、料金体系などを比較して候補を絞り込みます。PoCは、その後に残った2～3製品を実環境で検証する工程として位置付けると整理しやすくなります。

PoCを始める前に、製品機能ではなく「何を検証するか」を定義します。

解決したいリスク

最初に、導入目的を明確にします。

例えば、

認証情報を入力してしまう従業員が多い
不審メールの報告率が低い
報告後のSOC対応が遅い
部署ごとのリスク差を把握できていない
年1回の訓練から継続運用へ移行したい

といった課題です。

NIST SP 800-50 Rev.1は、セキュリティ学習プログラムを組織のリスク管理と結び付け、評価結果を継続的な改善へ反映することを求めています。

「訓練サービスを導入する」こと自体をPoCの目的にしないことが重要です。

対象部門・職種

PoC対象は無作為に選ぶだけではなく、実際のリスクを踏まえて決めます。

例えば、

経理・財務
人事
経営層
IT管理者
営業
カスタマーサポート

では、日常的に受け取るメールの内容も攻撃者が狙う情報も異なります。

シナリオが職務と無関係であれば、クリック率が低くても製品の有効性を評価したことにはなりません。

ベースラインと比較条件

PoC開始前に、比較対象となるベースラインを決めます。

確認する指標は、

クリック率
認証情報入力率
報告率
報告までの時間
初動対応までの時間

などです。

ただし、異なるシナリオ間で数値を比較する場合は、難易度をそろえる必要があります。

USENIX CSET 2017では、1万9,180人、11万5,080通の実環境フィッシング訓練データを分析し、評価結果には複数のバイアスが入り得ることを指摘しています。

単純な前回比だけで効果を判断するのではなく、対象者、シナリオ、配信条件を可能な範囲で統制する必要があります。

成功・不成功の判定基準

PoCを始める前に合格ラインを決めます。

例えば、

報告率が一定以上
初回報告まで10分以内
SOCへの通知が自動連携される
類似メール検索から削除まで30分以内
月次運用工数が一定時間以内
人事・法務・労務上の懸念が許容範囲

などです。

結果を見てから基準を決めると、どの製品でも「一定の効果があった」と評価できてしまいます。

シナリオ品質を検証する3項目

NIST Phish Scaleで難易度を評価できるか

PoCで最も重要なのは、訓練メールの難易度を記録することです。

NIST Phish Scaleは、

メールに含まれるフィッシングの手掛かり
メール内容が受信者の業務状況とどれだけ一致しているか

を基に検知難易度を評価します。

複数製品を比較する場合、製品Aは見抜きやすいメール、製品Bは精巧なメールという状態ではクリック率を比較できません。

PoCでは、各製品で同等難易度のシナリオを用意できるか、または難易度を記録して補正できるかを確認します。

業務・職種との関連性

訓練メールが対象者の実際の業務に近いかを確認します。

例えば経理部門なら請求・振込、人事なら採用や給与、IT管理者ならアカウントやクラウド通知など、役割によって現実的なシナリオは異なります。

UCLの2023年研究では、訓練方法によってフィッシング検知結果が異なることが示されており、従来型教育だけを一律の基準として扱うことの限界も示唆されています。

PoCでは「テンプレート数が多いか」ではなく、自社の職種や業務フローに合わせたシナリオを作成・配信できるかを確認します。

同一テンプレートへの慣れを避けられるか

同じような件名、送信者、ランディングページを繰り返すと、従業員がフィッシングを見抜くのではなく、「訓練メールの特徴」を学習する可能性があります。

USENIX CSET 2017の研究も、訓練効果を評価する際に設計上のバイアスを補正する必要性を指摘しています。

PoCでは、

テンプレートの種類
文面の変更幅
業務文脈の変更
配信タイミング
対象部署ごとの出し分け

を確認します。

単純に「テンプレートが100種類ある」といった数だけではなく、実運用で偏りを抑えられるかを見る必要があります。

フィッシングメールや標的型攻撃メールの作成と送付にはAIが利用されているため、

ツールを提供しているメーカー自体がSOCや脅威データベースを保持しているかは最新のシナリオをコンテンツに反映できるか？を確認する上で非常に重要です。

行動変容を検証する4項目

クリック率・認証情報入力率

クリック率は不要な指標ではありません。

重要なのは、クリック率だけで評価しないことです。

PoCでは、

URLクリック
添付ファイル操作
認証情報入力
その他の危険操作

を分けて計測できるか確認します。

認証情報入力はクリックより被害につながる可能性が高いため、同じ「失敗」としてまとめない方が実務的です。

不審メール報告率

NCSCは、フィッシング対策で「報告しやすい環境」を作ることを重視しています。

NCSCの「Phishing attacks: defending your organisation」では、報告プロセスを明確・簡単・迅速にし、クリック後であっても報告しやすい環境を作るよう推奨しています。

PoCでは、

OutlookやGmail上の報告ボタン
ワンクリック報告
IT部門への自動転送
報告内容の保持
報告後のフィードバック

を確認します。

報告率が測れない製品では、従業員を早期検知のセンサーとして活用できるか評価できません。

報告までの時間

同じ報告率でも、5分後に報告された場合と数時間後に報告された場合では、組織の対応可能時間が異なります。

PoCでは、

メール到着
最初の報告
SOC・情シスの受領
調査開始

の時刻を記録できるか確認します。

セキュリティ対策Labでは、標的型攻撃メール訓練をインシデント対応訓練として扱い、初報から封じ込めまでの時間を測る方法も整理しています。

標的型攻撃メール訓練を「インシデント対応訓練」に変える　初報から封じ込めまで何分で動けるか

反復失敗率と一定期間後の効果維持

一度のPoCでクリック率が下がっても、長期的な改善とは限りません。

IEEE Symposium on Security and Privacy 2025で発表された「Understanding the Efficacy of Phishing Training in Practice」は、約1万9,500人を対象に8カ月、10回のシミュレーションを行いました。

研究では、年次の必須セキュリティ教育を最近受けたかどうかと、フィッシングシミュレーションで失敗する可能性との間に有意な関係は確認されませんでした。また、クリック直後に提供する埋め込み型教育の効果も絶対差では小さいものでした。

PoCを1回で終了せず、

同じ対象者が再度危険操作をするか
30日後・60日後に傾向が維持されるか
シナリオ難易度が変わっても改善が続くか

を確認できる設計が望まれます。

監視・検知・対応との接続を検証する3項目

報告ボタンからSOC・情報システム部門へ連携できるか

CISAのフィッシング対策ガイダンスは、フィッシング対策を教育単体ではなく、複数の防御層で構成する考え方を示しています。

NCSCも、報告を受けて組織側が対応できる仕組みを重視しています。

PoCでは、

従業員が報告
SOC・情シスへ通知
メールを解析
同一・類似メールを検索
必要なら受信者へ注意喚起

まで実際に流して確認します。

管理画面上で「報告数」が見えるだけでは不十分です。

SIEM・メール・IDログへデータを出力できるか

PoCでは、訓練ツール単体で完結しないことも重要です。

確認したい連携先は、

SIEM
SOAR
Microsoft 365
Google Workspace
EDR
ID基盤
チケット管理
SOC運用基盤

などです。

API、Webhook、Syslog、CSVなど、どの形式でイベントを取り出せるか確認します。

また、クリックしたユーザーを検知した場合に、IDログやエンドポイント情報と関連付けられるかも確認します。

類似メール調査・削除・アカウント保護までの所要時間

本物のフィッシングでは、最初の一人が報告した後の対応速度が重要です。

PoCでは、報告後に、

同じメールを受け取った従業員を検索
類似メールを調査
メールを削除
URLやドメインをブロック
認証情報入力者を特定
パスワード変更やセッション失効
影響確認

まで実施できるか確認します。

訓練ツールがこれらを直接実行する必要はありません。

重要なのは、既存のSOC・CSIRT・メール・ID運用へ必要な情報を渡せるかです。

運用可能性を検証する1項目

管理工数・部門調整・問い合わせ・従業員心理への影響

PoCでは、機能以外の運用コストも測定します。

USENIX Security 2023の研究では、ある組織がフィッシングシミュレーション製品を選定・導入する過程を調査し、関係者の工数だけで少なくとも5万ユーロ相当になったと報告しています。

同研究は、

製品選定
技術設定
インフラ準備
運用プロセス作成
関係者調整
従業員への受容性

などに大きなコストがかかることを示しています。

PoCでは、少なくとも次の工数を記録します。

工数	確認内容
初期設定	テナント設定、ドメイン設定、メール許可設定
対象者管理	CSV、ディレクトリ連携、異動反映
シナリオ作成	テンプレート編集、承認
配信	スケジュール、対象確認
問い合わせ	従業員・管理職からの問い合わせ
集計	レポート作成、部門別分析
SOC連携	報告メール解析、調査
人事・法務調整	告知、評価利用、プライバシー

NCSCは、クリックした従業員を処罰・非難する文化を避け、クリック後でも安心して報告できる環境を作るよう求めています。

NCSCのCyber security culture principlesでも、インシデント調査は「誰が悪かったか」ではなく「何がうまくいかなかったか」に焦点を当てるよう示しています。

PoC時点から、個人ランキングや懲罰的な運用が従業員の報告を妨げないか確認する必要があります。

PoC結果は4分類で判定する

PoCの結果は、クリック率が最も低かった製品を自動的に採用するのではなく、4つの領域に分けて評価すると比較しやすくなります。

ここでの評価は、カタログ上の「機能比較」と役割が異なります。製品候補の比較軸を先に整理したい場合は、標的型攻撃メール訓練サービス比較6選を参照し、その比較軸をPoCで実測値に置き換える形が実務的です。

判定領域	主な指標
教育効果	クリック率、認証情報入力率、反復失敗率、一定期間後の維持
報告・検知への貢献	報告率、報告時間、SOC連携、類似メール発見
運用負荷	管理工数、対象者管理、問い合わせ、部門調整
技術的な連携可能性	API、SIEM/SOAR、メール、ID、ログ出力

例えばクリック率が低くても、シナリオが簡単で報告機能が弱く、毎月の対象者登録に大きな工数がかかるのであれば、高評価とは言えません。

逆にクリック率が一定程度高くても、NIST Phish Scale上で難易度が高いシナリオを利用し、報告率が高く、SOCが早期に検知・封じ込めできるのであれば、組織全体の防御力という観点では有効な可能性があります。

PoC評価シートの例

実際の製品比較では、15項目を同じ条件で評価します。

No.	検証項目	評価例
1	解決したいリスクとの一致	5点
2	対象部門・職種への適合	5点
3	ベースライン比較のしやすさ	5点
4	成功基準の測定可否	5点
5	Phish Scaleによる難易度管理	5点
6	業務・職種との関連性	5点
7	テンプレート偏りの回避	5点
8	クリック・入力行動の測定	5点
9	報告率の測定	5点
10	報告時間の測定	5点
11	反復・長期効果の測定	5点
12	SOC・情シスへの報告連携	5点
13	SIEM・メール・ID連携	5点
14	調査・削除・保護への接続	5点
15	運用負荷	5点

点数化する場合でも、総合点だけで決めるのではなく、「報告連携ができない」「必要なログが取得できない」など、自社にとって必須の項目は足切り条件として設定する方が適切です。

PoC期間は「一度送って終わり」にしない

PoC期間が短すぎると、配信機能しか評価できません。

少なくとも、

初回設定
1回目の訓練
結果分析
シナリオ変更
2回目の訓練
SOC・情シス対応
レポート作成

まで一巡させる必要があります。

USENIX Security 2023の研究が示すように、フィッシング訓練サービスには導入前後の隠れた運用コストがあります。

PoCの目的は「製品が動くか」だけでなく、「自社で継続して回せるか」を確認することです。

NIST・NCSCは「クリック率だけで評価せよ」とはしていない

NIST SP 800-50 Rev.1は、セキュリティ学習を継続的なプログラムとして管理し、指標を使って改善する考え方を示しています。

NIST Phish Scaleは、クリック率や報告率を解釈するために、メール自体の難易度を評価します。

NCSCはさらに、どの訓練を行っても全フィッシングを見抜けるようにはできないと明記しています。

NCSCのフィッシング対策ガイダンスでは、メールをすべて詳細に確認するよう従業員へ求めるのは非現実的かつ逆効果とし、

攻撃メールを届きにくくする
利用者が識別・報告できるようにする
見逃した場合の被害を抑える
インシデントへ迅速に対応する

という多層的な対策を示しています。

PoCでも、この考え方に沿って「何人がクリックしたか」だけでなく、「誰かが報告した後に組織が何分で動けたか」を検証する必要があります。

実環境研究から見るPoCで注意すべき点

複数の実環境研究は、フィッシング訓練の効果測定が単純ではないことを示しています。

USENIX CSET 2017では、1万9,180人、11万5,080通のデータを分析し、訓練結果には評価上のバイアスが含まれるため補正が必要と指摘しました。

IEEE S&P 2025の約1万9,500人を対象とした研究では、年次の必須教育を最近受講したかどうかとシミュレーション失敗率との間に有意な関係は確認されず、埋め込み型教育の効果も小さいものでした。

UCLの2023年研究では、従来型教育と攻撃者視点を取り入れた教育で結果に違いが見られました。一方、サンプル数や長期効果には限界があり、特定の教育手法を万能とする根拠ではありません。

これらの研究からPoCに取り入れるべきなのは、「どの製品が必ず効く」という結論ではなく、シナリオ、対象者、教育方法、評価期間、報告行動などの条件を記録しないと、効果を正しく比較できないという点です。

標的型攻撃メール訓練を導入・運用する際にあわせて確認したいポイント

標的型攻撃メール訓練は、製品選定、シナリオ設計、効果測定、報告・初動対応までを分けて考えると整理しやすくなります。

本記事では、導入候補となるサービスを本番採用する前に、実際の業務環境でどのようにPoCを行い、何を評価すべきかに焦点を当てました。

標的型攻撃メール訓練そのものの目的、実施方法、効果測定、サービス選定の全体像を確認したい場合は、標的型攻撃メール訓練とは？フィッシング訓練の実施方法・効果測定・サービスの選び方で整理しています。

導入候補となるサービスの機能、料金、選定軸を比較したい場合は、2026年版標的型攻撃メール訓練サービス比較6選―選び方・料金・必須機能を解説を参照してください。

訓練メールの難易度をそろえてクリック率や報告率を評価したい場合は、標的型攻撃メール訓練の効果測定方法－NIST Phish Scaleで難易度を客観的に評価で、NIST Phish Scaleを使った評価方法を解説しています。

また、訓練を従業員教育だけで終わらせず、報告後の調査や封じ込めまで含めて検証したい場合は、標的型攻撃メール訓練を「インシデント対応訓練」に変える　初報から封じ込めまで何分で動けるかもあわせて確認できます。

情報システム部門への示唆

標的型攻撃メール訓練サービスのPoCでは、「メールが送れるか」「画面が見やすいか」だけを確認しても、導入判断には不十分です。

PoC開始前に自社が減らしたいリスクを決め、同等難易度のシナリオで比較し、クリック率だけでなく報告率、報告時間、SOCへの連携、封じ込めまでの時間を測定する必要があります。

さらに、管理者の作業時間、対象者の同期、問い合わせ、人事・法務との調整まで含めて運用可能性を確認します。

訓練サービスは、単独でフィッシングを防ぐ製品ではありません。

NCSCが示すように、利用者がすべてのフィッシングを見抜くことを前提とせず、メール防御、認証対策、報告、検知、インシデント対応と組み合わせる必要があります。

導入前PoCの目的は「最もクリック率が低くなる製品」を探すことではなく、自社のフィッシングリスクを測定し、報告・検知・対応まで含めた組織の防御プロセスを改善できる製品かを確認することです。

これから標的型攻撃メール訓練の検討を始める場合は、まず標的型攻撃メール訓練のSolutionページで全体像を確認し、次にサービス比較6選で候補を絞り、その後に本記事の15項目でPoCを実施する流れが分かりやすい構成です。

なお、本記事で示した15項目はNISTなどが一つのチェックリストとして規定したものではありません。NIST、CISA、NCSCの公的ガイダンスと実環境研究を基に、セキュリティ対策Labが導入前PoC向けに整理したものです。

標的型攻撃メール訓練のPoC/検証方法-NIST・NCSCと実環境研究から15の検証項目を整理

標的型攻撃メール訓練PoCのサマリー

なぜ製品デモだけでは効果を判断できないのか