標的型攻撃メール訓練の効果 測定方法-NIST Phish Scaleで難易度を客観的に評価

標的型攻撃メール訓練を実施したものの、クリック率が高かった月と低かった月がある理由を説明できずにいる情報システム部門は少なくありません。クリック率という単一の数字だけを追いかけていると、その差が従業員の意識の変化によるものなのか、それとも単に今月のメールがたまたま見抜きにくい設計だったのかを区別できず、対策の方向性を見誤ってしまいます。米国立標準技術研究所(NIST)が開発した「NIST Phish Scale」は、この問題を解決するために作られたフレームワークです。本稿では、その仕組みと、架空の訓練メールを使った実際の評価シミュレーション、そして自社の訓練プログラムへの落とし込み方までを解説します。

サマリー

• NIST Phish Scaleは、標的型攻撃メール訓練で使われるメールの、人間にとっての検知難易度を客観的に評価するためにNISTが開発したフレームワークである
• 評価は大きく2つの軸で構成される。1つ目は不審な「手がかり(Cues)」の数と質、2つ目はメールの内容が受信者の実際の業務にどれだけ合致しているかを示す「前提整合性(Premise Alignment)」である
• 手がかりの数は、検知が容易な「Many(15箇所以上)」、中間的な「Some(9〜14箇所)」、極めて検知が難しい「Few(1〜8箇所)」の3段階に分類される
• 前提整合性は、業務プロセスの模倣度・職務との関連性・タイムリーな出来事との連動性・対応しなかった場合の悪影響という4要素を加点し、直近の類似訓練の実施歴を差し引いて算出する
• 技術的な手がかりが少なくても前提整合性が高いメールは、クリック率が高くなる傾向があり、この組み合わせこそが最も危険なパターンであることをNISTの実証データが示している
• NIST自身、クリック率と報告率という従来の2指標だけでは組織のフィッシングリスクの全体像を捉えきれないという課題意識からPhish Scaleを開発しており、報告率もクリック率と同様にメールの難易度という文脈を踏まえて解釈すべきだとしている
• 米CISA・英NCSC・イスラエルINCDといった公的機関も、報告を組織・社会全体の防御力を高める能動的な行動として位置づけており、報告のしやすさを高める取り組みを公式に進めている
• クリック率という結果指標だけでなく、メール自体の難易度を評価軸として持つことで、訓練結果を従業員個人の資質ではなくメール設計の難易度から解釈し直せるようになる

項目	内容
開発元	米国立標準技術研究所(NIST)
評価軸1	手がかり(Cues)の数と質
手がかりの分類基準	Few(1〜8箇所)/Some(9〜14箇所)/Many(15箇所以上)
評価軸2	前提整合性(Premise Alignment)
前提整合性の算出要素	業務プロセス模倣度・職務関連性・タイムリーな出来事との連動性・悪影響への懸念、から直近訓練歴を差し引く
最も危険とされる組み合わせ	手がかりFew(少ない)×前提整合性High(高い)
主な用途	訓練結果の解釈、難易度の段階的コントロール

標的型攻撃メール訓練が陥りがちな「クリック率」偏重の課題

多くの組織で実施されている標的型攻撃メール訓練は、あらかじめ用意された画一的なテンプレートを全社へ一斉配信し、クリック率の低下だけをセキュリティ対策の成果として経営層へ報告する形に陥りがちです。

しかし、クリック率とは、メールの難易度によって大きく変動します。誰が見ても不審な粗雑なメールを使えばクリック率は当然低くなりますし、逆に業務実態に即した精巧なメールを使えばクリック率は高くなります。

この違いを踏まえずに月次・年次のクリック率だけを比較すると、実際には訓練の難易度が変わっただけなのに、あたかも従業員の意識が向上した、あるいは低下したかのように誤って解釈してしまうリスクがあります。

関連：フィッシングメールをクリックした社員は悪なのか？海外研究に見るフィッシング被害と心理トリガーの関係

NIST Phish Scaleとは

NIST Phish Scaleは、こうした課題を解決するためにNISTの研究者が開発したフレームワークです。実際の標的型攻撃メール訓練から得られた運用データをもとに構築されており、訓練を担当する部門が、あるメールのクリック率が高かった原因を、従業員の注意不足によるものなのか、それともメール自体が客観的に見抜きにくい設計だったのかを切り分けて解釈できるようにすることを目的としています。

評価は大きく2つの軸から成り立っており、1つ目が観察可能な「手がかり(Cues)」の数と質、2つ目が「前提整合性(Premise Alignment)」です。

評価軸1:手がかり(Cues)の数と質

手がかりとは、メールを受け取った人が違和感を覚えうる、客観的に確認できる不審な要素を指します。

具体的には、送信者アドレスの不整合やなりすまし、リンク先URLの偽装、スペルミスや不自然な文法といった言語的な誤り、ロゴや書式の乱れといった視覚的な違和感などが含まれます。

NISTはこれらの手がかりの総数に応じて、

1. 検知が容易な「Many(15箇所以上)」
2. 中間的な「Some(9〜14箇所)」
3. そして極めて検知が難しい「Few(1〜8箇所)」

という3段階に分類します。

ここで重要なのは、単純な個数だけでなく、それぞれの手がかりがどれだけ気づきやすいかという質的な重み付けも評価に組み込まれている点です。手がかりの詳細な分類項目や採点の考え方については、NIST自身が公開しているユーザーガイドに具体的な一覧が示されているため、自組織で厳密に運用する場合は一次資料の参照をお勧めします。

評価軸2:前提整合性(Premise Alignment)

前提整合性は、メールの内容が受信者の実際の業務、職種、組織内のプロセス、あるいはタイムリーな社会情勢にどれだけ合致しているかという適合度を表す指標です。NISTのワークシートでは、この前提整合性を4つの要素の加点方式で算出します。

1. 1つ目は既存の業務プロセスをどれだけ模倣しているか
2. 2つ目は受信者の職務内容とどれだけ関連性が高いか
3. 3つ目は組織内外のタイムリーな出来事とどれだけ連動しているか
4. 4つ目は対応しなかった場合にどれだけ深刻な悪影響が懸念されるか

それぞれ「極めて高い」から「なし」までの5段階で採点します。そのうえで、直近1年以内に同じテーマの訓練や注意喚起を受けていた場合は、その分を差し引きます。

NISTの実証データが示す重要な知見は、手がかりの数がどれほど少なくても、この前提整合性が高い場合には多くの従業員がクリックしてしまうという事実です。逆に言えば、技術的な粗が少なく、かつ業務実態に即したメールこそが、最も検知が困難で危険なパターンだということになります。

NIST Phish Scaleの評価手順-3ステップ

ここまでの2つの評価軸を踏まえ、実際にあるメールを評価する際の手順を3つのステップに整理すると、以下のようになります。自社のメールを評価する際は、このステップをそのままチェックリストとして使うことができます。

Step1:手がかり(Cues)を数える 評価対象のメールを1つずつ読み、送信者アドレスの不整合、リンク先URLの偽装、スペルミスや不自然な文法、ロゴや書式の乱れといった、客観的に確認できる不審な要素を漏れなく洗い出し、該当箇所の総数を数えます。数えた結果を、Few(1〜8箇所)・Some(9〜14箇所)・Many(15箇所以上)のいずれかに分類します。

Step2:前提整合性(Premise Alignment)を採点する 業務プロセスの模倣度、受信者の職務との関連性、タイムリーな出来事との連動性、対応しなかった場合の悪影響への懸念という4つの要素を、それぞれ「極めて高い」から「なし」までの5段階で採点し合算します。直近1年以内に同じテーマの訓練や注意喚起を実施していた場合は、その分を差し引いて最終的な前提整合性のスコアを確定させます。

Step3:2つの評価軸を組み合わせて最終判定する Step1で分類した手がかりの水準(Few/Some/Many)と、Step2で算出した前提整合性の高低を組み合わせ、そのメールの総合的な検知難易度を判定します。手がかりが少なく前提整合性が高い組み合わせほど、人間にとって見抜くことが難しいメールだと評価できます。

【シミュレーション】架空の訓練メールを実際に評価してみる

前述の3ステップが実際にどのように機能するのか、架空の訓練メールを1本用意して当てはめてみます。

想定シナリオ

月末の支払い処理で忙しい経理部門の担当者宛てに、取引先を装ったメールが届いたという想定です。

件名は「【至急】ご請求書お支払いのご確認について」、送信者表示名は実在する取引先企業の担当者名、送信元アドレスは取引先の実際のドメインに酷似した別ドメイン(例:本来「vendor-partner.co.jp」であるべきところ「vendor-partner-jp.com」)です。

本文には、月末締めの請求書の支払期限が本日中であること、支払いが遅れると延滞損害金が発生する可能性があること、添付の請求書内容を確認したうえで支払い処理システムのリンクから承認してほしい旨が記載されています。

宛名は「ご担当者様」という一般的な表記にとどまり、受信者の実名は使われていません。

メール本文の一文には、やや不自然な言い回しが1箇所見られ、署名欄の取引先ロゴ画像もわずかに解像度が粗く、実際のロゴと比べて色味が微妙に異なっています。リンクのテキスト表示は正規の取引先サイトのURLに見えますが、実際のリンク先は表示と異なる外部サイトです。

Step1の当てはめ:手がかりは5箇所で「Few」

このメールに含まれる手がかりを洗い出すと、

①送信者アドレスのドメインが実際の取引先ドメインとわずかに異なる点

②リンクの表示テキストと実際のリンク先が一致していない点

③本文中の不自然な言い回し

④受信者の実名を使わない一般的な宛名表記

⑤ロゴ画像の解像度・色味の違いの5箇所が該当します。

合計5箇所は「Few(1〜8箇所)」に分類され、技術的な観点だけで見ればこのメールは見た目上かなり自然で、注意深く見比べない限り気づきにくい部類に入ります。

Step2の当てはめ:前提整合性は28点で「高い」

4つの要素を採点すると、業務プロセスの模倣度は、経理部門が実際に行っている月末の請求書支払いフローに近いため「極めて高い(8点)」、職務との関連性も経理担当者の日常業務そのものであるため「極めて高い(8点)」、タイムリーな出来事との連動性は月末の繁忙期には合致するものの特定の社会的出来事とまでは連動していないため「中程度(4点)」、対応しなかった場合の悪影響への懸念は延滞損害金や取引先関係の悪化という具体的なリスクが示されているため「極めて高い(8点)」となります。

直近1年以内にこのテーマに特化した訓練を実施していなかったと仮定すると差し引きは0点で、合計は8+8+4+8-0=28点となり、理論上の最大値(32点)に近い高い前提整合性を示します。

Step3の当てはめ:最終判定と解釈

手がかりが「Few」、前提整合性が「高い」という組み合わせになった今回のケースは、NIST Phish Scaleの考え方に照らすと、最も検知が困難で危険な部類に入ります。技術的な粗が少なく、かつ受信者の実際の業務にぴったり即した内容であるため、経理担当者がこのメールを見た際、違和感よりも「いつもの請求書処理の一環だ」という業務上の納得感が先に立ちやすいと考えられます。

仮にこの訓練メールで実際にクリック率が高かったとしても、その結果は経理部門の従業員の注意力が特別に低いことを意味するものではありません。むしろ、手がかりが少なく前提整合性が高いという、客観的に見抜きにくい設計のメールを使った結果として、高いクリック率が生じるのは自然なことだと解釈できます。この場合に取るべき対応は、経理部門への懲罰的な追加研修ではなく、こうした高難易度のメールが実際の攻撃としても届きうるという前提に立ち、支払い承認プロセスにおけるダブルチェック体制や、リンクを経由せず必ず自ら取引先サイトへアクセスし直す運用ルールの徹底など、プロセス面での補完策を検討することです。

なぜ報告率が重要なのか

ここまではクリック率を中心に解説してきましたが、標的型攻撃メール訓練にはもう一つ重要な指標があります。不審メールを従業員が自ら報告する「報告率」です。

NISTの位置づけ-Phish Scaleはこの課題意識から生まれた

NIST自身が公開しているPhish Scale User Guideには、この点に関する重要な一節があります。標的型攻撃メール訓練で従来から使われてきた指標は、悪意あるリンクや添付ファイルをクリックした人の割合を示す「クリック率」と、不審なメールを組織へ報告した人の割合を示す「報告率」の2つです。

しかしNISTは、この2つの指標だけでは組織のフィッシングリスクの全体像を捉えきれないと指摘しています。クリック率と報告率は、あくまで従業員が「引っかかったかどうか」という一点の結果を示すに過ぎず、そのメール自体がそもそもどれだけ見抜きにくい設計だったのかという文脈を欠いているためです。Phish Scaleは、まさにこの課題を解決するために開発されたフレームワークです。

さらにNISTは、Phish Scale User Guideの公開に際した公式発表の中で、訓練の実施担当者がPhish Scaleを使う目的について、模擬フィッシング訓練で得られたクリック率と報告率の結果に文脈を与えるためだと明記しています。

つまりPhish Scaleは、クリック率という数字だけでなく、報告率という数字にも、メールの難易度という物差しを当てて解釈するために作られたフレームワークだといえます。難易度の高いメール(手がかりが少なく前提整合性が高いメール)に対する報告率が低かったとしても、それは従業員の意識の低さを意味するとは限らず、むしろそれだけ巧妙な設計だったと解釈すべき場合があるということです。

CISAの実務指針-報告の重要性を教育内容として明記

米国土安全保障省傘下のサイバーセキュリティ・インフラストラキュリティ庁(CISA)は、NISTと共同で策定した重要インフラ事業者向けの実務指針「Phishing Guidance: Stopping the Attack Cycle at Phase One」の中で、組織が実施すべき具体策の一つとして、ソーシャルエンジニアリングやフィッシング攻撃に関する利用者教育の実施を挙げています。

その内容には、不審なメール・リンクへの対応方法を定期的に周知することに加え、不審なメールやリンク、添付ファイルを開いてしまった場合に、その事実を報告することの重要性を教育することが明記されています。これは、報告率の向上が単なる副次的な効果ではなく、組織が講じるべき正式な統制の一つとして公的機関に位置づけられていることを示しています。

英国NCSCの実例-報告を国家規模のインフラとして運用

英国のNCSC(国立サイバーセキュリティセンター)は、2020年4月から「不審メール報告サービス(Suspicious Email Reporting Service、SERS)」を運営しています。2022年単年で710万件、2026年1月時点の累計では5,100万件を超える報告を受理し、24万件超の詐欺サイト・悪意あるURLの削除につなげてきました。NCSCが報告を呼びかける際の説明で特徴的なのは、報告のメリットを本人の防御にとどめず、報告によって自分宛ての詐欺連絡が減ること、詐欺師にとって狙いにくい標的になること、そして他の人々をサイバー犯罪から守ることにつながることという、社会全体への波及効果として説明している点です。またNCSCはMicrosoftと提携し、Office 365に不審メールをワンクリックで報告できる機能を組み込むなど、報告のハードルを技術的に下げる取り組みも公式に進めています。

イスラエルINCDの実例-危機時の報告が国家の脅威把握を支える

イスラエルの国家サイバー局(INCD)は、国家サイバー緊急センター「119」を運営しており、2025年には約26,500件のインシデント報告を受理しました。前年比55%増という数字に加えて特徴的なのが、2025年6月のイランとの軍事衝突時には、月平均を75%上回る3,650件の報告が集中したという事実です。INCDはこうした危機的な状況下で、なりすましのSMSやフィッシングメッセージが確認されるたびに、市民に対してリンクをクリックしないことと、報告することを繰り返し呼びかける公式警告を発しています。国民や組織からの迅速な報告が、INCDにとって攻撃キャンペーンの規模やその時々の脅威動向をリアルタイムに把握するための、実質的な情報源として機能していることがうかがえます。

3カ国に共通する視点

米国・英国・イスラエルの取り組みに共通しているのは、報告を単に「クリックしなかった人の割合」として消極的に捉えるのではなく、組織や社会全体の防御力を底上げする能動的な行動として位置づけている点です。NISTがPhish Scaleを通じて示しているのは、クリック率だけでなく報告率についても、メールの難易度という文脈を踏まえて解釈すべきだという考え方です。この視点に立てば、報告率を高めるための施策は、単なる従業員教育の一項目ではなく、組織のセキュリティレジリエンスを測定・向上させるための中核的な取り組みとして位置づけ直すことができます。

自社の訓練プログラムへの落とし込み方-具体的な業務フロー

NIST Phish Scaleの考え方を実際の訓練プログラムに組み込むには、次のような業務フローが考えられます。

1つ目のステップは、訓練メールを作成する段階で、あらかじめ手がかりの数と前提整合性を見積もっておくことです。訓練担当者やベンダーが用意したテンプレートについて、配信前にFew・Some・Manyのどの水準を狙うのか、前提整合性はどの部署のどんな業務を想定するのかを、簡単なチェックシートに記録しておきます。

2つ目のステップは、部署やロールごとに難易度を意図的に変えて配信することです。

全社一律のテンプレートではなく、経理部門には請求書処理を模したメール、人事部門には給与や評価に関するメールというように、業務実態に即した前提整合性の高いメールを部署別に用意し、あわせて手がかりの数を段階的に変化させることで、組織全体の耐性を多角的に把握できます。

3つ目のステップは、配信後の結果をクリック率単体ではなく、事前に見積もった難易度とあわせて集計・報告することです。

「今月はクリック率が15%だった」という数字だけでなく、「今月はFew×高前提整合性の高難易度メールを使用し、その条件下でのクリック率は15%だった」という形で経営層へ報告することで、数字の背景にある文脈が正しく伝わります。

4つ目のステップは、この難易度の情報を次回以降の訓練設計にフィードバックすることです。

特定の部署で高難易度メールへのクリック率が高止まりしている場合は、その部署の業務プロセス自体に確認体制の弱さがある可能性が高いため、研修内容を個人の注意力向上ではなく、プロセス改善(承認フローの見直し、コールバック確認の義務化等)に寄せて設計し直します。逆に低難易度のメールでもクリック率が高い場合は、基本的なリテラシー教育に立ち返る必要があると判断できます。

5つ目のステップは、難易度を段階的にコントロールしながら、認知科学の知見に基づく適度な負荷を維持することです。

従業員が過度なプレッシャーを感じず、かつ退屈もしない、正解率がおおむね8割から9割程度に収まる難易度設定を目安に、手がかりの数と前提整合性を少しずつ調整しながら訓練を継続していくことで、実際の攻撃に遭遇した際に立ち止まって確認する習慣を、無理なく組織に根付かせることができます。

情報システム部門への示唆

NIST Phish Scaleを導入する最大の利点は、クリック率という単一の数字に一喜一憂する運用から抜け出し、訓練メールの難易度そのものを管理可能な変数として扱えるようになる点です。自組織で標的型攻撃メール訓練を実施している場合、まずは直近数回分の訓練メールを振り返り、それぞれの手がかりの数と前提整合性を簡易的に評価してみることをお勧めします。過去のクリック率の変動が、実は従業員の意識の変化ではなくメールの難易度の違いによるものだったと判明するケースは少なくありません。

あわせて、外部ベンダーが提供する訓練サービスを利用している場合は、配信されるメールの難易度がどのように設計されているか、部署やロールに応じた前提整合性の調整が可能かどうかを、契約前後で確認しておくことをお勧めします。難易度の管理を訓練担当者任せにせず、情報システム部門自身が評価の視点を持つことで、訓練結果の報告や改善提案の説得力を高めることができます。

出典

• The NIST Phish Scale: Considering user context in phishing awareness programs – NIST CSRC
• NIST Phish Scale User Guide – NIST
• The NIST Phish Scale User Guide is Now Available! – NIST
• Phishing Guidance: Stopping the Attack Cycle at Phase One – CISA
• Suspicious Email and Website Reporting Services – National Cyber Security Centre(英国NCSC)
• Phishing: Spot and report scam emails, texts, websites and calls – National Cyber Security Centre(英国NCSC)
• Israel National Cyber Directorate (INCD) 2025 Annual Report – Gov.il