1. セキュリティ対策ラボ
  2. システム障害に関するニュース
  3. AWS 北バージニアで発生した大規模 システム障害、原因はDynamoDBのDNS自動化不具合-EC2・NLBなどにも連鎖し多数サービスが断続的に停止

AWS 北バージニアで発生した大規模 システム障害、原因はDynamoDBのDNS自動化不具合-EC2・NLBなどにも連鎖し多数サービスが断続的に停止

システム障害に関するニュース

投稿日時: 更新日時:

AWS北バージニアで発生した大規模 システム障害、原因はDynamoDBのDNS自動化不具合——EC2・NLBなどにも連鎖し多数サービスが断続的に停止

Amazon Web Services（AWS）は、2025年10月19日夜（米PDT）から20日午後にかけて 北バージニア（us-east-1）リージョンで発生した障害の原因と影響範囲を公表しました。原因は Amazon DynamoDBの自動DNS管理システムに潜在していた欠陥（レースコンディション） により、リージョナルエンドポイント（dynamodb.us-east-1.amazonaws.com）の DNSレコードが空 になる誤更新が発生し、自動修復にも失敗したことでした。これによりDynamoDBへの新規接続が広範に失敗し、同サービスに依存する EC2の新規インスタンス起動、Network Load Balancer（NLB）、Lambda など多くのサービスで連鎖的な不具合が発生しました。

影響

外部への影響としては、Signal、Snapchat、Roblox、Duolingo などのプラットフォーム、銀行のオンラインサービス、Ring 等を含む多数のアプリ・Webサービスで接続障害が報告されました。障害時には世界で 約2,000社、8.1百万件超 の不具合報告（Downdetector集計）が寄せられました。

技術的原因の詳細

DynamoDBはリージョン内で多数のロードバランサーを運用し、DNS Planner（プラン生成）と DNS Enactor（Route 53へ反映、AZ冗長）が自動で各エンドポイントのDNSレコードを更新します。

障害当時、遅延していた古いプランを適用しようとしたEnactor と 新しいプランを反映し終えた別のEnactor の処理が まれなタイミングで衝突（レース） しました。結果として 古いプランが上書き→すぐ清掃処理で削除 され、リージョナルエンドポイントのIPが全削除 される不整合状態に陥りました。その後の自動更新も停止したため、手動介入 により是正しました。

タイムライン

  • 10/19 23:48 ～ 10/20 02:40
    DynamoDB でAPIエラー率が上昇。自動DNS管理の欠陥によりリージョンの公開エンドポイントの解決が失敗しました。02:25 にDNS情報を復旧し、キャッシュの期限切れとともに 02:40 までに接続は概ね回復しました。

  • 10/19 23:48 ～ 10/20 13:50
    EC2 では新規インスタンス起動が失敗（既存インスタンスは稼働継続）。DynamoDB障害で依存サブシステム DWFM（DropletWorkflow Manager） のリース更新が滞り、復旧後もリース再確立が輻輳して「insufficient capacity/request limit exceeded」等のエラーが発生しました。エンジニアが スロットリング導入とDWFMの選択再起動 を行い、13:50 に全面回復しました。並行してネットワーク状態伝播を担う Network Manager のバックログにより、新規起動インスタンスの接続性反映が 10:36 まで遅延しました。

  • 10/20 05:30 ～ 14:09
    NLB で一部ロードバランサーの接続エラーが増加。ネットワーク状態の反映遅延により、健全なノードでもヘルスチェックが交互に失敗/成功する事象が発生し、DNSからの出し入れが繰り返されました。09:36 に自動フェイルオーバーを一時無効化して解消し、14:09 に再有効化しました。

  • その他の主要サービス

    • Lambda：10/19 23:51～10/20 14:15 にAPIエラーや遅延。SQSポーリング系の内部サブシステムの復旧遅れやNLB影響を受けましたが、段階的スロットリングで同期待機系を優先し解消。

    • ECS/EKS/Fargate：10/19 23:45～10/20 14:20 にコンテナ起動失敗やスケーリング遅延。

    • Amazon Connect：10/19 23:56～10/20 13:20、着信・発信・チャット等でエラー増。ダッシュボード・データ更新の遅延は10/28までに補填予定と案内。

    • STS：10/19 23:51～10/20 01:19 および 08:31～09:59 にAPI障害。

    • IAM/コンソールサインイン：10/19 23:51～10/20 01:25 に失敗率上昇（Identity Center含む）。

    • Redshift：10/19 23:47～10/20 02:21 にクエリ・作成変更が失敗。後続でEC2置換起動の遅延により一部クラスターの復旧が延び、10/21 04:05 に完全回復。

    • AWS Support：10/19 23:48～10/20 02:40 にサポートケースの閲覧・更新が不能。無効応答を返すサブシステムが原因で、対処済み。

再発防止策・今後の対応

AWSは以下を実施・計画しています。

  • DynamoDBのDNS Planner/Enactor自動化を全世界で一時停止。再有効化前に レース条件の修正 と 誤ったDNSプラン適用を防ぐ追加保護 を導入。

  • NLB：ヘルスチェック異常時にAZフェイルオーバーで過剰に容量を外さないよう、除外速度の制御（ベロシティコントロール） を追加。

  • EC2：DWFMの復旧ワークフローを対象にした 大規模スケール試験の拡充、および 待ち行列サイズに基づくスロットリング改善 を実施。

  • 障害全体の教訓を踏まえ、復旧時間短縮と影響低減 に向けた追加施策を検討。

関連記事

地方銀行9行で発生したインターネットバンキングの大規模障害、IBMが「サイバー攻撃の可能性は否定」と発表地方銀行9行で発生したインターネットバンキングの大規模 システム障害、IBMがサイバー攻撃の可能性を否定 ETCの大規模 システム障害、再発防止策をNEXCO (東日本、中日本、西日本の高速道路)が共同発表ETCの大規模 システム障害、再発防止策をNEXCO (東日本、中日本、西日本の高速道路)が共同発表 中日本高速道路(NEXCO中日本)のETC大規模障害の原因はデータの削除漏れとシステム改修中日本高速道路(NEXCO中日本)のETC大規模障害の原因はデータの削除漏れとシステム改修 ETCのシステム障害を受け深夜割引制度の見直し時期を延期-NEXCO 各社(東日本、中日本、西日本の高速道路)が発表ETCのシステム障害を受け深夜割引制度の見直し時期を延期-NEXCO 各社(東日本、中日本、西日本の高速道路)が発表 PlayStation Networkで障害発生（2025年2月8日）PlayStation Networkで障害発生（2025年2月8日） ロンドンヒースロー空港などのシステム障害の原因はランサムウェアによるサイバー攻撃の可能性ロンドン ヒースロー空港などのシステム障害の原因はランサムウェアによるサイバー攻撃の可能性 PlayStation Networkの障害が復旧（2025年2月8日~9日）PlayStation Networkの障害が復旧（2025年2月8日~9日） Cloudflare、ネットワークで大規模システム障害-XやChatGPTなど世界中のサービスで500エラー発生(2025年11月19日)Cloudflare、ネットワークで大規模システム障害-XやChatGPTなど世界中のサービスで500エラー発生(2025年11月19日) 大幸薬品のECサイトが関通のランサムウェアとサイバー攻撃により個人情報漏洩の可能性を発表大幸薬品のECサイトが関通のランサムウェアとサイバー攻撃により個人情報漏洩の可能性を発表