NYSEのシステム停止は計画が重要:インシデントマネジメントのプレイブックに必要な10の要素

先日、ニューヨーク証券取引所やユナイテッド航空など、重要な業務を行う拠点で大規模なシステム障害が発生し、全国的に報道されました。これらの障害による混乱、フラストレーション、金銭的損失は計算されていませんが、天文学的な数字になると推測され、人々の心に長く残ることになるでしょう。

プレスリリースによると、ニューヨーク証券取引所で発生した4時間の障害は、ソフトウェアのアップグレードが原因だったようです。アップグレードは営業時間外のメンテナンス時間に予定されていましたが、翌朝7時にトレーダーが通常の業務を再開しようとログインしたところ、接続が困難になっていることに気づき、大混乱に陥りました。この記事を書いている時点では、アップグレードがいつ完了したかは不明ですが、いくつかの追加計画があれば、このような事態は避けられたと思われます。

この問題の原因を、計画性の欠如や予防的・偶発的思考の欠如とするのは、20/20の後知恵だが、代わりに発生後の対応を検討してみたい。

インシデントマネジメントの難しさは、それがライブであり、強力なファシリテーションスキルと強烈な指示を必要とすることです。この事実をさらに悪化させているのが、誰もが視界に入っているということです。電話会議には100人以上の人が参加していたはずですが、その多くは、遅くなってしまった取引所の開設を守るために、ただ素早く行動を起こすことを求めていました。このような状況下では、リーダーとなるべき人は、提示された最も簡単な行動をとってしまいがちです。ニューヨーク証券取引所の場合、サービスを復旧させようと考えた最初の行動は、二次障害と呼ばれる状態を引き起こし、問題を改善しようとしても悪化するばかりでした。

この状況での真の勝利は、物事が順調に進んでいるときに行われるべき事前の計画が有効となり、同日の後半に取引が再開されたことです。注文の一時停止とキャンセルが計画通りに行われ、ニュージャージー州マーワのデータセンターがオンラインになり、取引が再開されました。同日午後3時10分までに問題は解決しました。

インシデントマネジメントの分野で課題を抱えているお客様には、スキル開発、コーチング、ツールの統合、文化の変革などを組み合わせてアプローチしています。強力なインシデントマネジメントチームは、事前に役割と責任を明確にし、戦闘機のパイロットや救助ヘリコプターのクルーのように、一連のチェックリストと全体的な「プレイブック」を使用して、チームが冷静に、そしてプレッシャーの下でうまく機能するようにします。

プレイブックは、少なくとも以下のことを定義するのに役立つものでなければなりません。

1.サービスの劣化を理解し、検証する方法。

2.適切な担当者が関与できるように、症状やユーザーが報告したエラーを明確にし、理解するための体系的な方法。

3.現在のオンコール番号、バックアップ、ベンダーエンゲージメント担当者など、関与を管理するためのツール。

4.カンファレンスコール情報、ウォールーム、ダッシュボードやライブツールの使用のためのツールと場所の標準化。

5.Current Impact、Future Impact、Timeframeの理解など、優先順位を迅速かつ正確に決定する方法。

6.事前に作成されたアプリケーションごとの意思決定方法と目的。

7.フィックスエージェントだけでなく、変更管理者にも正確で有用な文書を提出するために使用されるリスク管理フレームワークです。

8.システムが復旧したことを検証し、二次障害が発生していないことを確認する方法についての計画。

9.ドキュメントを更新し、インシデントを問題管理に転送するためのハンドオーバー要件。

10.将来の事故を防止するために、プロジェクトを提起し、実行するための枠組み。

KT社では、経験上、このようなフレームワークやプレイブックのような構造を事前に設定しておくと、結果が早く出るだけでなく、特にジュニアレベルのチームが自信を持って力を発揮できるようになります。組織が炎上し、インシデントマネジメントチームがプレッシャーの中で考えなければならないときに、構造化された計画が何をもたらすかは驚くべきことです。

ブログ画像1
サプライチェーンマネジメントは、コラボレーションとチームワークが重要です。
ブログ画像1
クラウドサービスがもたらすサプライチェーンの効率化
ブログ画像1
Getting Unstuck - 言うは易く行うは難し。
ブログ画像1
Planning When The Future is Murky.不確実性を管理する3つのアクション

私たちは以下の専門家です:

お問い合わせ

お問い合わせ、詳細、ご提案はこちらから