NYSEのシステム停止は計画が重要:インシデント・マネジメントのプレイブックに必要な10の要素

先日、New York証券取引所やUnited航空など、重要な業務を行う拠点で大規模なシステム障害が発生し、全国的に報道されました。これらの障害による混乱、フラストレーション、金銭的損失は計算されていませんが、天文学的な数字になると推測され、人々の心に長く残ることになるでしょう。

プレスリリースによると、New York証券取引所で発生した4時間の障害は、ソフトウェアのアップグレードが原因だったようです。アップグレードは営業時間外のメンテナンス時間に予定されていましたが、翌朝7時にトレーダーが通常の業務を再開しようとログインしたところ、接続が困難になっていることに気づき、大混乱に陥りました。この記事を書いている時点では、アップグレードがいつ完了したかは不明ですが、いくつかの追加計画があれば、このような事態は避けられたと思われます。

この問題の原因を、計画性の欠如や予防的・偶発的思考の適用を怠ったことに求めるのは少し後知恵ですが、代わりに、発生後のインシデントの処理を検討したいと思います。

インシデント・マネジメントが難しいのは、それが「ライブ」であり、強力なファシリテーション・スキルと強烈な指示を必要とするからです。この事実をさらに悪化させているのが、誰の視界にも入っているということです。電話会議には100人以上の人が参加していたはずですが、その多くは、遅くなってしまった取引所の取引開始を早めるために、ただ素早く行動を起こすことを求めていました。このような状況下では、リーダーとなるべき人は、提示された最も簡単な行動をとってしまいがちです。New York証券取引所の場合、サービスを復旧させようと考えた最初の行動は、二次障害と呼ばれる状態を引き起こし、問題を改善しようとしても悪化するばかりでした。

この状況での真の勝利は、物事が順調に進んでいるときに行われるべき事前の計画が有効となり、同日の後半に取引が再開されたことです。注文の一時停止とキャンセルが計画通りに行われ、New Jersey州Mahwahのデータセンターがオンラインになり、取引が再開されました。同日午後3時10分までに問題は解決しました。

インシデント・マネジメントの分野で課題を抱えているお客様には、スキル開発、コーチング、ツールの統合、文化の変革などを組み合わせてアプローチしています。強力なインシデント・マネジメント・チームは、事前に役割と責任を明確にし、戦闘機のパイロットや救助ヘリコプターのクルーのように、一連のチェックリストと全体的な「プレイブック」を使用して、チームが冷静に、そしてプレッシャーの下でうまく機能するようにします。

プレイブックは、少なくとも以下のことを定義するのに役立つものでなければなりません。

1.サービスの劣化を理解し、検証する方法。

2.適切な担当者が関与できるように、症状やユーザーが報告したエラーを明確にし、理解するための体系的な方法。

3.現在のオンコール番号、バックアップ、ベンダー・エンゲージメント担当者など、関与を管理するためのツール。

4.カンファレンス・コール情報、ウォー・ルーム、ダッシュボードやライブ・ツールの使用のためのツールと場所の標準化。

5.現在の影響度、将来の影響度、緊急度の理解など、優先順位を迅速かつ正確に決定する方法。

6.事前に作成されたアプリケーションごとの意思決定方法と目的。

7.通常ルートだけでなく、チェンジ・ネジージャーにも正確で有用なドキュメントを提出するために使用されるリスク・マネジメント・フレームワーク。

8.システムが復旧したことを検証し、二次障害が発生していないことを確認する方法についての計画。

9.ドキュメントを更新し、インシデントをトラブル・マネジメントに転送するためのハンドオーバー要件。

10.将来の事故を防止するために、プロジェクトを提起し、実行するための枠組み。

ケプナー・トリゴーでは、経験上、このようなフレームワークやプレイブックのような構造を事前に設定しておくと、結果が早く出るだけでなく、特にジュニア・レベルのチームが自信を持って力を発揮できるようになります。組織が炎上し、インシデント・マネジメント・チームがプレッシャーの中で考えなければならないときに、構造化された計画が何をもたらすかは驚くべきことです。

ブログ画像1
サプライチェーンマネジメントは、コラボレーションとチームワークが重要です。
ブログ画像1
クラウドサービスがもたらすサプライチェーンの効率化
ブログ画像1
Getting Unstuck - 言うは易く行うは難し。
ブログ画像1
Planning When The Future is Murky.不確実性を管理する3つのアクション

私たちは以下の専門家です:

お問い合わせ

お問い合わせ、ご意見、詳細確認はこちらから