障害が起きたとき、「これはすぐ全員で対応すべきか、明日の通常業務でよいか」の判断が人によってぶれると、対応が遅れたり、逆に必要のない緊急招集が起きたりします。SEVレベルは、その判断をあらかじめ言語化しておくためのものです。
レベルが決まれば、誰に知らせるか、どこまで手を止めるか、あとでポストモーテムを書くかまでが自動的に決まります。
SEVレベルの定義
レベル | 定義 | 例 | 対応 | ポストモーテム |
|---|---|---|---|---|
SEV1 | 多くの利用者に影響する重大な障害。経営層への報告や対外的な告知が必要 | 長時間の停止によるSLA違反、データが漏れうる脆弱性の発見 | 重大インシデント。責任者を立て、内外に周知 | 必須 |
SEV2 | 多くの利用者がサービスを使えない重大な障害 | ほぼ全員が画面を使えない、または性能が大きく低下 | 重大インシデント。責任者を立てて対応 | 必須 |
SEV3 | 一部の利用者への影響や、安定性の問題。担当チームがすぐに対応すべきもの | 一部機能の停止、1台の故障で止まる構成 | 担当チームが最優先で調査。切り戻しも検討 | 任意 |
SEV4 | 対応は必要だが、利用には影響しない | 性能の低下や遅延、1台の故障、主要でない定期ジョブの失敗 | 担当チームが通常作業より優先して対応 | 任意 |
SEV5 | 利用に影響しない、見た目の問題やバグ | すぐには影響しないバグ、表示の崩れ | 課題として登録し、担当者が対応 | 任意 |
各レベルの定義・例・対応は PagerDuty Incident Response Documentation、ポストモーテムの要否は Atlassian Incident Management Handbook をもとに作成しています。
運用上の重要な点
レベルは最初の連絡で決める
原因が分かってからでは遅いので、影響範囲が見えた時点で暫定のレベルを置きます。調査が進んで実態と合わなくなったら、その場で上げ下げします。
迷ったら高いほうに倒す
低く見積もって対応が遅れる損失のほうが、高く見積もって人が集まる損失より大きくなります。下げるのは後からでもできます。
SEV1・SEV2は振り返りまでを1セットにする
重大インシデントは、復旧して終わりにせず、ポストモーテムを書くところまでを対応に含めます。