Rzeczywistość Incydentów
Większość zespołów nie potrzebuje korporacyjnej ceremonii. Potrzebuje powtarzalnego schematu reakcji, który chroni użytkowników i szybko przywraca usługę.
Pierwsze 15 Minut
- Określ severity incydentu i przypisz jednego incident commandera.
- Najpierw ogranicz wpływ na użytkowników: rollback, wyłączenie ryzykownej funkcji albo kontrola ruchu.
- Uruchom jeden kanał source-of-truth dla zespołu i interesariuszy.
15-45 Minut
- Podziel odpowiedzialności: jedna osoba prowadzi mitigację, jedna bada root path, jedna obsługuje komunikację.
- Zapisuj timeline na bieżąco (co, kiedy i przez kogo zostało zmienione).
- Preferuj działania odwracalne zamiast szerokich, spekulacyjnych poprawek.
45-60 Minut
- Potwierdź przywrócenie usługi na podstawie jawnych kryteriów sukcesu.
- Opublikuj krótki update statusu: wpływ, stan obecny, kolejny punkt kontrolny.
- Przed zamknięciem trybu incydentowego przypisz natychmiastowe follow-upy.
Pętla Po Incydencie
W ciągu 24 godzin zrób blameless review skupione na poprawie systemu:
- Warunki triggera i braki w detekcji.
- Punkty decyzyjne, które spowolniły mitigację.
- Konkretne zabezpieczenia przeciw powtórce.
Minimum Narzędziowe
Wystarczy routing alertów, linki do runbooków, mechanizm rollbacku i prosty log timeline. Zaawansowane narzędzia pomagają, ale największy wpływ daje dyscyplina i jasność ról.
Wniosek
Niezawodność skaluje się, gdy schemat reakcji jest lekki, ćwiczony i jednoznaczny. Najlepszy playbook to ten, który zespół realnie wykona pod presją.
Macierz Decyzyjna W Incydencie
- Rollback: gdy wpływ jest szeroki i ścieżka cofnięcia pewna.
- Hotfix: gdy blast radius jest wąski i root cause odizolowany.
- Kill-switch: gdy priorytetem jest natychmiastowa ochrona użytkownika.
- Shaping ruchu: gdy degradacja pochodzi z zależności zewnętrznej.
Najważniejsze Metryki
- Czas do mitigacji.
- Czas do komunikatu o wpływie na użytkownika.
- MTTR wg klasy incydentu.
- Częstotliwość incydentów powtarzalnych w oknie 30/90 dni.
Rytm Ćwiczeń
Uruchamiaj lekkie ćwiczenia incydentowe co miesiąc. Zespoły, które ćwiczą role i komunikację, znacząco ograniczają chaos w realnych zdarzeniach.
Zasada Przywództwa
Klarowność wygrywa ze złożonością. Krótki wspólny playbook z jasną odpowiedzialnością działa lepiej niż rozbudowana, nieużywana dokumentacja.
Pełna Sekwencja Operacyjna
Zanim wystąpi incydent
- Zdefiniuj poziomy severity na przykładach wpływu na użytkownika.
- Przypisz primary i backup incident commandera.
- Trzymaj rollback i kill-switch w jednym indeksie runbooków.
- Upewnij się, że każda usługa ma jawnego ownera on-call.
W trakcie incydentu
Minuta 0-5
Potwierdź zakres, wpływ i severity. Wstrzymaj niekrytyczne deploymenty.
Minuta 5-20
Uruchom pierwszą ścieżkę mitigacji. Opublikuj pierwszy update z listą “co wiemy / czego nie wiemy”.
Minuta 20-45
Mierz efekt mitigacji na jawnych metrykach. Jeśli nie widać poprawy, szybko zmień strategię zamiast powtarzać ten sam ruch.
Minuta 45-90
Ustabilizuj usługę, ogranicz ryzyko tymczasowe i przypisz natychmiastowe działania follow-up.
Szablon komunikacji
Każdy update powinien zawierać:
- zakres wpływu,
- status mitigacji,
- czas kolejnego checkpointu,
- wskazówki customer-facing (jeśli wymagane).
Taki format ogranicza chaos informacyjny.
Framework postmortem
Dobre review jest krótkie i decyzyjne:
- co zawiodło w projekcie systemu,
- co opóźniło detekcję i mitigację,
- jakie kontrolki zostaną dodane,
- kto i do kiedy dowiezie działania.
Wyniki powinny trafiać do backlogu wykonawczego.
Metryki dojrzałości
- median time to mitigation per typ incydentu,
- odsetek incydentów z pierwszym update <15 minut,
- częstość powrotu znanych root cause,
- terminowość zamknięcia action itemów.
Wskazówki dla raportowania do leadershipu
Zarząd potrzebuje sygnału, nie szumu. Raportuj okno wpływu, poziom pewności i działania prewencyjne. Szczegółowe logi techniczne trzymaj poza kanałami executive.
Blueprint Programu Ćwiczeń
Miesięczny rytm ćwiczeń
- Tydzień 1: tabletop (komunikacja + chain of command).
- Tydzień 2: drill techniczny (rollback/kill-switch).
- Tydzień 3: drill detekcji (jakość alertów i szybkość triage).
- Tydzień 4: przegląd usprawnień i aktualizacja backlogu.
Taki rytm utrzymuje gotowość bez nadmiernej ceremonii.
Priorytetowe Scenariusze
- Degradacja zewnętrznego API.
- Saturacja bazy przy ruchu szczytowym.
- Błędny deployment z częściowym wpływem na klientów.
- Backlog kolejek opóźniający krytyczne przepływy.
Różnorodność scenariuszy jest ważniejsza niż złożoność.
Szablon Pierwszego Komunikatu
Używaj krótkiego formatu:
“Badamy [problem], wpływ dotyczy [zakres], mitigacja [w toku/zakończona], kolejny update o [czas].”
Szablon skraca czas publikacji i porządkuje komunikację.
Protokół Handover Ról
Gdy incident commander zmienia się podczas długiego incydentu:
- przekaż skrót timeline,
- przekaż aktywne hipotezy,
- przekaż stan rollbacku,
- ogłoś handover na kanale source-of-truth.
Zapobiega to duplikacji działań i dryftowi decyzji.
Author
Grzegorz Lisowski