Postmortems anotados
Incidentes reais, com relatório público, ligados aos conceitos que eles provam. Em quase todos, o problema de verdade foi o sistema deixar um erro pequeno crescer daquele jeito.
- Amazon Web Services
Um comando digitado errado tira metade da internet do ar
Quase 4 horas de indisponibilidade do S3 em US-EAST-1, derrubando junto uma fração enorme da web que dependia dele.
- Bulkhead
- Circuit Breaker
- Timeout
- Cloudflare
Uma expressão regular consome 100% da CPU global
27 minutos de queda global. Todo o tráfego HTTP/HTTPS da rede passou a responder erro 502.
- Timeout
- Bulkhead
- Rate limiting
- GitLab
O `rm -rf` no primário — e os cinco backups que não funcionavam
Cerca de 6 horas de dados perdidos e 18 horas de indisponibilidade do GitLab.com.
- Append-only
- Event Sourcing
- Ledger (livro-razão)
- Knight Capital Group
US$ 440 milhões em 45 minutos por uma flag de código morto
Cerca de US$ 440 milhões perdidos em 45 minutos. A empresa, líder do setor, foi vendida meses depois.
- Máquina de estados
- Circuit Breaker
- Idempotência