Czy wiesz, że system może działać poprawnie na poziomie kodu, a mimo to zachowywać się nieprzewidywalnie na produkcji? Testy jednostkowe i integracyjne to za mało, gdy w grę wchodzą złożone architektury rozproszone. Prelekcja Agnieszki Welian świetnie pokazuje, jak dzięki chaos engineeringowi przestać ufać pobożnym życzeniom, zweryfikować rzeczywistość i wreszcie zacząć przesypiać całe noce bez nerwowego spoglądania na telefon.
O tym, jak w praktyczny sposób podejść do kontrolowanego psucia własnej infrastruktury, opowiedziała Agnieszka Welian – Senior Engineer, która na co dzień zjada zęby na AWS, Kubernetesie i Terraformie.
Każdy z nas zna ten scenariusz z autopsji. Jest piątkowy wieczór, wdrożenie przeszło gładko, pipeline zaświecił się na zielono, a Ty z czystym sumieniem zamykasz laptopa. Dokładnie o 3:00 w nocy wybudza Cię jednak natarczywy dźwięk PagerDuty. Podskakujesz na równe nogi i zastanawiasz się, co poszło nie tak, skoro przecież sam wszystko przetestowałeś.
Ekspertka wskazuje na to, że współczesne systemy chmurowe są z natury złożone, a co za tym idzie – chaotyczne. Wystarczy drobna zmiana w jednym mikroserwisie lub nieprzewidziane opóźnienie na sieci, aby uruchomić efekt motyla i doprowadzić do awarii w zupełnie innej części infrastruktury. Co więcej, do czynienia mamy również z czynnikiem ludzkim. Drobne niedopatrzenie zmęczonego inżyniera potrafi wysadzić środowisko w powietrze.
Właśnie w tym miejscu wkracza Chaos Engineering. Trenerka podkreśla, że celem inżynierii chaosu wcale nie jest bezmyślne psucie systemów dla samej zabawy. Chodzi o budowanie zaufania do architektury w nieprzewidywalnych warunkach. Zamiast zakładać, że skoro aplikacja działa, to wszystko jest w porządku, zmieniamy mindset i pytamy: “Super, działa – ale sprawdźmy, co dokładnie się stanie, gdy jedno z ogniw nagle przestanie odpowiadać”.
Historia sformalizowanego podejmowania takich prób sięga 2008 roku, kiedy to Netflix zaliczył potężną, trzydniową awarię. Zamiast poprzestać na napisaniu tradycyjnego postmortemu i kupieniu większych instancji, inżynierowie z grupy Netflix postanowili stworzyć narzędzie Chaos Monkey. Wyobraź sobie wpuszczenie uzbrojonej małpy do serwerowni, która całkowicie losowo odstrzeliwuje poszczególne serwery – dokładnie tak działał ten skrypt. Z czasem powstał cały ekosystem (Simian Army), a dziś na rynku mamy do dyspozycji dziesiątki dojrzałych rozwiązań, takich jak Gremlin, LitmusChaos dla Kubernetesa czy natywny AWS Fault Injection Service (AWS FIS).
Specjalistka wskazuje na to, że zanim w ogóle pomyślimy o odpaleniu pierwszego skryptu, musimy dobrze odrobić pracę domową. Wnikliwe podejście wymaga zbudowania mierzalnej hipotezy, zdefiniowania tzw. stanu stabilnego (steady state) oraz posiadania dojrzałego monitoringu i alertingu. Nie wrzucamy też chaosu od razu na produkcję – zaczynamy bezpiecznie od niższych środowisk, izolowanych komponentów i stopniowo automatyzujemy cały proces w pipeline’ach CI/CD.
Podczas prezentacji Agnieszka zaprezentowała praktyczne demo na żywo na infrastrukturze AWS. Pokazała, jak za pomocą AWS FIS wstrzyknąć awarię i usunąć instancję EC2. Pierwszy test udowodnił, że pojedynczy serwer bez odpowiedniej warstwy odporności generuje natychmiastowy downtime. W kolejnym kroku architektura została rozbudowana o Auto Scaling Group oraz Load Balancer. Po ponownym “odstrzeleniu” instancji aplikacja ostatecznie wróciła do żywych, ale przywrócenie jej pełnej dostępności zajęło ponad dwie minuty.
I tu przechodzimy do najważniejszego pytania: ile tak naprawdę kosztuje nas ta chwila niedostępności? Według danych Gartnera średni koszt jednej minuty downtime’u wynosi około 9 000 dolarów, a w branży finansowej czy e-commerce kwoty te rosną drastycznie. Ekspertka przytoczyła głośne przykłady z rynku – od 14-godzinnej awarii Facebooka z 2019 roku, która kosztowała firmę 90 milionów dolarów, po niedawne problemy linii lotniczych Delta związane z aktualizacją CrowdStrike’a, gdzie koszty sięgnęły przerażających 550 milionów dolarów.
Właśnie takie liczby stanowią najlepszy argument w rozmowach z biznesem i managementem, gdy chcemy przekonać ich do wdrożenia inżynierii chaosu. Oszczędność pieniędzy, ochrona reputacji marki i realna odporność systemów to bezpośrednie korzyści, których nie da się zignorować.
Ekspertka radzi, aby przygodę z chaosem zacząć od przeanalizowania historii własnych ostatnich awarii (outages), zidentyfikowania słabych punktów w zależnościach między mikroserwisami oraz przełamania zbyt dużej pewności siebie zespołu, który twierdzi, że “u nas wszystko działa i nic nie ma prawa się zepsuć”.
Ten artykuł pochodzi z jednego z naszych stacjonarnych meetupów SysOps/DevOps Polska. Jeśli chcesz przetestować swoje hipotezy, dopytać prelegentów o konkretne przypadki ze swojej codziennej pracy i pogadać przy pizzy z ludźmi z branży – koniecznie wpadaj na kolejne spotkania na żywo!
Inżynieria chaosu to nie kolejny modny trend, ale praktyczne narzędzie, które pozwala przenieść zarządzanie infrastrukturą na wyższy poziom dojrzałości. Zamiast czekać na katastrofę, weź sprawy w swoje ręce:
Nie czekaj, aż nieprzewidziana awaria lub podatność położy Twoją infrastrukturę na łopatki. Odpowiednia architektura, systemy monitorowania i świadomość zagrożeń to klucz do obrony przed nowoczesnymi wyzwaniami w chmurze i na produkcji.
Obejrzyj pełne nagranie z prelekcji: [#650] How to tame chaos effectively? – Agnieszka Welian.
Dołączcie do nas i zbudujcie swoją sieć kontaktów!
Mega Sekurak Hacking Party to nie tylko wykłady – to znakomita okazja, by w niesamowitej, swobodnej atmosferze spotkać się z innymi „bezpiecznikami”. To przestrzeń, w której można podyskutować o najnowszych branżowych trendach, wymienić się doświadczeniami przy dobrej kawie i nawiązać cenne znajomości na lata.
Nie pozwólcie, aby najważniejsze wydarzenie tej jesieni Was ominęło! Zdobądźcie wiedzę od najlepszych, poszerzcie swoje horyzonty i poczujcie energię społeczności, która na co dzień dba o nasze cyfrowe bezpieczeństwo.
Szczegółowy program oraz listę prelegentów znajdziecie na oficjalnej stronie HACKINGPARTY.PL!
Bilety znikają w szybkim tempie; zarezerwujcie swoje miejsce już dziś ze specjalnym rabatem dla społeczności SysOps.
Do zobaczenia w Krakowie!
Nadchodzące eventy
Znajdź nas na:
Dochód z działalności komercyjnej jest przeznaczony na realizację celów statutowych Fundacji SysOps/DevOpsPolska.
