18 listopada, około godziny 12:20, infrastruktura Cloudflare zaczęła generować masowe błędy serwera 5xx. Dla użytkowników oznaczało to niedostępność wielu popularnych stron i aplikacji. Skala tego zdarzenia pokazała, jak silnie globalny internet opiera się dziś na pojedynczych elementach infrastruktury.
Choć początkowe sygnały wskazywały na możliwy wysokoskalowy atak DDoS, rzeczywiste źródło problemu okazało się zaskakujące. Awaria została wywołana przez zmianę uprawnień w jednym z klastrów bazodanowych Cloudflare. W jej wyniku cyklicznie wykonywane zapytanie SQL, odpowiedzialne za generowanie pliku konfiguracyjnego dla systemu Bot Management, zaczęło zwracać ponad dwa razy więcej danych niż normalnie. Systemy, które dotychczas korzystały z precyzyjnie określonego zakresu danych, nagle otrzymały plik przekraczający twarde limity modułów odpowiedzialnych za kierowanie ruchem. To spowodowało zatrzymywanie się kluczowych procesów i masowe błędy.
Całość komplikował fakt, że plik ten był aktualizowany co pięć minut. Jeżeli zapytanie wykonywało się na nodzie z nowymi uprawnieniami, powstawała błędna, przerośnięta wersja pliku. Jeżeli trafiało na nod bez zmian, generowało wersję poprawną. W efekcie usługi na całym świecie działały naprzemiennie poprawnie i niepoprawnie, co sprawiało wrażenie niestabilności i utrudniało diagnozę. Dopiero gdy każda część klastra zaczęła generować wyłącznie błędne pliki, awaria weszła w fazę pełnej, ciągłej niedostępności.
Zakłócenia objęły między innymi CDN, Bot Management, Workers KV, Cloudflare Access oraz panel administracyjny. Użytkownicy napotykali błędy logowania, wysokie opóźnienia, brak routeringu ruchu, a systemy antyspamowe i antybotowe czasowo traciły swoją skuteczność. Co istotne, równolegle niedostępna stała się również strona statusowa Cloudflare – mimo że jest hostowana poza ich infrastrukturą. Jak się później okazało, był to efekt ogromnego, nagłego ruchu użytkowników, a nie cyberataku.
Cała sytuacja jest przypomnieniem, że w świecie zdominowanym przez złożone systemy chmurowe nawet drobna zmiana w konfiguracji może wywołać efekt domina o globalnym zasięgu. To również wskazówka dla organizacji, że stabilność konfiguracji, kontrola uprawnień, walidacja komponentów i odporność na błędy to fundament działania.
Firmy, które realnie chcą zwiększyć odporność swoich środowisk, powinny inwestować w wielowarstwowe zabezpieczenia, procesy testowania, przemyślane mechanizmy awaryjne oraz monitorowanie prowadzone przez zespół SOC, który jest w stanie szybko wykrywać anomalie i minimalizować ich skutki.
