Firma Hugging Face ujawniła poważne naruszenie bezpieczeństwa, w wyniku którego autonomiczny agent sztucznej inteligencji przejął kontrolę nad częścią infrastruktury produkcyjnej, wykradł dane uwierzytelniające do usług oraz przeprowadził atak na kilka wewnętrznych klastrów obliczeniowych.
Incydent ten stanowi jeden z najwyraźniejszych, publicznie udokumentowanych przykładów samodzielnego przeprowadzenia przez agenta AI wieloetapowego włamania do dużej platformy technologicznej. System agenta nie tylko nie ograniczył się do pomocy operatorowi w pisaniu złośliwego kodu lub identyfikowaniu luk w zabezpieczeniach, ale rzekomo wykonał tysiące działań, zarządzał tymczasowymi środowiskami ataku oraz przeniósł swoją infrastrukturę dowodzenia i kontroli bez ciągłego nadzoru ze strony człowieka.
Firma Hugging Face wykryła włamanie na początku lipca i opublikowała szczegóły dotyczące tego incydentu 16 lipca. Firma z siedzibą w Nowym Jorku prowadzi jedną z największych na świecie platform służących do udostępniania modeli sztucznej inteligencji, zbiorów danych i aplikacji, a jej publiczny Hub zawiera ponad dwa miliony modeli.
Firma poinformowała, że atakujący uzyskał nieuprawniony dostęp do ograniczonej liczby wewnętrznych zbiorów danych oraz kilku danych uwierzytelniających wykorzystywanych przez jej usługi. Trwa dochodzenie, w ramach którego sprawdzane jest również, czy doszło do ujawnienia jakichkolwiek informacji dotyczących klientów lub partnerów.
Jednak firma Hugging Face oświadczyła, że nie znalazła żadnych dowodów na to, iż intruz zmodyfikował publiczne modele, zbiory danych ani platformę „Spaces” – należącą do firmy platformę służącą do hostowania interaktywnych aplikacji opartych na sztucznej inteligencji. Sprawdziła również swoje obrazy kontenerów oraz opublikowane pakiety oprogramowania i stwierdziła, że jej szerszy łańcuch dostaw oprogramowania pozostał nienaruszony.
To rozróżnienie jest istotne, ponieważ naruszenie bezpieczeństwa powszechnie używanego repozytorium AI mogłoby mieć konsekwencje wykraczające daleko poza samą platformę. Złośliwa modyfikacja wprowadzona do popularnego modelu, biblioteki lub obrazu kontenera mogłaby potencjalnie zostać pobrana przez tysiące programistów i wdrożona w środowiskach korporacyjnych.
Według Hugging Face taki scenariusz obejmujący szerszy łańcuch dostaw nie miał miejsca w przypadku tego incydentu. Niemniej jednak atakujący przedostał się wystarczająco głęboko do wewnętrznego środowiska firmy, aby uzyskać dostęp na poziomie węzłów, wykraść dane uwierzytelniające i dotrzeć do kilku klastrów.
Włamanie rozpoczęło się w infrastrukturze przetwarzania zbiorów danych firmy Hugging Face – obszarze przeznaczonym do przyjmowania i analizowania plików przesyłanych przez użytkowników.
Złośliwy zbiór danych wykorzystał dwie odrębne ścieżki wykonywania kodu. Pierwsza z nich dotyczyła modułu ładującego zbiory danych, umożliwiającego zdalne uruchamianie kodu, natomiast druga wykorzystywała lukę polegającą na wstrzyknięciu szablonu w konfiguracji zbioru danych. Łącznie luki te umożliwiły wykonanie kodu kontrolowanego przez atakującego na serwerze roboczym odpowiedzialnym za przetwarzanie.
Systemy przetwarzania zbiorów danych stanowią szczególnie wrażliwy element platform sztucznej inteligencji, ponieważ muszą przyjmować złożone i potencjalnie niezaufane treści. Przesłane repozytoria mogą zawierać pliki konfiguracyjne, instrukcje przetwarzania, skrypty oraz niestandardowy kod niezbędny do interpretacji specjalistycznych formatów danych.
Ta elastyczność jest cenna dla twórców sztucznej inteligencji, ale tworzy niezwykle szeroką powierzchnię ataku. Jeśli niezaufane przetwarzanie nie jest silnie odizolowane, złośliwe repozytorium może wydostać się z przydzielonego mu ograniczonego środowiska i dotrzeć do hosta bazowego lub podłączonych usług.
Po uzyskaniu możliwości wykonania kodu na węźle roboczym atakujący podniósł swoje uprawnienia i uzyskał dostęp na poziomie węzła. Następnie zebrał dostępne w środowisku dane uwierzytelniające do usług w chmurze i klastrów, po czym w ciągu weekendu przeprowadził atak w kierunku bocznym, przedostając się do kilku wewnętrznych klastrów.
Firma nie ujawniła dokładnej metody eskalacji uprawnień, ani jakich danych uwierzytelniających uzyskano, ani do jakich usług w chmurze uzyskano dostęp. Nie opublikowała również wskaźników technicznych, które pozwoliłyby niezależnie zidentyfikować atakującego lub framework agenta wykorzystanego podczas operacji.
Brak tych szczegółów ogranicza możliwość przeprowadzenia zewnętrznej analizy ataku. Na razie wniosek, że kampania została przeprowadzona autonomicznie, opiera się przede wszystkim na analizie danych telemetrycznych przeprowadzonej przez Hugging Face oraz na zachowaniu zarejestrowanym podczas włamania.
Firma Hugging Face opisała tę operację jako kompleksową kampanię opartą na sztucznej inteligencji, przeprowadzoną za pośrednictwem platformy badawczej w zakresie bezpieczeństwa, która wydawała się działać w sposób autonomiczny.
System wykonał wiele tysięcy pojedynczych działań w ramach sieci krótkotrwałych środowisk testowych. Dokumentacja kryminalistyczna firmy Hugging Face zawierała ponad 17 000 zdarzeń związanych z działalnością atakującego.
Krótkotrwałe środowiska testowe pozwalają agentowi podzielić złożony cel na mniejsze zadania, wykonać je w oddzielnych środowiskach oraz usunąć lub zastąpić te środowiska, gdy przestaną być przydatne. W kampanii ofensywnej takie rozwiązanie można wykorzystać do prowadzenia rozpoznania, testowania ładunków atakowych, analizowania danych uwierzytelniających oraz jednoczesnego śledzenia kilku możliwych ścieżek ataku.
Atakujący wykorzystał również infrastrukturę dowodzenia i kontroli (C&C) rozmieszczoną za pośrednictwem usług publicznych. Firma Hugging Face stwierdziła, że infrastruktura ta była zdolna do samodzielnej migracji, co utrudniało próby zablokowania operacji poprzez stałą domenę, serwer lub adres sieciowy.
Firma nie zidentyfikowała dużego modelu językowego stojącego za tym agentem. Nie jest jasne, czy atakujący wykorzystał komercyjny model z obejściem zabezpieczeń, system opracowany prywatnie, czy też nieograniczony model typu „open-weight” działający na infrastrukturze kontrolowanej przez podmiot stanowiący zagrożenie.
Nie ma również żadnych publicznie dostępnych informacji wskazujących na powiązania tej kampanii z organizacją cyberprzestępczą lub grupą powiązaną z państwem. Firma Hugging Face zgłosiła ten incydent organom ścigania, ale nie ujawniła, które agencje są w to zaangażowane.
Chociaż model pozostaje nieznany, wydaje się, że otaczająca go struktura zapewniła mu narzędzia niezbędne do interakcji z zaatakowanymi systemami, interpretacji wyników, wyboru kolejnych działań oraz utrzymania dostępu w sytuacji, gdy poszczególne środowiska wykonawcze ulegały zniszczeniu.
Ta struktura operacyjna ma większe znaczenie niż tożsamość jakiegokolwiek pojedynczego modelu. Agent AI niekoniecznie musi odkrywać nową lukę w zabezpieczeniach, aby stanowić poważne zagrożenie. Jego przewaga może wynikać z ciągłego stosowania znanych technik, szybkiego testowania alternatyw oraz koordynowania dużej liczby rutynowych działań z prędkością, której operator ludzki z trudem byłby w stanie utrzymać.
Sztuczna inteligencja odegrała również kluczową rolę w reakcji obronnej.
Firma Hugging Face poinformowała, że incydent został początkowo wykryty przez system wykrywania anomalii, który wykorzystuje modele językowe do wstępnej klasyfikacji danych telemetrycznych dotyczących bezpieczeństwa. System ten koreluje alerty i próbuje odróżnić rzeczywiste oznaki naruszenia od ogromnej ilości rutynowej aktywności generowanej przez platformę produkcyjną.
Ten proces korelacji zasygnalizował włamanie i umożliwił zespołowi ds. bezpieczeństwa firmy rozpoczęcie badania tej aktywności.
Następnie specjaliści ds. reagowania na incydenty uruchomili agenty analizujące oparte na sztucznej inteligencji, które przeanalizowały pełny dziennik działań atakującego. Agenci ci odtworzyli chronologię włamania, zidentyfikowali wskaźniki naruszenia bezpieczeństwa, ustalili, do których danych uwierzytelniających uzyskano dostęp, oraz oddzielili rzeczywistą złośliwą aktywność od pozornych manewrów odwracających uwagę.
Firma Hugging Face stwierdziła, że dzięki temu prace, które w normalnych warunkach mogłyby zająć kilka dni, zostały zakończone w ciągu kilku godzin. Takie przyspieszenie miało kluczowe znaczenie, ponieważ agent atakującego był w stanie działać nieprzerwanie i z prędkością maszyny.
Incydent ten pokazał zatem obie strony pojawiającego się problemu bezpieczeństwa związanego z agentami. Systemy autonomiczne mogą radykalnie zwiększyć skalę i tempo złośliwej aktywności, ale podobne systemy mogą pomóc obrońcom w przetwarzaniu danych telemetrycznych i koordynowaniu reakcji na incydent na tyle szybko, by je powstrzymać.
Nadzór ze strony człowieka pozostaje niezbędny, zwłaszcza gdy wyniki analizy mogą skutkować cofnięciem uprawnień, odizolowaniem klastrów lub przebudową systemów produkcyjnych. Niemniej jednak sztuczna inteligencja może skrócić czas poświęcany na ręczną weryfikację powtarzających się zdarzeń i umożliwić osobom odpowiedzialnym za reagowanie skupienie się na weryfikacji wniosków wygenerowanych przez system oraz podejmowaniu decyzji wiążących się z większym ryzykiem.
W trakcie dochodzenia firma Hugging Face napotkała nieoczekiwaną przeszkodę, próbując wykorzystać najnowocześniejsze modele dostępne za pośrednictwem komercyjnych interfejsów API.
Analiza kryminalistyczna w środowisku cyfrowym często wymaga zastosowania modelu do przetwarzania materiałów, które bez kontekstu wydają się złośliwe. Logi ataków mogą zawierać ładunki exploitów, polecenia powłoki, skradzione dane uwierzytelniające, instrukcje złośliwego oprogramowania oraz adresy serwerów dowodzenia i kontroli.
Firma Hugging Face poinformowała, że systemy bezpieczeństwa hostowanych modeli zablokowały jej żądania, ponieważ nie były w stanie wiarygodnie ustalić, czy przesłane materiały pochodziły od specjalisty ds. bezpieczeństwa badającego naruszenie, czy też od atakującego próbującego udoskonalić atak.
Firma nie ujawniła nazw komercyjnych modeli ani dostawców, których dotyczyła ta sytuacja. Byłoby zatem nieprawidłowe wyciąganie wniosku, że jakakolwiek konkretna zachodnia firma zajmująca się sztuczną inteligencją odmówiła pomocy w dochodzeniu.
Zamiast tego firma Hugging Face przeprowadziła analizę kryminalistyczną na modelu GLM 5.2, modelu o otwartych wagach opracowanym przez chińską firmę zajmującą się sztuczną inteligencją Z.ai. Ponieważ model ten działał na własnej infrastrukturze firmy Hugging Face, firma mogła skonfigurować go na potrzeby śledztwa bez konieczności podporządkowywania się zasadom użytkowania stron trzecich.
Własne hostowanie zapewniło również istotną korzyść w zakresie ochrony danych: dane telemetryczne dotyczące atakujących, ujawnione dane uwierzytelniające i inne wrażliwe dowody nie musiały opuszczać środowiska firmy.
W tym odcinku zwrócono uwagę na potencjalną asymetrię między atakującymi a obrońcami. Przestępcy korzystający z nieograniczonych, hostowanych prywatnie lub zmodyfikowanych modeli nie podlegają komercyjnym mechanizmom bezpieczeństwa. Tymczasem legalne zespoły ds. bezpieczeństwa mogą nie mieć możliwości przetwarzania tych samych złośliwych treści, gdy korzystają ze ściśle kontrolowanych publicznych usług AI.
Firma Hugging Face podkreśliła, że jej doświadczenie nie stanowi argumentu za usunięciem zabezpieczeń z hostowanych modeli. Zamiast tego zaleciła organizacjom przygotowanie wydajnego modelu, który można wdrożyć wewnętrznie do reagowania na incydenty, zanim dojdzie do naruszenia bezpieczeństwa.
Taki system nadal wymagałby ścisłej kontroli dostępu, rejestrowania działań, testowania oraz nadzoru ze strony ludzi. Nieograniczony model połączony z potężnymi narzędziami bezpieczeństwa mógłby stwarzać nowe zagrożenia, gdyby został naruszony, zmanipulowany przez wrogie dane lub uzyskał nadmierny dostęp do infrastruktury produkcyjnej.
Po wykryciu incydentu firma Hugging Face zablokowała obie ścieżki wykonywania kodu, które umożliwiły początkowy dostęp. Usunęła punkty oparcia atakującego, odbudowała zaatakowane węzły oraz unieważniła poświadczenia i tokeny, o których wiadomo było, że zostały ujawnione.
Firma rozpoczęła również szeroko zakrojoną, zapobiegawczą rotację kluczy tajnych, wdrożyła dodatkowe zabezpieczenia klastrów oraz wprowadziła bardziej rygorystyczne kontrole dostępu. Kontrole dostępu mogą zapobiegać wdrażaniu obciążeń, które nie spełniają określonych wymagań bezpieczeństwa, pomagając ograniczyć kontenery z uprawnieniami uprzywilejowanymi, niebezpieczne konfiguracje i inne zachowania wysokiego ryzyka.
Zmodyfikowano również procesy wykrywania i powiadamiania, tak aby sygnały bezpieczeństwa o wysokim poziomie zagrożenia powiadamiały dyżurnego w ciągu kilku minut o każdej porze dnia.
Firma Hugging Face zatrudniła zewnętrznych specjalistów ds. kryminalistyki, którzy pomogą w dochodzeniu oraz przeglądzie jej polityk i procedur bezpieczeństwa. Firma oświadczyła, że skontaktuje się bezpośrednio z klientami lub partnerami, jeśli ustali, że ich dane zostały naruszone.
Jako środek ostrożności wszystkim użytkownikom serwisu Hugging Face zalecono rotację tokenów dostępu oraz sprawdzenie ostatniej aktywności na koncie pod kątem nieznanych logowań, zmian w repozytoriach lub innych nieoczekiwanych działań.
Rotacja tokenu unieważnia istniejące poświadczenie, ograniczając wartość wszelkich kopii uzyskanych przez atakującego. Organizacje korzystające z serwisu Hugging Face w ramach zautomatyzowanych procesów rozwoju, wdrażania lub potoków uczenia maszynowego powinny również zaktualizować token wszędzie tam, gdzie jest on przechowywany, aby uniknąć zakłóceń w działaniu legalnych usług.
Użytkownicy powinni zwrócić szczególną uwagę na tokeny o długim okresie ważności osadzone w zmiennych środowiskowych, notatnikach, systemach CI/CD, menedżerach kluczy tajnych w chmurze lub na maszynach programistycznych. Uprawnienia tokenów powinny być ograniczone do niezbędnego minimum i rozdzielone między środowiskami programistycznymi a produkcyjnymi, tak aby naruszenie bezpieczeństwa jednego zestawu danych uwierzytelniających nie narażało na niebezpieczeństwo wszystkich repozytoriów lub usług.
To naruszenie podkreśla rosnące znaczenie repozytoriów modeli sztucznej inteligencji z punktu widzenia bezpieczeństwa.
Platformy takie jak Hugging Face są często porównywane z serwisem GitHub, ponieważ zapewniają scentralizowane repozytoria, w których programiści mogą publikować, pobierać modele i kod oraz współpracować nad nimi. Repozytoria modeli sztucznej inteligencji wiążą się jednak z dodatkowymi zagrożeniami, ponieważ pliki modeli i zbiory danych mogą być przetwarzane przez wyspecjalizowane frameworki wyposażone w złożone funkcje deseryalizacji i niestandardowego kodu.
Niezależne badania naukowe wielokrotnie ostrzegały, że niebezpieczne praktyki ładowania modeli mogą umożliwić wykonanie dowolnego kodu. Badanie z 2026 roku, obejmujące kilka ekosystemów hostujących modele, wykazało powszechne poleganie na kodzie niestandardowym, nierówne egzekwowanie zabezpieczeń oraz utrzymujące się zamieszanie wśród programistów dotyczące zagrożeń związanych z zezwalaniem repozytoriom na wykonywanie plików zdalnych.
Inne badania wykazały, że złośliwe zachowania mogą być ukrywane za pomocą interfejsów API uczenia głębokiego i funkcjonalności modeli, a nie za pomocą łatwo rozpoznawalnego złośliwego oprogramowania. Utrudnia to wykrywanie przez skanery, które poszukują wyłącznie znanych sygnatur lub ewidentnie podejrzanej składni.
Ryzyka te nie oznaczają, że otwarte repozytoria modeli są z natury niebezpieczne. Oznaczają one jednak, że modele i zbiory danych należy traktować jako potencjalnie wykonywalne elementy łańcucha dostaw, a nie jako dokumenty pasywne.
Organizacje pobierające treści AI od podmiotów zewnętrznych powinny wybierać bezpieczniejsze formaty serializacji, unikać włączania funkcji zdalnego wykonywania kodu, chyba że jest to konieczne, sprawdzać zmiany w repozytorium oraz blokować zaufane wersje zamiast automatycznie pobierać najnowszą wersję. Modele wysokiego ryzyka należy testować w izolowanych środowiskach bez danych uwierzytelniających do środowiska produkcyjnego, plików wrażliwych ani nieograniczonego dostępu do sieci.
Operatorzy platform modelowych stoją przed powiązanym wyzwaniem: infrastruktura przetwarzania musi wspierać uzasadnione eksperymenty, zakładając jednocześnie, że przesłane treści mogą być celowo szkodliwe. Silne środowisko sandboxowe, krótkotrwałe poświadczenia, konta usługowe o ściśle określonym zakresie oraz segmentacja między węzłami przetwarzającymi a klastrami produkcyjnymi mogą ograniczyć skutki ewentualnego początkowego naruszenia bezpieczeństwa.
Badacze zajmujący się bezpieczeństwem oraz twórcy sztucznej inteligencji od dawna ostrzegają, że systemy agentowe mogą zautomatyzować działania rozpoznawcze, wykorzystywanie luk, eskalację uprawnień oraz przemieszczanie się w sieci. Ujawnione przez Hugging Face informacje sugerują, że przynajmniej niektóre z tych możliwości są obecnie wdrażane w ramach operacyjnych struktur atakowych.
Kampania ta nie dowodzi, że sztuczna inteligencja samodzielnie odkryła nowe luki w zabezpieczeniach lub zaprojektowała całą operację bez udziału człowieka. Operator ludzki mógł nadal wybrać cel, wyznaczyć cele, zbudować strukturę lub interweniować na kluczowych etapach.
Pokazuje to jednak, że agent mógłby wykonać rozległą sekwencję działań technicznych w zmieniających się środowiskach i kontynuować działanie w trakcie wieloetapowego przejęcia kontroli nad infrastrukturą.
To rozróżnienie ma znaczenie. Bezpośrednim zagrożeniem ze strony ofensywnej sztucznej inteligencji może nie być wszechwiedzący system zdolny do wymyślania bezprecedensowych ataków. Może to być raczej automatyzacja istniejących technik ataku na skalę i w tempie, które przerastają konwencjonalne procesy monitorowania i reagowania.
Dla specjalistów ds. bezpieczeństwa incydent ten podkreśla konieczność monitorowania tożsamości maszyn, tokenów chmurowych i kont usługowych równie uważnie, jak w przypadku użytkowników ludzkich. Wykrywanie behawioralne będzie nabierać coraz większego znaczenia, ponieważ autonomiczne agenty mogą nieustannie zmieniać swoje polecenia, infrastrukturę i wzorce działania, jednocześnie dążąc do tego samego celu.
Firma Hugging Face zajęła się już znanymi punktami wejścia i opanowała zidentyfikowane naruszenie, ale dochodzenie w tej sprawie nie zostało jeszcze zakończone. Firma nie ustaliła jeszcze, czy incydent miał wpływ na dane klientów lub partnerów, nie podała nazwy modelu wykorzystanego przez atakującego ani nie przypisała tej operacji konkretnemu podmiotowi stanowiącemu zagrożenie.
Nawet pomimo tych nierozstrzygniętych kwestii incydent ten stanowi surowe ostrzeżenie dla platform AI i innych dostawców technologii. Autonomiczne narzędzia ofensywne nie są już wyłącznie koncepcją laboratoryjną. Można je łączyć z tradycyjnymi lukami w zabezpieczeniach, skradzionymi danymi uwierzytelniającymi i infrastrukturą chmurową w celu przeprowadzania uporczywych ataków z prędkością maszyn — a specjaliści ds. bezpieczeństwa mogą potrzebować porównywalnej automatyzacji, aby nadążyć za tymi zagrożeniami.
