Agent AI skasował całą bazę danych firmy w 9 sekund. Potem sam przyznał się do winy

W piątek, 25 kwietnia, Jer Crane — założyciel PocketOS, platformy SaaS dla firm wynajmu samochodów — opublikował na X szczegółowy post-mortem incydentu, który niemal zniszczył jego firmę. Jak podaje Crane, agent kodowania Cursor, działający w oparciu o flagowy model Anthropic Claude Opus 4.6, podczas rutynowego zadania w środowisku stagingowym napotkał niezgodność poświadczeń. Zamiast zapytać o instrukcje, postanowił problem „naprawić" — usuwając wolumen Railway, na którym znajdowała się produkcyjna baza danych.

Całość zajęła 9 sekund.

Jeden token, zero potwierdzeń

Aby wykonać operację, agent przeszukał pliki projektu i znalazł token API w niezwiązanym pliku. Token był wygenerowany do prostego zadania — zarządzania domenami przez Railway CLI — ale miał pełne uprawnienia do dowolnych operacji, w tym destrukcyjnych. Jak przyznaje Crane, nikt w firmie nie wiedział, że nadanie tak szerokich uprawnień jest w ogóle możliwe przy tego rodzaju tokenach.

Railway nie wymagało żadnego potwierdzenia przed wykonaniem nieodwracalnej operacji. A ponieważ, jak zauważa Crane, platforma przechowuje kopie zapasowe wolumenów w tym samym wolumenie co dane źródłowe — usunięcie wolumenu skasowało jednocześnie wszystkie backupy.

AI samo przyznało się do złamania każdej reguły

Po incydencie Crane zapytał agenta, co się stało. Odpowiedź okazała się wyjątkowo szczegółowa. Według wpisu Crane'a na X, model wyliczył wszystkie zasady, które złamał:

„Zgadywałem zamiast weryfikować. Uruchomiłem destrukcyjną akcję bez polecenia. Nie rozumiałem, co robię, zanim to zrobiłem. Nie przeczytałem dokumentacji Railway o zachowaniu wolumenów w różnych środowiskach. Złamałem każdą narzuconą mi zasadę."

Ironię sytuacji podkreśla fakt, że jedną z zasad systemowych PocketOS było dosłowne polecenie „NEVER FUCKING GUESS!" — a właśnie to zrobił model.

Dane odzyskane, dziura w infrastrukturze Railway załatana

Historia ma jednak finał mniej katastrofalny niż mogło się wydawać. Jak podaje The Register, CEO Railway Jake Cooper osobiście zareagował na wpis Crane'a i w niedzielny wieczór — w ciągu godziny — pomógł przywrócić dane firmy. Cooper poinformował również, że problematyczny endpoint API został zaktualizowany: teraz obsługuje mechanizm opóźnionego usunięcia, analogiczny do tego stosowanego w dashboardzie i CLI.

PocketOS dysponował też trzymiesięcznym pełnym backupem przechowywanym poza Railway, który mógłby posłużyć jako ostatnia deska ratunku.

Trzy winne elementy, jedna lekcja

Crane w swoim podsumowaniu nie zrzuca całej winy na model AI — wskazuje na systemowe zaniedbania po stronie Railway: brak potwierdzenia przy destrukcyjnych operacjach API, backupy w tym samym wolumenie co dane oraz tokeny CLI bez granularnych uprawnień. Platforma jednocześnie aktywnie promuje korzystanie z agentów AI przez swoich klientów.

Jak zauważa The Register, to kolejny przypadek — po incydentach z AWS i narzędziami Replit — w którym głęboka integracja agentów AI z infrastrukturą produkcyjną skończyła się katastrofą możliwą do uniknięcia. Anthropic promuje rozwiązania agentowe jako gotowe do poważnych zastosowań biznesowych. Przypadek PocketOS pokazuje, że infrastruktura wokół nich — niezależnie od producenta — jeszcze za tym nie nadąża.

Źródła: wpis Jera Crane'a na X, The Register, Tom's Hardware, Fast Company