Poetyckie jailbreaki: wiersze jako nowa broń na chatboty AI
Nowe badanie Dexai i Uniwersytetu La Sapienza pokazuje, że wystarczy zamienić szkodliwe prompty w wiersze, aby znacząco podnieść skuteczność jailbreaków dużych modeli językowych. Poezja staje się narzędziem ataku na systemy bezpieczeństwa AI.
Na arXiv pojawił się preprint, który może na długo rozgrzać dyskusję o bezpieczeństwie generatywnej sztucznej inteligencji. Zespół badaczy z Dexai, Uniwersytetu La Sapienza w Rzymie oraz Sant’Anna School of Advanced Studies pokazał, że wystarczy zamienić szkodliwe polecenia w poetyckie wersy, aby znacząco zwiększyć szanse obejścia zabezpieczeń dużych modeli językowych.
Autorzy opisują swoją metodę jako „poezję adwersarialną”. Chodzi o to, aby znane z benchmarków bezpieczeństwa szkodliwe prompty – na przykład te powiązane z cyberatakami, manipulacją informacją czy zagrożeniami CBRN – przepisać w formie wiersza. Zamiast wprost prosić model o instrukcje, badacze budują metaforyczną narrację, w której faktyczny zamiar ukryty jest pod obrazami i porównaniami.
W pierwszym kroku przygotowano serię ręcznie napisanych wierszy, które w zawoalowany sposób opisywały scenariusze uznawane za niebezpieczne w standardach MLCommons oraz europejskim kodeksie postępowania dla AI. Następnie badacze wzięli 1200 szkodliwych promptów z benchmarku MLCommons i automatycznie przekształcili je w poezję za pomocą metapromptu, który narzucał określony styl i strukturę wersów.
Poetyckie prompty przetestowano na 25 dużych modelach językowych od dziewięciu dostawców – zarówno komercyjnych, jak i open source. Według autorów uśredniony wskaźnik udanych ataków dla ręcznie tworzonych wierszy sięgnął 62 procent. Dla automatycznie „zpoetyzowanych” poleceń było to około 43 procent. Dla porównania, zwykłe, nieprzerabiane teksty w prozie osiągały średnio około 8 procent skuteczności.
Co ważne, poetyckie jailbreaki okazały się uniwersalne. Ten sam wiersz potrafił omijać zabezpieczenia w różnych modelach, niezależnie od tego, jak były trenowane i jakie strategie alignmentu zastosowano. Ataki przenosiły się także pomiędzy różnymi kategoriami ryzyka – od cyberofensywy, przez manipulację, po scenariusze utraty kontroli nad systemem.
Badacze sugerują dwa możliwe wyjaśnienia tak wysokiej skuteczności. Po pierwsze, duże modele są mocno „nasączone” literaturą i poezją, więc dobrze rozpoznają styl i potrafią go kontynuować nawet wtedy, gdy filtr bezpieczeństwa powinien zadziałać. Po drugie, systemy bezpieczeństwa są zwykle trenowane na bardziej dosłownych, prozatorskich formach wypowiedzi. Gdy intencja zostaje ukryta w metaforach, heurystyki bezpieczeństwa mają większy problem z jej rozpoznaniem.
W praktyce oznacza to, że modele, na których opierają się dziś chatboty, asystenci i narzędzia firmowe, są podatne nie tylko na skomplikowane technicznie jailbreaki, lecz także na kreatywne, „miękkie” manipulacje językowe. Wystarczy zmiana formy – z prozy na wiersz – aby znacząco zwiększyć szanse na uzyskanie odpowiedzi, których model w normalnych warunkach powinien odmówić. Jak zauważa serwis Futurism, sama „wariacja stylistyczna” okazuje się poważnym wyzwaniem dla obecnych systemów bezpieczeństwa.
Nie wszyscy są jednak zachwyceni tym, jak badanie zostało zaprezentowane. Publicysta David Gerard zwraca uwagę, że autorzy są powiązani z firmą komercyjnie zajmującą się testowaniem i certyfikacją modeli, więc preprint można czytać także jako intensywną reklamę usług bezpieczeństwa. Zwraca też uwagę, że to wciąż pojedyncze studium, wymagające niezależnej replikacji i dokładniejszej analizy metodologii.
Z perspektywy użytkowników i zespołów budujących produkty na bazie LLM wniosek jest prosty: blokowanie oczywistych słów kluczowych nie wystarczy. Jeśli chcecie polegać na modelach w kontekstach wrażliwych, trzeba zakładać, że ktoś prędzej czy później spróbuje ukryć szkodliwe intencje w mniej oczywistej formie – czy to w poezji, czy w innych kreatywnych stylach pisania. Mechanizmy bezpieczeństwa muszą zacząć analizować nie tylko dosłowną treść, ale także zamiar stojący za tekstem.
Dla twórców modeli to kolejne potwierdzenie, że wyścig z atakami jailbreakowymi wchodzi w nową fazę. Po niewidocznych znakach Unicode i promptach łańcuchowych przyszła kolej na „poetów ofensywnych”. Jeżeli systemy AI mają być naprawdę bezpieczne, alignment nie może kończyć się na filtrze słów, który załamuje się w momencie, gdy ktoś zamieni instrukcję w rymowany czterowers.
