Nowa technika ataku ominęła filtry AI w 100 proc. przypadków. Skuteczna była wobec strażników od Anthropic, OpenAI i Meta

Check Point Research opisał PuzzleMask, technikę ataku na sztuczną inteligencję ukrywającą złośliwe instrukcje wewnątrz zwyczajnej, poprawnie napisanej prozy. Zdaniem badaczy pokazuje ona lukę w architekturze zabezpieczeń wdrażanej obecnie w wielu firmach.

Dotychczas branża uczyła systemy ochronne wychwytywać typowe oznaki manipulacji: podejrzane formatowanie, emotikony, zakodowane ciągi znaków. PuzzleMask działa inaczej. Ukrywa instrukcje łamiące zasady bezpieczeństwa wewnątrz płynnego tekstu, który dla filtrów wygląda jak wiersz albo fragment opowiadania.

W testach Check Point Research cztery czołowe systemy filtrujące, w tym Claude-3-Haiku (Anthropic), GPT-4o-Mini i GPT-oss-safeguard (OpenAI) oraz Llama-Guard3 (Meta), nie wykryły zagrożenia ani razu. Skuteczność ataku w 23 próbach wyniosła 100 proc.

Asymetria między strażnikiem a docelowym modelem

W firmowych wdrożeniach AI standardem stała się architektura „gatekeeper-to-target". Składa się z dwóch elementów. Modelu-strażnika (gatekeeper), czyli szybkiego i tańszego modelu AI, który na wejściu sprawdza, czy zapytanie użytkownika jest bezpieczne. Oraz modelu docelowego (target), czyli droższego i zaawansowanego systemu z dostępem do firmowych narzędzi i baz danych, który wykonuje właściwe zadanie.

PuzzleMask wykorzystuje różnicę możliwości między tymi warstwami. Prosty model-strażnik nie ma na tyle rozbudowanego rozumowania, żeby rozpoznać, że w płynnie brzmiącym tekście ukryta jest instrukcja. Uznaje więc treść za nieszkodliwą. Model docelowy, w testach zaawansowany model wnioskujący gpt-5-thinking z interpreterem kodu, potrzebował z kolei ponad minuty głębszego namysłu i uruchomienia skryptów, żeby odtworzyć i wykonać ukryte polecenie. Robił to w 94 proc. prób (17 na 18).

Check Point podkreśla, że PuzzleMask nie jest klasycznym jailbreakiem, czyli techniką nakłaniania modelu do zignorowania własnych zasad. To atak na zewnętrzną tarczę ochronną. Kiedy strażnik zostaje ominięty, jedyną barierą pozostaje wewnętrzny osąd modelu docelowego.

Ryzyko dla firmowych procesów

Firmy coraz częściej łączą asystentów AI i autonomicznych agentów z bazami danych, systemami ERP, firmową pocztą i innymi wewnętrznymi zasobami. W takich środowiskach złośliwe instrukcje mogą trafić do modelu przez pozornie nieszkodliwy dokument PDF, wiadomość e-mail od klienta albo formularz na stronie internetowej.

„PuzzleMask uderza w fundamentalne założenie wielu współczesnych strategii bezpieczeństwa AI: przekonanie, że niebezpieczne zapytania są łatwe do rozpoznania. Nasze badania pokazują, że groźne instrukcje można ukryć w całkowicie zwyczajnym tekście. W dobie agentów AI mających dostęp do procesów biznesowych i poufnych danych, zespoły security muszą przestać polegać wyłącznie na weryfikacji danych na wejściu" – komentuje Eli Smadja, Head of Research w Check Point Research.

Jak firmy mogą się bronić

Check Point Research zgłosił szczegóły techniki twórcom modeli: Anthropic, Meta i OpenAI. Badacze zwracają uwagę, że jedynymi modelami, które oparły się atakowi, były systemy klasy Opus od Anthropic. Ich odporność wiążą z tym, że modele te monitorują proces wnioskowania w czasie rzeczywistym.

Aby zneutralizować ryzyko, organizacje powinny wdrożyć wielowarstwową strategię obrony, między innymi:

• Weryfikować zachowanie modelu, a nie tylko wejście. Zamiast wyłącznie cenzurować zapytania, monitorować proces rozumowania modelu i działania, jakie faktycznie wykonuje na narzędziach.
• Parafrazować przychodzące treści. Przepuszczanie zewnętrznych dokumentów przez moduł parafrazujący przed ich przetworzeniem niszczy ukrytą strukturę ataku.
• Zaostrzyć reguły strażników. Uczulić modele weryfikujące na specyficzne, samoodwołujące się konstrukcje językowe.

Materiał pochodzi od Check Point Software Technologies, dostawcy rozwiązań cyberbezpieczeństwa, więc wnioski o potrzebie wielowarstwowej obrony wiążą się z jego ofertą.

Źródła: informacja prasowa Check Point Research