Zatruwanie pamięci AI. Jak można podkręcić podpowiedzi ChatGPT i Gemini, by sterować tym, co „polecają”?
Funkcja „pamięci” w asystentach AI ma pomagać, ale może też stać się celem ataku. Badacze opisują techniki „zatruwania” długotrwałych notatek i rekomendacji, które potrafią przestawić podpowiedzi modelu tak, by promował wybrane treści.
Wraz z tym, jak asystenci AI dostają „pamięć” i coraz częściej podpowiadają nam narzędzia, linki, produkty czy kolejne kroki, rośnie też nowa klasa nadużyć. Chodzi o zatruwanie pamięci, czyli sytuację, w której ktoś próbuje wprowadzić do trwałych notatek asystenta treści wyglądające jak zwykłe informacje, ale w praktyce mają one zmienić późniejsze odpowiedzi i rekomendacje.
Microsoft opisuje ten trend jako „AI recommendation poisoning”, wskazując, że atakujący nie musi przełamywać zabezpieczeń wprost. Zamiast tego stara się doprowadzić do zapisania w pamięci asystenta fałszywych „preferencji” użytkownika albo sugestii, co model ma uznawać za najlepsze źródła i rozwiązania. Efekt bywa subtelny. Użytkownik ma wrażenie, że AI po prostu „dobrze pamięta” jego styl, a w tle rośnie skłonność do podsuwania określonych marek, stron czy narracji.
W praktyce taki scenariusz jest szczególnie niebezpieczny tam, gdzie interfejs zachęca do automatycznych skrótów. Na przykład przyciski typu „podsumuj” albo gotowe akcje mogą przenosić do kontekstu tekst, który wygląda niewinnie, ale zawiera instrukcje dla modelu. Gdy asystent uzna je za „wartościowe do zapamiętania”, problem przestaje być jednorazowy i zaczyna wracać w kolejnych rozmowach.
Koncepcja „memory poisoning” pojawia się też w taksonomiach technik ataku na agentów AI. W skrócie to manipulacja długotrwałą pamięcią modelu po to, by utrwalić zmianę zachowania na przyszłość. W podobnym duchu badacze od dawna opisują trwałe formy zatruwania promptów, które mają wpływać na szeroki zakres późniejszych odpowiedzi.
Ważne zastrzeżenie: nie każda spektakularna historia o „sterowaniu ChatGPT lub Gemini” oznacza, że ktoś przejął model albo złamał system. W wielu przypadkach to połączenie socjotechniki, specyfiki interfejsu i tego, że model traktuje część wejścia jako wiarygodne „wskazówki”, a następnie niesie je dalej. Dlatego kluczowe są proste praktyki higieny: ostrożność wobec gotowych podsumowań treści z nieznanych źródeł, przegląd i czyszczenie zapisanej pamięci oraz dystans do rekomendacji, które nagle stają się nienaturalnie „uporczywe” lub zbyt marketingowe.
Jeśli użytkownicy mają coraz bardziej polegać na asystentach jako filtrze rzeczywistości, to pamięć i mechanizmy rekomendacji stają się nową powierzchnią ataku. I właśnie dlatego temat „zatruwania pamięci” warto traktować jak problem bezpieczeństwa, a nie ciekawostkę o promptach.
