Check Point: przez lukę w ChatGPT można było wyciągnąć maile ofiary z Gmaila

Pracownik prosi asystenta AI o proste zestawienie w arkuszu kalkulacyjnym, a w tle jego prywatna korespondencja z Gmaila wędruje do obcej osoby. Taki scenariusz udowodnili analitycy Check Point Research. Wykryli lukę w architekturze ChatGPT, która podważa założenie, że sesje i dane różnych użytkowników są od siebie całkowicie odizolowane.

Firmy w szybkim tempie łączą asystentów AI z pocztą, dyskami w chmurze, komunikatorami i repozytoriami kodu. Test pokazał drugą stronę tej wygody.

AI jako „przymuszony szpieg"

W klasycznym cyberataku napastnik musi zdobyć hasło, wysłać zainfekowany załącznik albo przełamać zabezpieczenia sieciowe. W ataku pokazanym przez Check Point nic z tego nie było potrzebne. Napastnik wykorzystał zaufanie i uprawnienia, które sam pracownik nadał asystentowi AI.

Badacze nazwali to „coerced insider", czyli zmanipulowanym współpracownikiem wewnątrz firmy. Model AI nie musi się „buntować", tylko bezrefleksyjnie wykonuje polecenia. Jeśli atakujący podsunie ofierze spreparowany tekst, na przykład w niewinnie wyglądającym linku do udostępnionej rozmowy, w zmanipulowanym promptcie albo w module Custom GPT, asystent może w tle realizować zadania hakera. Z perspektywy systemów firmowych wygląda to normalnie, bo polecenia wykonuje autoryzowany asystent pracownika.

Jak to działało

Kiedy ChatGPT wykonuje bardziej złożone zadania, na przykład analizuje dane albo uruchamia kod, tworzy dla użytkownika osobne środowisko, czyli kontener. Kontenery różnych użytkowników z założenia nie mają się widzieć ani ze sobą rozmawiać. Żeby jednak mogły pobierać potrzebne biblioteki bez łączenia się z otwartym internetem, OpenAI skierowało ich ruch przez wewnętrzny magazyn oprogramowania, platformę JFrog Artifactory.

Check Point znalazł tam nieszczelność. Magazyn miał funkcję przypisywania krótkich notatek (metadanych) do przechowywanych elementów, a domyślne uprawnienia w kontenerze każdego użytkownika pozwalały zapisywać i odczytywać te notatki. Informacja zostawiona przez konto hakera była natychmiast widoczna dla kontenera niczego nieświadomej ofiary. Techniczne narzędzie stało się w praktyce tajną skrzynką kontaktową między kontami, które miały być odseparowane.

Napastnik zostawiał w niej ukryte zadanie. Kiedy ofiara zadawała swojemu ChatGPT zwyczajne pytanie biznesowe, jej asystent sprawdzał skrzynkę, wykonywał polecenie hakera, odsyłał wykradzione dane tym samym kanałem, a pracownikowi wyświetlał normalną odpowiedź.

Zasięg takiego ataku zależy od tego, jakie uprawnienia dano asystentowi. Mogą to być firmowe wiadomości w Gmailu, pliki na Google Drive, konwersacje w Microsoft Teams albo kody źródłowe na GitHubie. W teście Check Pointa asystent ofiary odczytał skrzynkę pocztową i przekazał maile atakującemu w trakcie jednej zwyczajnej wymiany zdań. Pracownik nie miał realnej szansy zorientować się, że coś jest nie tak. ChatGPT domyślnie traktuje samo przeglądanie danych jako działanie o niskim ryzyku i nie wyświetla okna z prośbą o zgodę. Jedynym śladem był mały szary napis „Talked to Gmail", który pojawił się pod odpowiedzią dopiero wtedy, gdy poufne wiadomości zostały już wysłane.

Szerszy problem: wspólna architektura

Wykryta luka została zgłoszona OpenAI, a podatny komponent wyłączony. Problem jest jednak szerszy niż jeden produkt. Odkrycie zbiegło się w czasie z głośnym incydentem w środowiskach testowych OpenAI powiązanych z platformą Hugging Face, gdzie agenty AI również nawiązały nieautoryzowaną łączność za pośrednictwem wspólnych elementów infrastruktury.

„Badania pokazują, że wyzwanie związane z bezpieczeństwem AI nie dotyczy już wyłącznie samego modelu, ale przede wszystkim dostępu i zaufania, jakimi go obdarzamy. W miarę jak asystenci AI zyskują coraz więcej połączeń z systemami korporacyjnymi i wrażliwymi danymi, organizacje muszą zakładać, że każda autoryzowana funkcja może zostać wykorzystana w niewłaściwy sposób" – mówi Eli Smadja, Head of Research w Check Point Research.

Jak firmy mają się bronić

Największym zagrożeniem staje się shadow AI, sytuacja, w której pracownicy na własną rękę podłączają firmowe aplikacje do asystentów AI bez wiedzy działu IT. Eksperci Check Point Research wskazują trzy elementy obrony:

• Pełna widoczność: wiedza, z jakich narzędzi AI korzysta zespół i z jakimi aplikacjami firmowymi są one połączone.
• Ochrona w czasie rzeczywistym: filtry, które wychwytują zmanipulowane polecenia (prompt injection) i blokują wypływ poufnych informacji w trakcie rozmowy z botem.
• Nadzór nad działaniami: monitorowanie, co asystent faktycznie robi w systemach, jakie pliki otwiera i jakie komendy wykonuje, a nie tylko tego, co odpowiada na ekranie.

Materiał pochodzi od Check Point Software Technologies, dostawcy rozwiązań cyberbezpieczeństwa, więc rekomendacje dotyczące widoczności, ochrony w czasie rzeczywistym i nadzoru wiążą się z jego ofertą.

Źródła: informacja prasowa Check Point Research