ChatGPT miał problem z goblinami
OpenAI opisało nietypowy problem z modelami GPT. ChatGPT zaczął zaskakująco często używać metafor o goblinach, gremlinach i trollach. Przyczyną okazał się trening jednej z osobowości.
OpenAI opublikowało własne wyjaśnienie sprawy, którą media szybko ochrzciły „goblinowym” problemem ChatGPT. Historia brzmi zabawnie, ale jest ciekawym przykładem tego, jak niewielka zmiana w treningu modelu może później rozlać się na jego zachowanie w zupełnie innych sytuacjach.
Według OpenAI pierwsze wyraźne sygnały pojawiły się po premierze GPT-5.1. Modele zaczęły częściej używać metafor z goblinami, gremlinami i innymi stworzeniami. Początkowo wyglądało to jak nieszkodliwa językowa maniera. Problem stał się jednak bardziej widoczny przy kolejnych generacjach modeli. OpenAI podało, że po wdrożeniu GPT-5.1 użycie słowa „goblin” w ChatGPT wzrosło o 175 proc., a „gremlin” o 52 proc.
Źródłem problemu okazała się osobowość „Nerdy”, czyli jeden ze stylów odpowiedzi ChatGPT. Miała być bardziej żartobliwa, błyskotliwa i nieco geekowska. W praktyce system nagradzania podczas treningu zbyt mocno premiował odpowiedzi zawierające dziwaczne, „stworkowe” metafory. OpenAI przyznało, że „Nerdy” odpowiadało tylko za 2,5 proc. wszystkich odpowiedzi ChatGPT, ale aż za 66,7 proc. wszystkich wzmianek o goblinach.
Najciekawsze jest to, że zachowanie nie zostało zamknięte wyłącznie w tej jednej osobowości. OpenAI tłumaczy, że uczenie ze wzmocnieniem nie gwarantuje, iż nagrodzony tik stylistyczny pozostanie tylko tam, gdzie powstał. Jeśli taki schemat zacznie pojawiać się w danych treningowych, może zostać utrwalony i przeniesiony dalej. Firma znalazła podobne ślady także przy słowach takich jak trolle, ogry, szopy czy gołębie.
OpenAI wycofało osobowość „Nerdy” w marcu, usunęło problematyczny sygnał nagradzający i zaczęło filtrować dane treningowe zawierające takie słowa. Kłopot w tym, że GPT-5.5 był już wtedy w treningu. Dlatego w testach Codexa, narzędzia OpenAI do pracy z kodem, problem wrócił. Firma musiała dodać instrukcję, która ograniczała nieuzasadnione wzmianki o goblinach i podobnych stworzeniach.
Brzmi jak anegdota z działu „AI robi dziwne rzeczy”, ale OpenAI traktuje sprawę poważniej. To mały, lecz czytelny przykład tego, jak modele mogą uczyć się nie tylko pożądanych kompetencji, ale też językowych nawyków, które przypadkiem dostały zbyt wysoką nagrodę. W praktyce pokazuje to, że kontrola nad stylem i zachowaniem modeli nie kończy się na napisaniu jednej instrukcji. Trzeba jeszcze sprawdzać, co model naprawdę uznał za opłacalne.
