Gdy karmisz AI social mediami, głupieje. Nowe badanie o „brain rot” w LLM

Idea „brain rot” trafiła do świata AI. Zespół badaczy z University of Texas at Austin, Texas A&M i Purdue opublikował 15 października 2025 r. preprint „LLMs Can Get ‘Brain Rot’!”. Autorzy pokazują, że długie dokarmianie dużych modeli językowych krótkimi, sensacyjnymi i virallowymi postami z platformy X powoduje spadki w rozumowaniu, pogorszenie pracy z długim kontekstem i zmiany w wynikach testów osobowości.

Efekt jest trwały i trudny do cofnięcia po późniejszym „oczyszczaniu” danych. Źródłowy preprint jest dostępny na arXiv.

Jak podaje Nature w notce z 31 października 2025 r., to badanie celowo izoluje jakość treści od innych czynników. Naukowcy nie mówili ogólnie o „złych danych”, lecz o określonym typie materiału: krótkim, nastawionym na kliki i popularność w social mediach. To taki strumień informacji okazał się najbardziej szkodliwy dla modeli.

Co dokładnie zrobiono?

Badacze zebrali ponad milion publicznych postów z X, a następnie zbudowali dwa warianty zbiorów. W pierwszym wariancie kluczem była popularność i skrótowość. W drugim – niska jakość semantyczna, czyli język sensacyjny i „clickbaitowy” typu „WOW”, „LOOK”, „TODAY ONLY”. Te „śmieciowe” paczki porównano z kontrolą o tej samej skali tokenów i procedurze uczenia. Następnie przeprowadzono ciągłe dotrenowanie wybranych modeli open-source i wspólne strojenie instrukcjami, aby wykluczyć proste różnice formatowe.

Na zadaniach wymagających rozumowania i pracy z długim kontekstem odnotowano spadki o istotnym rozmiarze efektu (Hedges g > 0,3). W wariancie „popularność” dokładność na zestawie ARC-Challenge z włączonym chain-of-thought spadła z 74,9 do 57,2 punktu. W RULER-CWE z 84,4 do 52,3. Im więcej „junku” w mieszance, tym gorzej, co sugeruje zależność dawka-odpowiedź i wpływ jakości danych jako czynnika przyczynowego.

Gdzie „psuje się” myślenie modelu?

Autorzy wskazują na thought-skipping, czyli skracanie lub pomijanie kroków rozumowania. Model częściej „przeskakuje” plan i logikę, co tłumaczy znaczną część wzrostu błędów. Badacze testowali też „leczenie” standardowymi metodami. Dodatkowe strojenie instrukcjami i ponowne dotrenowanie na czystych danych poprawiało wyniki tylko częściowo. Modele nie wracały do bazowej formy, co sugeruje trwały dryf reprezentacji po ekspozycji na śmieciowe treści.

Efekty uboczne wykraczają poza rozumowanie. W testach bezpieczeństwa modele częściej przechodziły w tryb ryzykownych odpowiedzi. W małych kwestionariuszach „osobowości” rosły wskaźniki cech ciemnej triady, w tym psychopatii i narcyzmu. To nie oznacza „osobowości” jak u ludzi, ale wskazuje na niepożądane kierunki zachowania modelu mierzone konsystentnym batchem testów.

Dlaczego to ma znaczenie?

Jak przypomina Nature, branża rozważa coraz szersze użycie danych z social mediów w treningu, bo są świeże, obfite i tanie. Jeśli jednak popularność jest lepszym wskaźnikiem szkodliwości niż sama długość wpisu, to automatyczne „skrobanie” virali może cicho korodować zdolność rozumowania, pamięć kontekstu i zachowania prospołeczne modeli. To brzmi jak problem higieny poznawczej na etapie treningu, nie tylko filtr bezpieczeństwa po fakcie.

Konsekwencje dla firm budujących LLM

Z pierwszej ręki wniosek jest prosty. Trzeba przejść z filozofii „więcej danych zawsze pomaga” do selekcji „mniej, ale lepszych”. Autorzy na stronie projektu piszą o potrzebie rutynowych „przeglądów zdrowia poznawczego” modeli w toku ciągłego dotrenowania. W praktyce to znaczy obowiązkowe testy na benchmarkach rozumowania i pamięci przed każdą dużą porcją nowych danych, z progiem blokującym aktualizację, gdy wyniki lecą w dół. Potrzebne jest także ważenie lub wyrzucanie treści o wysokim wskaźniku „engagementu”, nawet jeśli są one wygodne do pozyskania.

Ryzyko pętli zwrotnej

Media branżowe zwracają uwagę, że coraz więcej treści w social mediach powstaje już półautomatycznie, z pomocą samych LLM. Jeśli te treści trafią potem do kolejnych korpusów treningowych, a filtry jakości będą słabe, otrzymamy błędne koło obniżania jakości. To scenariusz, w którym systemy stają się z czasem coraz mniej wiarygodne, nawet gdy rosną parametry i liczba tokenów.

Ograniczenia i ostrożność

To preprint, więc nie przeszedł jeszcze pełnej recenzji naukowej. Testowano konkretne architektury i procedury, a „osobowość” modeli mierzono krótkimi kwestionariuszami zapożyczonymi z psychometrii człowieka. Wyniki nie muszą przekładać się jeden do jednego na wszystkie modele i wszystkie pipeline’y. Warto jednak odnotować skalę spadków i to, że mit „naprawimy fine-tuningiem” nie zadziałał w pełni.

Co robić tu i teraz?

Po pierwsze, jasne polityki selekcji i democji danych o wysokiej „wiralności”. Po drugie, monitoring thought-skippingu w audycie rozumowania, bo to wczesny sygnał rozpadu łańcucha wnioskowania. Po trzecie, „kwarantanna danych” z social mediów i priorytet dla źródeł długich, edukacyjnych i zweryfikowanych. Po czwarte, stałe testy powrotne po każdej turze ciągłego dotrenowania, z gotowością do odrzucenia update’u.

Źródła: preprint arXiv z 15 października 2025 r. oraz omówienie Nature z 31 października 2025 r.; dodatkowo strona projektu z tabelami i wykresami.