Nowa wada dużych modeli językowych. MIT ostrzega przed „składniowymi” błędami

Badacze zauważyli, że podczas treningu modele uczą się powtarzalnych szablonów składniowych – czyli układów części mowy charakterystycznych dla konkretnych zadań. Gdy później dostają zdania o takiej samej konstrukcji, potrafią udzielać odpowiedzi, jakby rozpoznawały temat, nawet jeśli treść pytania jest w praktyce bez sensu.

Zespół MIT przygotował eksperymenty, w których dla danego zadania używano jednego szablonu składniowego w danych treningowych. Następnie tworzono nowe zdania z tym samym układem części mowy, ale z podmienionymi słowami – na synonimy, antonimy albo losowe wyrazy. Okazało się, że modele często udzielały odpowiedzi zgodnych z „domeną” pierwotnych zadań, mimo że nowe pytania nie niosły już logicznej treści.

Badacze testowali w ten sposób również gotowe modele, w tym GPT-4 oraz Llamę. Zjawisko opisano jako „fałszywe korelacje składniowo-domenowe” i uznano za istotne źródło błędów. Szczegóły przedstawiono w pracy „Learning the Wrong Lessons: Syntactic-Domain Spurious Correlations in Language Models”, która ma zostać zaprezentowana na konferencji NeurIPS.

Zespół MIT opracował też procedurę testową pozwalającą mierzyć podatność modeli na tego typu błędne skojarzenia. Autorzy zapowiadają dalsze badania nad modyfikacją danych treningowych i metodami oceny działania modeli językowych pod kątem nowych odkryć.

Źródło: Massachusetts Institute of Technology