Im dłuższa rozmowa z AI, tym gorsze odpowiedzi. Wyniki badań
Im dłużej ciągnie się rozmowa z chatbotem, tym częściej model „gubi wątek” i nie potrafi wrócić na dobrą ścieżkę. W symulacjach obejmujących ponad 200 tys. konwersacji skuteczność spadała już po drugim pytaniu.
Rozmowa z chatbotem potrafi wyglądać świetnie na starcie. Zadajemy jedno, dobrze postawione pytanie i dostajemy sensowną odpowiedź. Problem zaczyna się wtedy, gdy próbujemy dojść do celu krok po kroku, doprecyzowywać temat, poprawiać założenia i ciągnąć wątek przez kolejne tury.
Właśnie ten scenariusz wzięli na warsztat autorzy pracy „LLMs Get Lost In Multi-Turn Conversation”. Zamiast oceniać modele w klasycznym trybie „jedno polecenie, jedna odpowiedź”, zasymulowali rozmowy wieloturowe, w których użytkownik ujawnia wymagania stopniowo, tak jak zwykle dzieje się to w realnej konwersacji. Do analizy wykorzystali ponad 200 tys. takich symulowanych dialogów.
Wynik jest konsekwentny dla wielu modeli. W trybie wieloturowym jakość odpowiedzi spada wyraźnie względem sytuacji, w której model dostaje pełną specyfikację od razu. Autorzy opisują średni spadek wydajności o 39 proc. w sześciu zadaniach generatywnych. W jednym z obrazowych porównań wskazują, że tam, gdzie w podejściu jednoturowym da się dobić do okolic 90 proc. skuteczności, w rozmowie rozciągniętej na tury wynik potrafi spaść do około 65 proc. Co ważne, pogorszenie widać nawet w bardzo krótkich, dwuturowych interakcjach.
Dlaczego tak się dzieje? Badacze rozkładają problem na dwa elementy. Pierwszy to niewielka utrata „sprawności” modelu. Drugi, ważniejszy, to skokowy wzrost zawodności. Modele często zbyt wcześnie przyjmują założenia, próbują dopiąć rozwiązanie zanim dostaną wszystkie szczegóły, a potem trzymają się pierwszego tropu nawet wtedy, gdy kolejne informacje powinny skłonić je do korekty. W skrócie, kiedy model „źle skręci” w rozmowie, bywa, że już się nie odnajduje.
W praktyce oznacza to, że długie konwersacje mogą być bardziej ryzykowne niż pojedyncze, precyzyjne polecenia. Jeśli naprawdę zależy nam na wyniku, lepiej szybko doprecyzowywać wymagania, pilnować założeń i w razie potrzeby resetować kontekst, zamiast brnąć w coraz dłuższe dopowiedzenia, które model może zacząć traktować jak wariację na temat własnej, wcześniejszej odpowiedzi. Sama praca pokazuje też dodatkowy koszt uboczny. Gdy rozmowa się komplikuje, rośnie czas odpowiedzi, w eksperymentach nawet od kilkudziesięciu do kilkuset procent.
