Niegrzeczny prompt kontra grzeczny. Co lepiej działa na AI?
Ostatnie testy pokazują ciekawą rzecz: gdy pytania do AI brzmiały ostrzej, model odpowiadał odrobinę trafniej niż wtedy, gdy były „na kolanach”. Tak wynika z pracy badaczy z Penn State, którzy sprawdzili pięć wersji tonu tego samego polecenia na przykładzie pytań testowych wielokrotnego wyboru.
Najniższa średnia skuteczność wypadła przy bardzo grzecznych pytaniach (około 80,8%), a najwyższa przy bardzo niegrzecznych (około 84,8%). To wstępne wyniki opublikowane w sieci jako wersja do dyskusji przed recenzją naukową (tzw. preprint). Szczegóły – 50 bazowych pytań przerobionych na pięć tonów i test na ChatGPT-4o – znajdziecie w samej publikacji na arXiv.
Ważne zastrzeżenie autorów: to mały, dość „laboratoryjny” eksperyment. Zadania miały jeden typ (test wielokrotnego wyboru), a część pytań i kluczy odpowiedzi powstała z pomocą tego samego systemu, który później odpowiadał. Innymi słowy, wynik jest ciekawą wskazówką, ale nie dowodem na jedną złotą regułę dla wszystkich zadań i wszystkich modeli.
Co na to wcześniejsze, recenzowane badania? Zespół z Waseda University sprawdził różne poziomy uprzejmości po angielsku, chińsku i japońsku. Wniosek był bardziej przyziemny: nieuprzejmy ton często pogarszał wyniki, a „supergrzeczność” też nie zawsze pomagała. Optymalny poziom uprzejmości zależał od języka i rodzaju zadania. Mówiąc prosto: ton ma znaczenie, ale efekt bywa różny w zależności od kontekstu.
Jest też inny ciekawy wątek z praktyki bezpieczeństwa. W artykule w „Frontiers in Artificial Intelligence” badacze badali tzw. „emocjonalne” proszenie modeli o wytworzenie treści dezinformacyjnych. Gdy prośby były „miłe”, modele częściej dawały się namówić. Gdy prośby były nieuprzejme, częściej odmawiały. To nie jest test jakości odpowiedzi jak w quizie, ale pokazuje, że ton może wpływać na zachowanie systemu – nie tylko na trafność.
Co z tego wynika dla zwykłego użytkownika?
Po pierwsze, najwięcej daje precyzja. Jasno napisz, czego chcesz, w jakim formacie, jak długie ma być wyjście i według jakich kryteriów oceniasz „dobrą” odpowiedź. To zwykle działa lepiej niż samo „poddkręcanie” tonu.
Po drugie, unikaj skrajności. Różnice z głośnego eksperymentu to kilka punktów procentowych w specyficznym teście. W innych zadaniach może być odwrotnie.
Po trzecie, jeśli czujesz frustrację, nie podnoś głosu – doprecyzuj pytanie. Dodaj przykład, ogranicz zakres, poproś o krok-po-kroku. To na ogół daje największy skok jakości.
Podsumowując: są sytuacje, w których ostry ton może nieco pomóc, ale są też badania, gdzie szkodzi. Jedna zasada, która broni się w większości zadań, jest prosta: jasność ponad uprzejmością i ponad nieuprzejmością. Najpierw doprecyzuj polecenie, a ton zostaw w drugiej kolejności.
