Google sprawdził prawdomówność chatbotów. Wyniki niepokoją
Nowy benchmark FACTS od Google i Kaggle pokazuje, że nawet czołowe modele AI mylą się często. Lider ma 68,8 proc. trafności, a na zadaniach z obrazami wyniki spadają poniżej 50 proc.
Chatboty potrafią brzmieć jak eksperci, ale najnowsze dane sugerują, że ich „pewność siebie” bywa złudna. Jak zauważa Telepolis.pl, w najlepszym wariancie mówimy o poziomie prawdy rzędu niespełna 70 proc., co w praktyce oznacza zauważalną liczbę błędów w zwykłych odpowiedziach.
Punktem odniesienia jest FACTS Benchmark Suite, czyli nowy zestaw testów przygotowany przez zespół Google DeepMind we współpracy z Kaggle. Według opisu autorów to łącznie 3513 przykładów i cztery obszary sprawdzające „faktyczność” w realnych scenariuszach: wiedzę „z pamięci” (parametric), pracę z wyszukiwaniem (search), zadania na obrazach (multimodal) oraz trzymanie się dostarczonych dokumentów (grounding v2).
Najmocniej wybrzmiewa jedno: nikt tu nie dowozi ideału. W tabeli wyników z raportu FACTS najwyższy rezultat ma Gemini 3 Pro z wynikiem 68,8 proc. (FACTS Score). GPT-5 osiąga 61,8 proc., a kolejne modele schodzą jeszcze niżej. Co ważne, najsłabszą częścią testu okazują się zadania multimodalne, gdzie czołówka kręci się w okolicach połowy poprawnych odpowiedzi, a czasem wyraźnie poniżej.
To ma znaczenie nie tylko dla osób, które „czatują” z AI dla zabawy. Jak podaje Google DeepMind, modele są coraz częściej wykorzystywane w edukacji i pracy, więc błędy nie kończą się na drobnej wpadce w trivia, tylko mogą przenosić się na notatki, streszczenia, analizy czy materiały publikowane dalej. Wniosek na dziś jest prosty: odpowiedzi chatbota warto traktować jak szybki szkic i punkt startu, a nie jak gotową prawdę, zwłaszcza gdy w grę wchodzą pieniądze, zdrowie lub decyzje zawodowe.
