„Ostatni egzamin ludzkości” sprawdza granice AI. Nawet topowe modele mają problem

Humanity’s Last Exam, w polskich mediach funkcjonujący jako „ostatni egzamin ludzkości”, to jeden z najambitniejszych projektów ostatnich lat, jeśli chodzi o mierzenie postępów sztucznej inteligencji. Test powstał z przekonania, że dotychczasowe benchmarki przestały oddawać realny poziom systemów, ponieważ wiele modeli osiągało w nich wyniki bliskie maksymalnym. Twórcy nowego zestawu chcieli sprawdzić, jak algorytmy radzą sobie z pytaniami, które dla ludzi wymagają wiedzy eksperckiej oraz precyzyjnego, wieloetapowego rozumowania.

Za projektem stoją Center for AI Safety oraz Scale AI. Oficjalne materiały wskazują, że finalna wersja benchmarku obejmuje 2500 pytań z bardzo szerokiego wachlarza dziedzin, od matematyki i fizyki, przez biologię i medycynę, po informatykę i nauki humanistyczne. Część zadań pochodzi z otwartych konkursów kierowanych do badaczy, którzy byli zachęcani do tworzenia problemów możliwie odpornych na proste schematy rozwiązywania.

Autorzy projektu podkreślają, że wstępne testy przyniosły zaskakująco niskie wyniki nawet dla najbardziej zaawansowanych modeli dostępnych komercyjnie. W publikacjach towarzyszących benchmarkowi zwraca się uwagę na dwa kluczowe zjawiska. Po pierwsze, trafność odpowiedzi wciąż pozostaje ograniczona. Po drugie, systemy często wykazują słabą kalibrację, czyli dużą pewność siebie przy błędnych odpowiedziach. W praktyce oznacza to, że model potrafi brzmieć przekonująco nawet wtedy, gdy się myli.

Do śledzenia rezultatów służy publiczny leaderboard, na którym porównywane są wyniki różnych systemów na tej samej wersji testu. Strona projektu linkuje również do datasetów oraz repozytoriów badawczych, dzięki czemu środowisko naukowe może analizować konstrukcję pytań i sposób oceniania odpowiedzi. Wcześniejsze wersje benchmarku liczyły więcej zadań, lecz przed publikacją zostały doprecyzowane i zredukowane, aby zapewnić spójność ocen.

Twórcy Humanity’s Last Exam podkreślają, że benchmark nie ma być ostatecznym wyrokiem na temat przyszłości AI. Jego celem jest raczej dostarczenie bardziej wymagającej miary postępu oraz wskazanie obszarów, w których systemy nadal potrzebują wsparcia człowieka. Dla firm i instytucji wykorzystujących modele generatywne w praktyce wniosek pozostaje dość prosty. W zastosowaniach wrażliwych, takich jak medycyna, prawo czy bezpieczeństwo, konieczne są procedury kontroli i mechanizmy weryfikacji, bo nawet najbardziej zaawansowane algorytmy wciąż potrafią się mylić w sposób trudny do przewidzenia.