Rankingi modeli AI mają ograniczoną wartość. Badanie pokazuje, dlaczego nie ma jednego najlepszego LLM
Żaden model językowy nie jest najlepszy we wszystkich zastosowaniach — to główny wniosek analizy przeprowadzonej przez Marka Jeleśniańskiego z firmy Oxido. Różnice między czołowymi modelami są często zaskakująco małe, a wyniki benchmarków rzadko przekładają się na codzienną pracę.
Analiza, której wyniki Jeleśniański opublikował w marcu 2026 roku, wyróżnia się na tle typowych porównań modeli AI. Zamiast standardowych benchmarków — krótkich, zamkniętych zadań z jednoznaczną odpowiedzią — badanie opierało się na scenariuszach bliższych realnemu użyciu: pisaniu wiadomości e-mail, przygotowywaniu koncepcji marketingowych, rozwiązywaniu problemów menedżerskich czy interpretowaniu przepisów prawa. Takie zadania wymagają nie tylko wiedzy, ale też umiejętności jej zastosowania w konkretnym kontekście.
Wyniki ujawniły pewną prawidłowość: modele radzące sobie dobrze w benchmarkach nie zawsze są najlepsze w codziennej pracy. „W praktyce oznacza to, że wszelkie publikowane rankingi mają ograniczoną wartość. Znacznie ważniejsze jest zrozumienie, w jakich konkretnych sytuacjach dany model sprawdza się najlepiej i gdzie jego przewagi zaczynają zanikać" — mówi Jeleśniański, CEO Oxido i autor badania.
Język polski jako test
Jednym z istotniejszych wniosków jest wpływ języka i kontekstu kulturowego na jakość odpowiedzi. W przypadku polskiego różnice między modelami okazały się wyraźne — zarówno pod względem poprawności językowej, jak i znajomości lokalnych realiów. Modele nie zawsze uwzględniają specyfikę rynku czy różnice regionalne, co może dawać odpowiedzi formalnie poprawne, ale mało użyteczne.
„Dla firm działających na rynkach lokalnych oznacza to konieczność szczególnie uważnego testowania narzędzi, które na pierwszy rzut oka mogą wydawać się uniwersalne" — zaznacza Jeleśniański.
Więcej niż jakość odpowiedzi
Wybór modelu to nie tylko kwestia techniczna. Równie ważne okazują się możliwości integracji z firmową infrastrukturą, bezpieczeństwo danych i koszty. Darmowe narzędzia często wiążą się z wykorzystaniem danych użytkowników do dalszego trenowania modeli. Płatne wersje nie zawsze gwarantują pełną kontrolę nad danymi. Część firm z tego powodu decyduje się na wdrożenia na własnej infrastrukturze.
Badanie pokazuje też rosnącą konkurencyjność otwartych i półotwartych modeli, które coraz częściej dorównują rozwiązaniom komercyjnym — co dla przedsiębiorstw oznacza realną alternatywę tam, gdzie liczy się kontrola nad środowiskiem pracy.
Dlaczego żadne badanie nie będzie ostateczne
Autor wskazuje też na strukturalne ograniczenia każdej tego typu analizy. Ten sam model przy tym samym zapytaniu może generować różne odpowiedzi — powtarzalność wyników jest niepełna. W zadaniach kreatywnych i komunikacyjnych nie istnieje jedno obiektywne kryterium oceny, a indywidualne preferencje oceniających trudno wyeliminować nawet przy metodach statystycznych. Do tego różne warianty i konfiguracje tego samego modelu mogą działać inaczej, co komplikuje porównania.
„Zamiast polegać wyłącznie na zewnętrznych rankingach, firmy powinny samodzielnie testować modele w kontekście własnych potrzeb. Kluczowe jest tu odejście od ogólnych porównań na rzecz scenariuszy odpowiadających rzeczywistym zastosowaniom" — podsumowuje Jeleśniański.
Wyniki badań wraz z rankingiem modeli dostępne są na stronie autora: jelesnianski.pl/badania-llm.
