Polski model AI na czele rankingu. Wyprzedził rozwiązania niemal dziesięć razy większe

W rankingu Polish Information Retrieval Benchmark, sprawdzającym skuteczność wyszukiwania informacji po polsku, pierwsze miejsce zajmuje obecnie PolDense 1B. Model ma miliard parametrów. Pokonał Llama-Embed-Nemotron-8B i BGE-Multilingual-Gemma2-9B, czyli rozwiązania ośmio- i dziewięciokrotnie większe. Wyniki: 64,11 punktu wobec odpowiednio 63,73 i 63,26.

Różnice są niewielkie. Ale sam fakt, że mniejszy model wygrywa z takimi kolosami, coś mówi o tym, jak działa specjalizacja.

Modele opracował AI Lab z Ośrodka Przetwarzania Informacji — państwowego instytutu badawczego. To rodzina sześciu modeli o rozmiarach od 17 milionów do miliarda parametrów, oparta na architekturze ModernBERT i technologii ettin-encoders. Analizują teksty do 8192 tokenów, czyli mniej więcej kilkanaście stron naraz.

Do czego to służy? Tu warto się zatrzymać, bo to niszowa, ale rosnąca dziedzina. Chodzi o tak zwane dense retrievery — modele, które zamieniają pytania i dokumenty w reprezentacje matematyczne i porównują je pod względem znaczenia, a nie dopasowania słów. Zapytasz o „auto", znajdzie „samochód". Klasyczna wyszukiwarka szukająca dokładnych słów tego nie zrobi.

Najczęstsze zastosowanie to architektura RAG (Retrieval Augmented Generation). To rozwiązanie, w którym chatbot nie odpowiada z pamięci wyuczonej podczas treningu, tylko najpierw wyszukuje aktualne dokumenty, a dopiero na ich podstawie formułuje odpowiedź. Cała jakość takiego systemu stoi na tym pierwszym kroku — jeśli wyszukiwarka poda modelowi nie te dokumenty, odpowiedź będzie zła niezależnie od tego, jak dobry jest sam model językowy.

I tu jest praktyczny sens wyniku PolDense. Jak mówi dr inż. Sławomir Dadas, zastępca kierownika AI Lab OPI, wyspecjalizowane modele tworzone pod język polski mogą konkurować z wielokrotnie większymi rozwiązaniami międzynarodowymi. Przewaga nie polega tylko na punktach w rankingu — mniejszy model to niższe koszty wdrożenia i mniejsze wymagania sprzętowe przy porównywalnej jakości.

Rodzina jest zresztą pomyślana pod różne skale. Warianty 400 i 150 mln parametrów mają dawać wyniki konkurencyjne wobec modeli kilkumiliardowych. Najmniejsze — 68, 32 i 17 mln — zaprojektowano pod procesory CPU, urządzenia mobilne i edge computing, czyli przetwarzanie lokalnie, na urządzeniu, bez wysyłania danych do chmury.

Wszystkie modele są dostępne za darmo na platformie Hugging Face, jako open source. To istotne, bo pozwala każdemu sprawdzić deklarowane wyniki samodzielnie — a PIRB jest publicznym rankingiem, więc pozycja PolDense jest weryfikowalna.

Jak zapowiada dr inż. Marek Kozłowski, kierownik AI Lab OPI, w kolejnych miesiącach zespół planuje udostępnić EuroDense — model wspierający wyszukiwanie w dziewięciu językach europejskich.

Modele powstały w projekcie LLMs4EU, realizowanym przez konsorcjum ALT-EDIC (Alliance for Language Technologies), współfinansowanym z unijnego programu Digital Europe Programme oraz przez Ministerstwo Cyfryzacji. Celem projektu jest dostarczenie europejskich narzędzi AI dla pięciu sektorów: nauki, usług publicznych, turystyki, telekomunikacji i energetyki.

Konflikt interesów jest tu nietypowo łagodny — OPI to instytut państwowy udostępniający modele bezpłatnie, nie firma sprzedająca licencje. Warto jedynie odnotować, że przewaga PolDense dotyczy konkretnego zadania (wyszukiwanie informacji po polsku) i konkretnego benchmarku. To nie są modele generujące tekst i nie konkurują z ChatGPT czy Bielikiem — pełnią inną rolę: wyszukiwania, na którym takie systemy się opierają.

Źródła: informacja prasowa Ośrodka Przetwarzania Informacji — PIB