Język polski przebija angielski w długich promptach

W wielojęzycznym teście OneRuler sprawdzającym modele przy bardzo długich promptach polski osiągnął najlepszy wynik, a angielski dopiero szósty. To wskazówka dla firm i użytkowników: długie instrukcje po polsku działają bardzo dobrze.

Na arXiv ukazało się badanie „One ruler to measure them all: Benchmarking multilingual long-context language models”. Autorzy przedstawiają OneRuler, wielojęzyczny benchmark do oceny modeli językowych w bardzo długich kontekstach. W zestawieniu 26 języków polski zajął pierwsze miejsce, a angielski znalazł się na pozycji szóstej. Testy obejmują konteksty od 8 do 128 tysięcy tokenów i pokazują, że wraz z wydłużaniem kontekstu rośnie przewaga części języków nad innymi. To wnioski z porównań modeli otwartych i komercyjnych.

OneRuler rozwija wcześniejszy anglojęzyczny benchmark RULER i dodaje siedem zadań syntetycznych, które sprawdzają zarówno wyszukiwanie informacji, jak i agregację. Ważnym elementem są warianty „igły w stogu siana” z możliwością braku igły, czyli sytuacji, gdy poprawną odpowiedzią bywa „brak”. Autorzy podkreślają, że to szczególnie trudne dla wielu modeli przy bardzo długim kontekście.

Z badania wynika też, że niektóre modele zbyt często wybierają odpowiedź „brak”, nawet w językach wysokozasobowych. W artykule zwrócono uwagę na taki błąd zwłaszcza w modelu o3-mini-high. To praktyczna wskazówka dla zespołów wdrażających rozwiązania oparte na długim kontekście: warto dodać walidację odpowiedzi i jasno określać w poleceniach, kiedy brak odpowiedzi jest dopuszczalny.

Autorzy raportują również, że w scenariuszach mieszanych, gdy instrukcja jest w innym języku niż treść, wyniki potrafią zmieniać się istotnie w zależności od języka polecenia. W skrajnych przypadkach różnica sięga około 20 punktów procentowych. To sygnał, by w długich zadaniach trzymać się jednego języka i nie mieszać go bez potrzeby.

Co z tego wynika dla użytkowników i firm w Polsce? Po pierwsze, długie briefy, procedury i dokumenty można bez obaw pisać po polsku, zwłaszcza gdy chodzi o przeszukiwanie, streszczanie i odpowiadanie na pytania wymagające utrzymania bardzo dużego kontekstu. Po drugie, przy automatyzacji warto planować mechanizmy kontroli jakości i fallbacki na wypadek błędnej odpowiedzi „brak”. Po trzecie, jeśli łączycie treści i polecenia w różnych językach, trzeba liczyć się z wrażliwością wyników na język instrukcji.