Polski Bielik v3 wyprzedza Metę w EuroEval i melduje się w światowej czołówce
Bielik v3, polski open source model językowy, wypadł bardzo mocno w benchmarku EuroEval i wyprzedził m.in. Llamę 3.1 8B od Mety. Twórcy mówią o miejscach w ścisłej światowej czołówce.
Polski model językowy Bielik v3 wskoczył do globalnej czołówki w benchmarku EuroEval, który porównuje modele na wielu zadaniach i w wielu językach europejskich. Jak tłumaczy EuroEval, kluczową miarą na ich tablicach wyników jest „Rank”, czyli uśredniony wynik rang z wielu zadań, gdzie niżej znaczy lepiej.
O wynikach głośno zrobiło się po wpisie Sebastiana Kondrackiego, współtwórcy Bielika. Jak podaje na LinkedIn, w kategorii modeli bazowych Bielik v3 ma być czwarty na świecie w zadaniach wielojęzycznych. Kondracki zwraca też uwagę na kontekst. Jego zdaniem większość firm nie publikuje „surowych” modeli bazowych, a Bielik pozostaje projektem otwartym.
Jeszcze więcej konkretów dorzuca Krzysztof Wróbel z zespołu, który opisuje wyniki EuroEval dla wersji instrukcyjnej Bielik-11B-v3.0-Instruct. Jak czytamy w jego poście, model w takim porównaniu wyprzedza m.in. Llamę 3.1 8B od Mety, a także modele większe, jak NVIDIA Nemotron 30B czy OLMo 32B. Wróbel podkreśla też, że przy porównaniu „tylko modeli instrukcyjnych, bez modeli wnioskujących” Bielik v3 ma plasować się na 18. miejscu.
Sam Bielik v3 to model generatywny o 11 mld parametrów, trenowany na danych w 32 językach europejskich z naciskiem na polski. Jak opisano na karcie modelu, powstał we współpracy społeczności SpeakLeash oraz ACK Cyfronet AGH i był trenowany na polskiej infrastrukturze obliczeniowej. Dla zwykłych użytkowników ważne jest to, że dostępna jest wersja „Instruct”, czyli nastawiona na rozmowę i wykonywanie poleceń.
