Bielik ma odpowiadać kilka razy szybciej. Pomóc w tym mają modele draftowe DFlash

Fundacja SpeakLeash, która rozwija polską rodzinę modeli językowych Bielik, pokazała 25 czerwca dwa nowe modele: Bielik-11B-v3.0-DFlash oraz Bielik-Minitron-7B-v3.0-DFlash. Powstały razem z Akademickim Centrum Komputerowym Cyfronet AGH. Ich zadanie jest jedno — skrócić czas, w jakim Bielik generuje odpowiedź. Według twórców nawet kilkukrotnie.

To nie są modele do samodzielnego użytku. Działają jako tak zwane modele draftowe, czyli pomocnicy dużego modelu. I tu warto się zatrzymać, bo mechanizm jest ciekawszy, niż sugeruje sama nazwa.

Standardowy model językowy pisze odpowiedź token po tokenie, jeden po drugim, czekając za każdym razem aż policzy poprzedni. Wolno i kosztownie. Technika, na której opiera się DFlash — dekodowanie spekulatywne (ang. speculative decoding) — rozbija to na dwa modele pracujące razem. Mały, szybki model draftowy biegnie z przodu i proponuje od razu całe fragmenty tekstu. Duży model nie pisze ich od nowa, tylko sprawdza w jednym przebiegu, co zaakceptować, a co odrzucić i poprawić. Jeśli zgadują podobnie, dużych, kosztownych przebiegów potrzeba znacznie mniej. Stąd przyspieszenie.

Jest w tym jeden szczegół, który łatwo pominąć, a który ma znaczenie. PR mówi, że dzieje się to „bez utraty jakości" — i to akurat nie jest marketingowy frazes. W dekodowaniu spekulatywnym końcowy wynik jest matematycznie taki sam jak ten, który wyprodukowałby sam duży model. Mały model nie zmienia odpowiedzi, on tylko skraca drogę do niej. Przyspieszasz, nie tracąc na trafności. To rzadki przypadek optymalizacji, w której nie ma klasycznego kompromisu coś za coś.

Modele draftowe Bielika trenowano autorskim podejściem w frameworku ALLaMo, którego twórcą jest Krzysztof Ociepa, Head of Model Training w Bielik.AI. Współpracują z większymi modelami w środowiskach obsługujących DFlash — takich jak najnowsze wersje vLLM i SGLang. Oba można już pobrać z Hugging Face, co jest istotne: to nie zapowiedź, tylko realnie udostępnione narzędzia, które każdy może sprawdzić u siebie.

Komu to się przyda? Najbardziej firmom, które budują na Bieliku produkty obsługujące wielu użytkowników naraz. Jak mówi Ociepa, uruchomienie Bielika razem z nowymi modelami draftowymi pozwala kilkukrotnie skrócić czas generowania odpowiedzi i obniżyć koszty infrastruktury — a to przy tysiącach jednoczesnych zapytań przekłada się na konkretne pieniądze. Krótsza odpowiedź to też mniej przetworzonych tokenów.

Trzeba dodać zwykłe zastrzeżenie. Liczby — owo „nawet kilka razy szybciej" — pochodzą od samych twórców i na razie nie zostały niezależnie zweryfikowane. Skala przyspieszenia w dekodowaniu spekulatywnym zależy zresztą mocno od tego, jak przewidywalny jest tekst: przy powtarzalnych, uporządkowanych odpowiedziach zysk bywa duży, przy bardziej otwartych i nieoczywistych — mniejszy. Publiczna dostępność modeli akurat ułatwia sprawdzenie tych deklaracji.

Bielik określa publikację jako kolejny etap rozwoju polskiego ekosystemu LLM i dowód, że prace nad wydajnością modeli toczą się także poza wielkimi, globalnymi laboratoriami. Brzmi to jak zdanie z materiału prasowego, którym jest, ale akurat trudno się z nim spierać — DFlash to świeża metoda z obszaru, w którym zwykle nadają ton ośrodki w USA i Chinach.

Źródło: informacja prasowa Fundacji SpeakLeash