Ile kosztowała ta jedna odpowiedź modelu? Wonderful chce to policzyć
Firmowy rachunek za AI rośnie z każdym zapytaniem, a nie zawsze wiadomo, który dział go nabija i w jakim celu. Wonderful wprowadza narzędzie, które ma to pokazać nawet na poziomie pojedynczego zadania.
Wonderful udostępnił przedsiębiorstwom AI Gateway, system do monitorowania wykorzystania modeli AI w organizacji, zarządzania dostępem do nich i kontrolowania budżetów. Narzędzie jest częścią platformy Wonderful AI OS. Może obejmować narzędzia samego Wonderful, rozwiązania zewnętrznych dostawców oraz inne aplikacje AI podłączane przez moduły SDK.
Koszt na dział, użytkownika i sesję
AI Gateway pozwala rozbijać wydatki na AI według działu, zespołu, użytkownika, źródła, zadania i wykorzystanego modelu. System pokazuje bieżące wydatki, prognozuje ich poziom w odniesieniu do budżetu i sygnalizuje anomalie. Koszty można sprawdzać także na poziomie pojedynczej sesji, czyli na przykład policzyć, ile kosztowała obsługa jednej sprawy klienta albo analiza konkretnego dokumentu.
„Nie chodzi przy tym o to, żeby za wszelką cenę wydawać na AI mniej, bardziej o możliwość świadomego zwiększania inwestycji tam, gdzie technologia rzeczywiście przynosi efekty i ograniczania wydatków tam, gdzie ich nie uzasadnia” — powiedział Paweł Osterreicher, szef polskiego oddziału Wonderful.
Limity, blokady i tańszy model
Gateway działa między firmowymi aplikacjami AI a dostawcami modeli, więc ruch z różnych zespołów przechodzi przez jedno miejsce. Firma może w nim określić, które modele są dostępne dla danego zespołu lub użytkownika, ustalić limity wydatków i zdecydować, co się dzieje po ich przekroczeniu. System może też blokować zastosowania niezgodne z polityką organizacji i usuwać dane wrażliwe, zanim zapytanie trafi do zewnętrznego dostawcy.
Mechanizm dynamicznego przekierowania analizuje rodzaj i złożoność zapytania, a następnie kieruje je do najtańszego modelu, który poradzi sobie z zadaniem przy wymaganej jakości. Wybiera przy tym wyłącznie spośród modeli wcześniej zatwierdzonych dla danego użytkownika, zespołu lub zadania, a każdą decyzję zapisuje. Gdy jeden dostawca jest niedostępny, ruch może automatycznie przejść do modelu zapasowego.
Wonderful powstał w 2025 r. Według komunikatu działa na ponad 35 rynkach, a wśród jego inwestorów są m.in. Index Ventures, Insight Partners, Salesforce i Bessemer Venture Partners.
Źródła
- Komunikat prasowy Wonderful, Warszawa
