OVHcloud i SambaNova: szybsze odpowiedzi od czatów i agentów AI
OVHcloud ogłosiło współpracę z firmą SambaNova. Chodzi o przyspieszenie działania usługi AI Endpoints, czyli chmurowego „silnika”, z którego korzystają czaty, asystenci i inne aplikacje oparte na sztucznej inteligencji.
Dziś wiele takich usług działa wolno, bo każde kolejne pytanie do dużego modelu językowego dokłada kolejne sekundy czekania. Przy dużej liczbie użytkowników pojawiają się zatory, a aplikacje zaczynają się „dławić”. Dla zwykłego odbiorcy oznacza to ślamazarne czaty, a dla firm – realne straty, gdy system nie zdąży zareagować na czas.
SambaNova dostarczy OVHcloud wyspecjalizowane serwery zaprojektowane pod zadania AI. Mają one lepiej radzić sobie z dużą liczbą zapytań naraz i szybciej generować pierwszą odpowiedź. OVHcloud zapowiada dwa główne tryby pracy:
– tryb „na żywo” dla interaktywnych usług, takich jak asystenci, tłumaczenia czy wyszukiwarki,
– tryb wsadowy do przetwarzania dużych porcji danych, gdy nie trzeba odpowiadać natychmiast.
Z nowych możliwości mają skorzystać branże, w których czas reakcji jest kluczowy: handel internetowy, finanse, cyberbezpieczeństwo, logistyka czy monitoring. Szybsze odpowiedzi mogą tu oznaczać więcej domkniętych transakcji, lepsze wykrywanie ataków czy sprawniejsze planowanie dostaw.
Pierwsze serwery SambaNova w OVHcloud mają ruszyć w 2025 roku w centrum danych we Francji, a potem pojawić się w kolejnych lokalizacjach. Dla użytkowników AI Endpoints to przede wszystkim szansa na to, że ich aplikacje oparte na sztucznej inteligencji będą działały szybciej i stabilniej, bez konieczności samodzielnego budowania i utrzymywania drogiej infrastruktury.
Źródło: OVHcloud
