Jev е ВИ модел кој не зборува, а програмерите веќе го тестираат на големо 

Во светот на генеративната вештачка интелигенција речиси секој нов модел се натпреварува во тоа кој ќе напише подобар текст, ќе генерира покомплексен код или ќе води поприроден разговор. Jev оди во спротивна насока – моделот на стартапот TypeSafe AI не е направен за да разговара со луѓе, туку за да носи брзи и структурирани одлуки за други софтверски системи.

Зад него стои Диого Алмеида, поранешен истражувач во OpenAI кој работел на технологијата Reinforcement Learning from Human Feedback, или RLHF, која е клучна за начинот на кој современите модели учат да следат човечки инструкции. Almeida подоцна ја основаше TypeSafe AI, а компанијата по околу две години во stealth режим го претстави Jev на 15 септември.

Jev не генерира текст, тој избира

Најважната разлика е едноставна: Jev не е LLM во класична смисла. Наместо да генерира реченица, код или JSON преку последователно предвидување на токени, моделот добива однапред дефиниран проблем и можни одговори, а потоа враќа веројатности и структурирана одлука. TypeSafe ова го нарекува „System One“, нова категорија модели која е наменета за машински, а не човечки разговор.

Тоа значи дека Jev може, на пример, да процени дали одредено барање е безбедно, дали агентот треба да повика одредена алатка, дали некоја задача треба да се повтори или кој од повеќе можни чекори треба да биде следен.Токму ваквите мали одлуки се присутни насекаде во современиот софтвер.

Причината поради која Jev привлече внимание кај програмерите не е само неговата архитектура, туку и цената. Според TypeSafe, Jev може да носи одлуки за десетици до стотици милисекунди, додека влезот чини околу $0,042 за милион токени, а излезот во моментов е бесплатен.

Компанијата тврди дека моделот е 20 до 200 пати побрз и 40 до 1.000 пати поевтин од споредливите LLM пристапи во одредени задачи. Овие бројки се, важно е да се напомене, тврдења на самата компанија, а независните тестирања сè уште се ограничени.

Но, веќе има интересни сигнали од реални програмерски тимови. Vercel објави дека Jev станал најбрзо усвоениот модел во историјата на неговиот AI Gateway. Во првите 24 часа речиси 13 проценти од платените тимови на платформата го користеле моделот.

Уште поинтересен е конкретниот пример со класификација на безбедносни барања. Според TechCrunch, инженерите на Vercel добиле резултати пет до 18 пати побрзо откако за една ваква задача го замениле OpenAI моделот со Jev.

Наместо да го замени големиот модел, Jev може да работи покрај него

Ова е можеби најважната идеја зад моделот. Jev не мора да биде конкурент на ChatGPT, Claude или други големи јазични модели. Напротив, може да биде дополнителен слој кој одлучува кога и како тие модели треба да се користат.

Замислете AI агент кој добива илјадници барања. Наместо секое барање да го испраќа до скап и релативно бавен LLM, Jev може прво да процени дали задачата е едноставна, кој модел треба да ја обработи или дали воопшто треба да се повика поголемиот модел.

Тоа отвора простор за таканаречено model routing, односно динамично избирање на модел според конкретната задача. Бидејќи Jev е евтин и брз, ваквата проверка може да се извршува практично во реално време.

И тука се гледа зошто концептот е интересен за програмерите. Ако големите LLM се „мозокот“ кој произведува сложени одговори, Jev се обидува да стане брзиот контролен слој кој кажува што треба да се случи следно.

Сепак, постои важна граница. Jev не може магично да знае дали одлуката е точна. Тој избира од опциите и рамката што му ги дале програмерите. Дури и ако нема класична халуцинација во форма на измислен текст, моделот сепак може погрешно да избере една од понудените опции. Раните независни анализи токму затоа предупредуваат дека тврдењето дека Jev „не халуцинира“ треба да се разбере во многу потесна смисла. 

Ако генеративната ВИ досега главно се обидуваше да направи компјутерите подобри во комуникација со луѓето, Jev се обидува да ја направи ВИ подобра во комуникација со други машини. А за огромен дел од софтверот, токму тоа може да биде многу покорисно од уште еден чет-бот.