Бојан Јакимовски: LLM-ите отворија повеќе проблеми отколку што решија

Како се стигнува од придонес за проект со отворен код до разговор со инженерите на OpenAI во Сан Франциско? Бојан Јакимовски ја раскажува токму таа приказна во новата епизода на „Во Изработка“, но посетата на OpenAI е само почетокот на тричасовен разговор за тоа како AI навистина се развива и користи.

Јакимовски, Lead ML/AI Engineer во Loka, објаснува дека добар јазичен модел сам по себе не е готов производ. За да изврши корисна задача, потребен му е систем што ќе му обезбеди соодветни алатки, податоци и правила за работа. Тука почнуваат и проблемите со кои инженерите се среќаваат секој ден: како агентот да ја избере вистинската алатка, колку контекст да му се даде и како да не потроши огромен број токени за едноставна задача.

Разговорот навлегува и во практичните одлуки при развој на AI софтвер. Кога има смисла да се користи најмоќниот модел, а кога помал или локален модел е подобар избор? Што значи трошокот по задача кога AI треба да работи за вистински корисници? Јакимовски дава примери од градење агенти и објаснува зошто начинот на кој е поставен целиот систем може да биде поважен од изборот на модел.

AI инфраструктура за Македонија: за што би ја користеле?

При крајот, разговорот се свртува кон Македонија и идејата за домашна AI инфраструктура. Јакимовски смета дека локални пресметувачки ресурси би им помогнале на универзитетите да истражуваат и да тренираат модели, а би можеле да послужат и за системи што користат податоци од државните институции. Притоа прави разлика меѓу инфраструктура за такви конкретни потреби и изградба на огромни дата центри за комерцијална употреба.

А зошто тврди дека LLM-ите создале повеќе проблеми отколку што решиле? Неговиот одговор е пооптимистичен отколку што звучи насловот: тие отворија нови инженерски предизвици во инфраструктурата, комуникацијата меѓу системите и развојот на софтвер. Решавањето на тие предизвици, според него, е дел од вистинскиот напредок.

Целата епизода „LLM-ите произведоа многу повеќе проблеми отколку што решија“ со Бојан Јакимовски трае 3 часа и 3 минути и е објавена на 17 септември.