Постојаната потрага по побрзи компјутерски чипови не е само потрага по технолошки напредок – таа е и клучен обид да се намали времето што го трошиме чекајќи резултати. Со зголемување на брзината со која чиповите обработуваат информации, можеме значително да ги намалиме: доцнењата во анализата на податоците, донесувањето одлуки, па дури и времето на вчитување на секојдневните апликации, трансформирајќи ја нашата интеракција со технологијата и правејќи ги нашите дигитални искуства поедноставни и поефикасни.
Во светот на големите јазични модели (LLM) како GPT-3.5 и GPT-4, процесорската моќ игра клучна улога во брзината и квалитетот на одговорите, и има значајно влијание на корисничкото искуство. Иако GPT-3.5 може да се пофали со брзина, GPT-4 доминира со квалитетот на одговорите, илустрирајќи класичен компромис меѓу брзината и длабочината на анализа. Понапредни чипови би можеле значително да ги забрзаат и прошират можностите на големите јазични модели.
Groq LPU чиповите рушат рекорди
Groq е производител на чипови наменети за процесори за вештачка интелигенција со фокус на LLM, или накратко LPU (language processing unit). Компанијата е основана од Џонатан Рос. Овој чип може да се користи како „мотор“ за вештачката интелигенција како LLaMA на Meta, ChatGPT на OpenAI или Gemini на Google. Резултатите од неколку демо претставување покажуваат дека брзината на Groq е помеѓу 10 и 100 пати поголема од конкуренцијата.
Максималната брзина на LPU на Groq е 500 токени во секунда што ќе овозможи пишување на роман во 100 секунди. Сепак, за да бидете навистина импресионирани од брзината, погледнете ја презентацијата која Рос ја имаше на CNN. Практично за неколку секунди платформата ги анализираше одговорите и презентираше гласовен одговор.
„Ако ја подобрите брзината за на веб-страница за 100 ms на десктоп, ќе добиете 8 отсто раст на ангажираноста (engagement) кај корисниците. На мобилни уреди ова е 34 отсто. Луѓето немаат трпение на мобилни уреди “, вели Рос во интервју за CNN.
Во моментов најчесто и најмногу се користат графичките процесори на Nvidia. За добар дел од пресметките за машинско учење и вештачка интелигенција, графичките процесори на Nvidia се одлични. Сепак, за специфични задачи како LLM, новите LPU процесори на Groq се значително побрзи.
За споредба, во просек перформансите на Groq се 247 токени во секунда. Перформансите на Microsoft хардверот зад ChatGPT се 18 токени во секунда. Ова отприлика би значело дека ChatGPT ќе работи 13 пати побрзо со LPU.
„Најголем дел од чиповите немаат доволно меморија на располагање. Замислите дека произведувате автомобили во голема фабрика и ви треба многу простор за производни ленти. Ако немате доволно голем објект за ова, ќе треба постојано да уништувате и да креирате производни ленти за да ги задоволите сите потреби. Ова е бавно и потребно е многу време. Токму тоа се случува и со графичките процесори. Треба да читаат од меморијата илјадници пати за секој збор“, додaва Рос.
Побрзи чипови за подобро искуство
Една од првите работи која веднаш ни паѓа на памет е дека побрзите процесори значат и помалку чекање за резултатите. Добивање на одговори многу побрзо е огромна придобивка, но поголемата брзина ќе донесе и низа други придобивки.
Покомплексни модели: Побрзите процесори ќе овозможат развој и испорака на уште посложени јазични модели. Во моментов, големината и сложеноста на моделите се делумно ограничени и од способностите за обработка.
Иновации во апликациите во реално време: Со значителен скок во брзината на обработка, апликациите во реално време на јазичните модели ќе станат реалност. Во моментов овие апликации поради проблеми со доценењето се релативно лоши. Преводите во живо, создавањето на содржина во реално време или интерактивните образовни алатки, би можеле да бидат функционални во иднина.
Доколку поголемата брзина значи и зголемена ефикасност и намалени трошоци, побрзите процесори ќе овозможат поголема достапност на вештачката интелигенција. Оваа демократизација ќе поттикне нови иновации во различни сектори, вклучувајќи ги здравството, образованието и забавата.
Подобрено учење и адаптација: Побрзите процесори би можеле да им овозможат на големите јазични модели побрзо да учат од новите податоци. Ова ќе им овозможи побрзо да се прилагодат на промените во употребата на јазикот, новите темите и повратните информации од корисниците.
Стани премиум член и доби пристап до сите содржини, специјален попуст на над 2.200 производи во ИТ маркет, верификуван профил и можност за огласување на ИТ Огласник. Плус ќе го поддржиш медиумот кој го градиме цели 16 години!
Доколку веќе имаш премиум членство, најави се тука.
