Повеќе од една година главните вести од технологијата се поврзани со генеративната вештачка интелигенција (generative AI). Големите јазични модели револуционеризираат и од корен менуваат различни сектори.
Речиси сите модели доаѓаат со некаква можност за помош при кодирање која треба да им помогне на програмерите. Една од жртвите на новите функционалности на вештачката интелигенција е популарниот форум Stack Overflow. Форумот во октомври 2023 година, отпушти 28 отсто од своите вработени. Stack Overflow како главна причина ја наведе потрагата по поголема профитабилност. Платформата се обиде да побара надомест од компаниите кои ги користат податоците за тренинг на своите модели, па дури објавија дека работат на своја вештачка интелигенција Overflow AI.
Половина од прашањата добиваат погрешни одговори
Во теорија додавањето на вештачка интелигенција за пронаоѓање на програмерски одговори звучи супер. За жал во пракса не е така. На годинешната конференција Computer-Human Interaction, истражувачите од Универзитетот Пердју споделија податоци од своето истражување според кое над половина од резултатите кои ги генерира ChatGPT се погрешни.
Истражувачите на ChatGPT му поставиле 517 прашања од Stack Overflow, и од вештачката интелигенција добиле 52 отсто погрешни одговори. Дополнително, дури 77 отсто од одговорите биле непотребно долги. Најголем дел од корисниците препознаваат грешки и поквалитетни одговори, но значителен дел не можат да ги препознаат грешките во кодот. Еден од главните проблеми со генерирање на одговори за програмерски прашањa со ChatGPT е заеднички со било кои одговори: „Понекогаш платформата презентира глупости кои звучат прилично веројатно“.
Нашата анализа покажa дека 52% од одговорите на ChatGPT содржат неточни информации, а 77% се предолги. Сепак, 35 отсто од учесниците во студијата на корисници, поради нивната сеопфатност и добро артикулиран јазичен стил ги претпочитаат одговорите на ChatGPT. Истовремено, не забележуваат дека одговорите на ChatGPT имаат погрешни информации во 39% од случаите.
Во својата анализа истражувачите откриле дека голема улога во квалитетот и точноста на одговорите на ChatGPT играат популарноста на прашањата и датирањето. За постарите и популарни програмерски прашања ChatGPT генерира поточни одговори.
Што се однесува до генерираните примери, во огромен дел, дури 98 отсто имаат точна синтакса, но во 48 отсто од случаите содржат грешна логика или погрешно користење на API.
Грешките се поопасни за понеискусните
Веројатно очекувано, ризикот од користење на ChatGPT е значително поголем кога го користат помалку искусни програмери. Дополнително користењето на алатки кои можат наеднаш да додаваат цели делови на код е и поризично.
За компаниите кои развиваат код со помош на вештачка интелигенција ова значи дека ќе биде потребна сериозна проверка на кодот и негово тестирање. Toa е една од потенцијалните употреби на ChatGPT – користење во процесот на тестирање. Во оваа фаза додавањето на вештачката интелигенција за тестирање ќе може значително да го забрза целиот процес, сметаат истражувачите од Пердју.
Ако има некоја причина за оптимизам, таа е дека учесниците во истражувањето сепак претпочитаат код напишан од луѓе.
Учесниците претпочитаат одговори од луѓе од Stack Overflow во споредба со ChatGPT (во 65, 18% од случаите). Учесниците во истражувањето велат дека одговорите од луѓе се поточни, попрецизни и покорисни.
Стани премиум член и доби пристап до сите содржини, специјален попуст на над 2.200 производи во ИТ маркет, верификуван профил и можност за огласување на ИТ Огласник. Плус ќе го поддржиш медиумот кој го градиме цели 16 години!
Доколку веќе имаш премиум членство, најави се тука.
