OpenAI објави детали за новите безбедносни мерки за ChatGPT Atlas, својот AI-базиран прелистувач, признавајќи дека одбраната од таканаречените prompt injection напади останува нерешен безбедносен проблем. Компанијата имплементира автоматизиран систем базиран на големи јазични модели за откривање и неутрализирање на потенцијални закани, иако експертите останаа скептични.
Континуирана борба против prompt injection
Во официјално соопштение објавено на блогот на OpenAI, компанијата признава дека prompt injection веројатно никогаш нема да биде целосно решен проблем. Овој тип на напад вклучува скриени злонамерни инструкции на веб-страници или во е-пошта, кои го тераат AI агентот да извршува дејства што не ги сакале корисниците.
Според OpenAI, агентскиот режим на Atlas создава моќна, но истовремено и ризична површина за напади. Прелистувачот може да ги гледа веб-страниците и да преземе акции, кликови и внесување податоци во браузерот, токму како што би направил корисникот. Токму оваа функционалност го прави Atlas привлечна мета за киберкриминалците.
Автоматизирани системи за детекција
Клучна новина е воведувањето на LLM-базиран автоматизиран систем за напади кој проактивно бара безбедносни слабости. Системот користи напреден модел обучен преку адверсариско тренирање, кој постојано тестира и идентификува нови начини на експлоатација пред тие да се појават во реалниот свет.
OpenAI објаснува дека овој пристап овозможува побрзо затворање на безбедносните дупки, создавајќи циклус на континуирано подобрување. Компанијата воведе и системи за брзо реагирање кои можат да детектираат и блокираат кампањи на напади веднаш штом се откриени.
Демонстрација на реална закана
Во своето соопштение, OpenAI споделува конкретен пример на prompt injection напад откриен од нивниот автоматизиран систем. Во сценариото, малициозен е-маил содржи скриени инструкции кои го насочуваат агентот да испрати отказно писмо до CEO на корисникот. Кога корисникот подоцна бара од агентот да напише авто-одговор за отсуство, системот го извршува злонамерниот код наместо барањето на корисникот.
Оваа демонстрација покажува колку едноставно AI агентите можат да бидат манипулирани ако правилно не разликуваат легитимни од злонамерни инструкции.
Експертите скептични за ефикасноста
И покрај напорите на OpenAI, безбедносните експерти останаа резервирани. TechCrunch известува дека Рами Мекарти, главен безбедносен истражувач во Wiz, укажува дека ризикот во AI системите се пресметува како производ на автономија и пристап. Агентските прелистувачи како Atlas се наоѓаат во ризична зона со умерена автономија и многу висок пристап до чувствителни податоци.
Британскиот National Cyber Security Centre издаде предупредување дека prompt injection напади против генеративни AI апликации можеби никогаш нема да бидат целосно неутрализирани, што ги изложува веб-страниците на константна закана.
Препораки за корисниците
OpenAI препорачува неколку мерки за намалување на ризикот. Корисниците треба да даваат специфични инструкции на агентите, наместо да им даваат широк пристап до сандаче за е-пошта со упатство да преземат какви било потребни дејства. Компанијата исто така препорачува користење на “logged out mode” кога агентот работи на осетливи задачи, што му овозможува на ChatGPT да дејствува без пристап до корисничките акредитиви.
Atlas исто така е обучен да бара потврда од корисникот пред испраќање пораки или вршење плаќања, како додатна заштитна мерка.
Брзо закрпување на ранливости
Портпорталот за сајбер-безбедност LayerX веќе идентификуваше првата сериозна ранливост во Atlas, која дозволува напаѓачите да инјектираат злонамерни инструкции во меморијата на ChatGPT преку Cross-Site Request Forgery (CSRF) напади. Истражувачите откриле дека Atlas е до 90% повеќе изложен на фишинг напади во споредба со Chrome или Edge.
OpenAI работи на континуирано закрпување на овие проблеми, иако точен број на успешно блокирани напади не беше соопштен.
Прашање на доверба и ризик
Долгорочната цел на OpenAI, според нивниот Chief Information Security Officer Dane Stuckey, е да создадат систем на кој корисниците можат да му веруваат како на најкомпетентен, доверлив и безбедносно свесен колега. Сепак, путот до таа цел е долг, а балансот помеѓу функционалност и безбедност останува централно прашање.
Како што укажува безбедносниот експерт Рами Мекарти за TechCrunch, за повеќето секојдневни случаи на употреба, агентските прелистувачи сè уште не нудат доволно вредност за да го оправдаат нивниот тековен ризичен профил.
Додека OpenAI продолжува да инвестира во истражување, безбедносни механизми и системи за одбрана во длабочина, прашањето дали AI прелистувачите можат да станат навистина безбедни останува отворено.
Оваа содржина е генерирана со помош на вештачка интелигенција, но е внимателно проверена, уредена и дополнета од уредничкиот тим на IT.mk, со цел да обезбедиме точни, релевантни информации за читателите.
Стани премиум член и доби пристап до сите содржини, специјален попуст на над 2.200 производи во ИТ маркет, верификуван профил и можност за огласување на ИТ Огласник. Плус ќе го поддржиш медиумот кој го градиме цели 16 години!
Доколку веќе имаш премиум членство, најави се тука.
