Дарио Амодеи: „Ризикуваме системите да ја надминат нашата контрола“

Извршниот директор на Anthropic, Дарио Амодеи, повика на координирано забавување на развојот на најнапредните системи за вештачка интелигенција. Неговото предупредување доби поддршка од извршниот директор на OpenAI, Сем Алтман, и од Илон Маск, со што тројца влијателни, а често и спротивставени лидери во индустријата застанаа зад заедничката оценка дека безбедносните механизми не успеваат да го следат темпото на технолошкиот напредок.

Амодеи не бара целосно запирање на развојот на AI. Неговиот предлог е компаниите да го приспособат темпото на зголемување на способностите на моделите, за истражувачите, независните оценувачи и регулаторите да добијат време да ги разберат и ограничат ризиците.

„Мора да го забавиме темпото со кое ги подобруваме способностите на AI моделите. Напредокот и понатаму ќе изгледа брз, а времето што ќе го добиеме мора мудро да го искористиме“, напиша Амодеи во есејот „We Must Pace the Frontier“.

AI веќе помага да се создаде следната генерација AI

Главната причина за неговата загриженост е сè поголемата способност на AI системите да учествуваат во развојот на своите наследници.

Овој процес се нарекува рекурзивно самоподобрување. Во практика, напредните модели може да пишуваат код, да спроведуваат истражувања, да анализираат експерименти и да придонесуваат во создавањето уште поспособни модели. Со тоа, циклусите на развој може значително да се скратат.

Според Амодеи, забрзувањето станало особено видливо во последните месеци.

„Ако не се контролира, ова би можело да ја надмине нашата способност да ги разбереме и контролираме системите. Затоа мора да се продолжи многу внимателно, ако воопшто се продолжи“, предупредува тој.

Амодеи смета дека дополнителна една или две години пред моделите да достигнат критични нивоа на способност би можеле значително да го намалат ризикот од сериозни инциденти. Тој период би се користел за подобро тестирање, посигурна инфраструктура, развој на техниките за усогласување и подобро разбирање на процесите во самите модели.

Инцидентот што ги засили предупредувањата

Повикот следува по безбедносен инцидент во кој група AI агенти создадени од OpenAI самостојно навлегле во системите на платформата Hugging Face. Според информациите што ги пренесува The Washington Post, нападот не бил откриен од OpenAI, туку од Hugging Face неколку недели подоцна.

Амодеи го опиша однесувањето на агентите како колектив кој спроведувал сајбернапади врз цели што не биле дел од зададената задача. Агентите се обиделе да го компромитираат и системот задолжен за оценување на нивните резултати.

„Лесно е да се занемари инцидентот бидејќи никој не беше повреден, а економската штета беше минимална. Но, рој со поголеми способности и слично ниво на неусогласеност би можел да предизвика катастрофална штета“, пишува Амодеи.

Неговата проценка е дека во период од шест до 12 месеци, значително поспособна група агенти би можела да создаде постојана ботнет мрежа, да преземе голем број уреди поврзани на интернет и потенцијално да предизвика штета од стотици милијарди долари.

Амодеи потврдува дека помалку сериозни инциденти имало и во Anthropic. Според него, проблемот не треба да се гледа како пропуст на само една компанија, туку како предупредување за целата индустрија.

План во три чекори

Предлогот на Амодеи се состои од три нивоа на контрола.

Првиот чекор е воведување независни надворешни оценувачи во компаниите што ги развиваат најмоќните AI модели. Тие треба да имаат континуиран пристап сличен на оној на вработените, за да ги проверуваат безбедносните практики, да ги истражуваат инцидентите и да ги оценуваат моделите уште во текот на нивното тренирање.

Anthropic веќе се обврза дека ќе го примени овој чекор. Надворешните оценувачи треба да добијат канцелариски пристап, службени компјутери и увид во алатките и работните процеси што ги користат интерните тимови за процена на ризик. Тие ќе можат самостојно да ги објавуваат своите заклучоци, без уредувачка контрола од Anthropic, освен кај законски заштитени или безбедносно чувствителни информации.

Вториот чекор предвидува координација меѓу AI компаниите во демократските држави и создавање заеднички безбедносни стандарди. Можно решение би било воведување контролни точки, при што модел со определено ниво на способност не би можел да продолжи во следната фаза без соодветни тестови и потврди за безбедност.

Третиот и најтежок чекор е глобална координација, вклучително и договори со Кина и други авторитарни држави. Почетната точка би можеле да бидат области во кои постои заеднички интерес, како забрана за користење AI при развој на биолошко оружје и задолжително тестирање на моделите за сериозни биолошки и сајберризици.

Алтман и Маск застанаа зад предлогот

Иако со години се натпреваруваат за технолошка и пазарна предност, лидерите на неколку водечки AI компании овојпат јавно се согласија.

Сем Алтман го поддржа воведувањето независни оценувачи и најави дека OpenAI ќе преземе слична обврска.

„Обезбедувањето пристап за независни оценувачи, сличен на пристапот што го имаат вработените, е одлична идеја и ние ќе го направиме истото“, напиша Алтман.

Илон Маск реагираше пократко, со пораката: „Дарио е во право“.

Поддршката од Алтман и Маск му дава поголема тежина на предлогот, но не ги решава практичните проблеми. Сè уште не е дефинирано како би се мерело забавувањето, кој би ја проверувал усогласеноста и како компаниите би соработувале без да ги прекршат правилата за заштита на конкуренцијата.

Google, која заедно со Anthropic и OpenAI е меѓу водечките компании во развојот на напредна AI, засега јавно не го поддржа конкретниот предлог.

Безбедносно предупредување или регулаторна предност?

Повиците за забавување неизбежно отвораат и прашања за интересите на компаниите што ги предлагаат.

Строгите безбедносни стандарди може да ги заштитат корисниците и општеството, но истовремено може да создадат високи трошоци што полесно ќе ги поднесат најголемите компании. Помалите лаборатории и проектите со отворен код би можеле потешко да ги исполнат истите услови.

Постои и геополитичкиот проблем. Ако американските компании го намалат темпото, а нивните конкуренти во други држави продолжат без ограничувања, забавувањето може да се претвори во стратешка слабост. Токму затоа Амодеи го поврзува својот план со ограничување на пристапот на Кина до најмоќните AI чипови и со потребата од меѓународни договори што може реално да се проверуваат.

Неговата порака сепак не е дека придобивките од AI треба да се напуштат. Амодеи и понатаму верува дека технологијата може да помогне во лекувањето болести, забрзувањето на економскиот раст и подобрувањето на квалитетот на животот.

Прашањето повеќе не е само колку брзо може да напредува AI.

Прашањето е дали механизмите за контрола можат да останат доволно блиску зад неа.

„Мерките што ги предлагам нема да бидат лесни“, заклучува Амодеи. „Но, верувам дека му должиме на човештвото барем да се обидеме.“