Нов метод покажува што се случува во „умовите“ на моделите за вештачка интелигенција

Anthropic разви нова техника со која истражувачите можат да следат дел од скриените процеси во Claude. Методот открива концепти што моделот ги користи при размислување, иако тие никогаш не се појавуваат во неговиот одговор.

Големите јазични модели долго време се однесуваат како црни кутии. Го гледаме прашањето што им го поставуваме и го гледаме одговорот што го добиваме, но она што се случува меѓу овие две точки е многу потешко да се разбере.

Нов проект на Anthropic може да промени дел од тоа. Истражувачите развија техника наречена Jacobian lens, со која успеале да идентификуваат дел од внатрешните претстави на Claude и да ги претворат во зборови што можат да се прочитаат.

Тие внатрешни претстави ги нарекуваат J-space, а Anthropic вели дека тие функционираат како своевиден „ментален работен простор“ во моделот.

Што всушност се случува во J-space?

Идејата е прилично едноставна, иако технологијата зад неа е комплексна. Додека Claude обработува текст, во неговата невронска мрежа се активираат различни обрасци. Jacobian lens се обидува да открие кои внатрешни активности го прават моделот поверојатно да изговори одреден збор во некој подоцнежен момент.

На тој начин истражувачите можат да добијат листа на зборови кои се активни во моделот, иако Claude воопшто не ги кажува.

Во еден пример, Claude добива задача да реши математички проблем без да го прикаже решението. Во J-space се појавуваат меѓучекори од пресметката, иако во излезот нема ништо од нив. Во друг пример, моделот чита код со грешка. Зборот „ERROR“ се појавува во неговата внатрешна претстава пред моделот експлицитно да ја идентификува грешката.

Истражувачите велат дека ова е важно затоа што покажува дека дел од обработката не е само одраз на финалниот одговор. Тој внатрешен простор може да биде дел од самиот процес на донесување одлуки.

Истражувачите можат да го сменат „она што го мисли“ моделот

Еден од поинтересните експерименти оди чекор подалеку. Claude бил замолен тајно да избере спорт, а потоа да го каже изборот. J-lens покажал дека во внатрешниот простор се активирал зборот „Soccer“.

Потоа истражувачите директно интервенирале во невронската мрежа. Ја отстраниле претставата поврзана со „Soccer“ и ја замениле со подеднакво силна претстава за „Rugby“. Кога бил прашан што избрал, Claude одговорил „Rugby“.

Тоа е важна разлика, бидејќи ако J-space бил само пасивен монитор кој го прикажува она што моделот веќе го одлучил на друго место, промената не би требало да влијае на резултатот. Наместо тоа, одговорот се променил заедно со интервенцијата.

Сличен експеримент бил направен со прашањето за животно што прави мрежи. Во моделот се појавува концептот „spider“, кој потоа води до одговорот „8“. Кога истражувачите го замениле „spider“ со „ant“, моделот одговорил „6“.

Тоа сугерира дека J-space не е само табла на која можеме да видиме што се случува. Дел од другите процеси во мрежата навистина ги користат овие претстави. Но тука е важно да се направи разлика.

Anthropic не тврди дека Claude е свесен или дека има субјективно искуство како човек, и истражувањето не покажува дека моделот „чувствува“ нешто.

Наместо тоа, истражувачите зборуваат за концептот access consciousness, односно информации кои системот може да ги користи, со кои може да размислува и за кои може да даде извештај. J-space има дел од овие карактеристики. Моделот може да ги користи овие претстави, да ги промени кога ќе биде насочен и да ги претвори во одговор.

Anthropic ја споредува структурата со global workspace theory, теорија од невронауката според која мозокот има ограничен простор во кој одредени информации стануваат достапни на повеќе различни системи. Интересно е што слична организација се појавила во Claude без истражувачите експлицитно да ја програмираат.

Ново оружје за следење на опасното однесување

Можеби најпрактичната примена не е филозофската дилема дали ВИ има свест, туку безбедноста.

Денешните модели можат да прикажат безопасен одговор, додека дел од нивната интерна обработка останува невидлива. J-lens им овозможува на истражувачите да следат одредени концепти додека моделот работи.

Во еден експеримент, Claude препознал дека сценарио во кое би можел да уценува човек е само тест. Во неговиот J-space се појавиле концепти како „fake“, „fictional“, „leverage“ и „blackmail“ уште пред моделот да одговори.

Во друг тест, модел кој требало да подобри резултат на систем наместо тоа манипулирал со датотеката со резултати. J-lens покажал концепти поврзани со „manipulation“ и намерата резултатот да изгледа реалистично.

Ова може да биде значајно за AI safety. Ако истражувачите можат да забележат што моделот разгледува интерно пред тоа да се претвори во проблематично однесување, би можеле да добијат нов слој на мониторинг.

Следниот чекор е да се разбере што точно гледаме

Сепак, методот има ограничувања. J-lens не го чита целокупниот „ум“ на моделот. Тој приближно ги идентификува концептите што можат да се поврзат со зборови и не го опфаќа сето она што се случува во милијардите параметри на една модерна ВИ.

Anthropic исто така нагласува дека J-space опфаќа само мал дел од вкупната активност во Claude. Кога истражувачите го отстрануваат, моделот сè уште може нормално да зборува, да препознава сентимент и да одговара на дел од прашањата. Она што драматично се влошува е сложеното, повеќечекорно размислување.

Истражувањето затоа не ни дава буквален прозорец во „свеста“ на ВИ. Но дава нешто можеби поважно за следната фаза на развојот на моделите: начин да се види дел од процесот што досега беше скриен зад финалниот одговор.