Минатата недела истражувачите од Универзитетот Пердју објавија дека луѓето даваат подобри одговори од вештачката интелигенција на програмерски прашања. Оваа недела ново истражување од Универзитетот Чикаго покажува дека GPT-4 прави подобра финансиска анализа од луѓето. Автори на истражувањето се Алекс Ким, Максимилијан Мун, и Валери Николаев, професори на Бизнис школата Бут на Универзитетот во Чикаго.
Вештачката интелигенција во анализата на финансиските извештаи има точност од 60 отсто. За споредба, аналитичарите се помеѓу 53 и 57 отсто. Резултатите на вештачката интелигенција може да бидат и подобри. Ова се резултати од извештаи за кои GPT-4 немал контекст и податоци кои се специфични за индустријата.
Моделите обработувале податоци кои се потполно анонимизирани, без информации за компаниите или секторот. Врз база на овие податоци GPT-4 требал да ги оцени финансиската стабилност и потенцијалната идна заработка на компаниите.
„Дури и без никакви наративни или специфични информации за индустријата, јазичниот модел ги надминува финансиските аналитичари во неговата способност да ги предвиди промените на заработката. Јазичниот модел има релативна предност во однос на човечките аналитичари во ситуации во кои аналитичарите имаат проблеми. Понатаму, откриваме дека точноста на предвидувањето на големиот јазичен модел е на исто ниво со перформансите на тесно обучен најсовремен ML-модел.“, велат истражувачите.
Добра вест за луѓето во овој сектор е дека иако користењето на вештачката интелигенција ќе го револуционеризира финансиското работење, луѓето нема да бидат во целост заменети.
Вештачката интелигенција и луѓето одлично се надополнуваат. Благодарение на употребата на вештачката интелигенција може да се исклучат предрасудите и пристрасноста на луѓето. Аналитичарите пак, може да ги анализираат одговорите и да креираат подобри прашања за креирање на поточни резултати.
Клучна за точноста на резултатите на GPT-4 е „chain of thought“
Клучно за точноста на резултатите кои ги покажува GPT-4 e употребата на „Chain of Thought“ (CoT) промпт техниката. Со оваа техника со подобруваат резултатите од анализата. Целиот процес на решавање е поделен на повеќе поедноставни чекори.
На пример ако прашањето е „Колку е 12 * 13“ одговорот без чекори би бил 156. Со поделба на чекори би можел да биде:
Најпрво множиме 12 со 10, ова е 120
Потоа множиме 12 со 3 ова е 36
Ги собираме двете и добиваме 156
Значи 12 по 13 е 156Ова секако е супер едноставен пример за кој не ни е потребна CoT, а ниту вештачка интелигенција.
Сепак, колку е важно разделувањето на поедноставни чекори и користење на соодветен промпт, одлично се гледа и од примерот со анализата на финансиските извештаи. Без користење на CoT точноста на GPT-4 е 52,3 отсто, со користење на CoT точноста е 60,4 отсто.

Иако луѓето не учествуваат директно во CoT моделите за време на решавањето, тие се клучни за рафинирање на промптот за да се оптимизира „размислувањето“ чекор по чекор. На крај оваа комбинација на пронаоѓање на најсоодветен промпт и обработката на вештачката интелигенција, резултира со најточни резултати.







