На 7 октомври милитанти на Хамас со параглајдери, мотоцикли, автомобили, камиони, булдожери го нападнаа Израел од Појасот Газа. Над 1,200 Израелци беа убиени, а 240 беа киднапирани. Оттогаш во бомбардирањата и нападите врз Газа има 33,000 жртви.
Во изборот на целите на нападите и нивното лоцирање е користена вештачка интелигенција, откри истрагата на +972 Magazine и Local Call.
Софтверот Lavender ги анализира информациите собрани преку систем за масовно набљудување за речиси сите 2,3 милиони жители на Појасот Газа. Потоа прави проценка за веројатноста дека некое конкретно лице е активен член на военото крило на Хамас или ПИЏ (Палестински исламски џихад). Според изворите, машината му дава на речиси секој човек во Газа оценка од 1 до 100 – оценка која покажува колку е веројатно дека тие се милитанти.
Lavender бил трениран да ги идентификува карактеристиките на познатите оперативци на Хамас и ПИЏ, чии податоци биле внесени во машината како податоци за тренирање, а потоа и да ги лоцира овие карактеристики меѓу општата популација, објаснуваат изворите. Поединец за кој ќе се утврди дека има неколку различни инкриминирачки карактеристики ќе достигне висока оценка и на тој начин автоматски ќе стане потенцијална цел за атентат.
За воени цели разузнавањето требало да обработи податоци за десетици илјади потенцијални членови на Хамас. Ова не може да се направи доволно брзо. „Луѓето не може да обработат толку многу податоци. Без разлика колку луѓе работат на пронаоѓање на цели за време на војна. Не може да пронајдете доволен број на цели дневно“, пишува во книгата „The Human-Machine Team“. Според изворите на +972 авторот на книгата е командант на Unit 8200. Единицата е израелски пандан на Националната агенција за безбедност од САД и GCHQ од Велика Британија.
Вештачката интелигенција Lavender веќе се користела во бомбардирањата кои следеа по 7 октомври, но и неколку години пред ова.
За армијата немало разлика помеѓу резултатите од Lavender и разузнавачките служби. На почетокот на војната 37,000 Палестинци биле осомничени милитанти на Хамас. Сите биле одбележани како цели за напад заедно со нивните домови. Пред почетокот на војната процената била дека милитантното крило на Хамас има помеѓу 25 и 30 илјади членови.
Без можност за сериозна промена, разузнавачите само ја потврдувале одлуката на вештачката интелигенција без сериозни проверки. Единствената проверка која ја правеле била слушање на гласот на говорникот. Ако е женски глас тогаш машината со сигурност направила грешка. Проценката на IDF е дека ако машината во резултатите додала жена, тоа мора да е грешка бидејќи нема жени во военото крило на Хамас. Целата проценка најчесто траела едвај неколку секунди. Операторот го слушал гласот и препознавал дали зборува маж или жена.
Можеби поголемиот проблем не е поврзан со вештачката интелигенција, туку со одлуката на армијата да ги напаѓа целите во домот. Нападите најчесто биле доцна во ноќта, кога целото семејство е дома. За време на извршувањето на некои од нападите, поради непотврдување на состојбата на терен во реално време, целите на нападите не биле во куќите во време на бомбардирањето.
На почетокот на бомбардирањата се правеле процените за дозволени цивилни жртви. Претставниците на армијата одлучиле дека за секој член на Хамас кој не е дел од раководството се дозволени 15 до 20 цивилни жртви. Со ова колатералната штета е значително повисока отколку порано. Во минатото за ниско рангираните членови на Хамас немало препорачани насоки за дозволена колатерална штета. За повисоко рангираните членови на милитантите биле дозволени цивилни жртви и од над 100 цивили.
Оваа бројка на дозволени цивилни жртви се менувала во периоди од војната. Била помеѓу 5 и 20 цивилни жртви за пониските членови на организацијата. Во минатото единствено раководството и високо рангираните команданти биле напаѓани во домовите.
Како се генерираат целите на Lavender
По нападите на 7 октомври, израелската армија направи промена на правилата за кои цели е дозволено да бидат напаѓани во домовите. До нападот, Израел не ги следел сите оперативци на Хамас, туку единствено раководството. Промените биле направени преку ноќ.
На новата листа за следење биле додадени сите оперативци на Хамас без разлика на нивниот сениоритет во организацијата. За креирање на листа бил искористен Lavender кој речиси веднаш „детектирал“ 37,000 припадници на Хамас.
Ова значело дека наеднаш на листата на потенцијални цели се додадени десетици илјади Палестинци. Целиот процес кој дотогаш вклучувал: следење, откривање на докази, потврда дека станува збор за член на Хамас, лоцирање на адресата, проверка на локацијата, станал неодржлив. На листата имаше премногу луѓе за кои разузнавањето немаше човечки капацитет да ги направи потребните чекори. Ова било главната причина што откривањето на цели и нивното следење во целост било оставено на вештачка интелигенција и софтвер. Крајната одлука ја имале луѓето, но најчесто само формална, единствено со удирање на печат на документите.
„Еден ден, целосно по моја воља додадов околу 1,200 нови цели во системот за следење, бидејќи бројот на напади кои ги спроведувавме се намали. Ова ми имаше смисла. Денес, тоа изгледа како сериозна одлука која ја донесов. Овие одлуки не беа направени на високо ниво.“, вели еден од изворите.
Претходно Lavender се користел како помошна алатка. Разузнавачите ја проверувале грешката која ја прави системот со рачна споредба на податоците. Проверката е правена со луѓе за кои вештачката интелигенција проценила дека се припадници на Хамас. Резултатите на Lavender правеле грешка во 10% од случаите. Армијата одлучила да го користи системот две недели по 7 октомври. Оттогаш, ако Lavender проценил дека некој е милитант на Хамас, операторите единствено требале да ја проследат наредбата. Ова речиси исклучиво се правело без дополнителни проверки на податоците врз основа на кои е донесена одлуката.
„Во пет изутрина военото воздухопловство ги бомбардираше сите куќи кои ги имавме одбележано, Убивме илјадници луѓе. Не ги проверувавме еден по еден – сѐ ставивме во автоматизиран систем, и штом некој беше дома веднаш беше цел. Го бомбардиравме него и неговиот дом“, вели еден од изворите на +972 Magazine и Local Call.
Следењето на ниските ешалони на Хамас било невозможно, па процесот кој овозможил целосна автоматизација на следењето бил најдоброто решение. Терминот кој го користи еден од изворите е „Holy Grail“.
Благодарение на автоматизирањето на процесот за избор на цели и прилично олеснетите услови за цивилни жртви, на почетокот на војната: од 8 октомври до 24 ноември биле убиени 15,000 Палестинци.
Вештачката интелигенција Lavender ги анализира жителите на Појасот Газа. Потоа, врз база на различни карактеристики ја проценува веројатноста дали се дел од Хамас. Според „The Human-Machine Team“ дел од карактеристиките кој се користат во проценката се: „членство во WhatsApp групи во кои има членови на Хамас“; „менувањето на телефон на неколку месеци“; „ често менување на адреси“.
Вештачка интелигенција се користела од 2021
Ова не е првпат да се зборува за машина која помага во откривањето на целите. Во официјална презентација која ја правел полковникот Јоав (Yoav) се посочува дека во мај 2021 машината е користена прв пат. Тогаш за идентификување на командантите на Хамас кои се одговорни за ракетните напади врз Израел.
Оригинално, кога бројот на потенцијални цели бил мал конечна одлука за веројатноста некој да е член на Хамас ја правеле луѓето. Офицери на Unit 8200 требале да направат независна проценка на резултатите од вештачката интелигенција.
Ова било случај пред нападите од 8 октомври. По овие напади, притисокот на армијата бил да се испорача што е можно поголем број на цели без дополнителен застој. Поради недостатокот на контрола и грешката која ја прави системот, било јасно дека 10% од целите за атентат воопшто не се членови на военото крило на Хамас.
Во зависност од границата на сигурност која е поставена, системот правел поголема или помала грешка. Со поширока граница на грешка Lavender селектирал членови на цивилната одбрана и полицијата, кои и помагаат на владата на Хамас, но не се опасност за израелските војници.
Најчести причини за грешно препознавање се сличен начин на комуникација како членовите на Хамас, користење на уред кој му припаѓал на член на Хамас, исто или слично име со член на Хамас…
Со оглед на тоа дека регионот е воена зона користењето на телефонот за лоцирање на целите за напад е дополнителен проблем. Дури и кога вистински претставник на Хамас го позајмувал телефонот на член на семејството, пријател, или било кој, постоела опасност дека ќе биде бомбардирана неговата (погрешна) куќа.
Софтвер за следење – „Where’s Daddy?“
„Where’s Daddy?“ е софтвер кој се користи за следење на жителите на Палестина и е само едно од постоечките решенија кое покажува каде се наоѓа некој жител на Појасот Газа. Благодарение на тоа што секој човек во Појасот Газа е поврзан со некој објект или куќа, софтверот „знае“ кога некој е дома, или влегува дома. Штом „целта“ влезе дома софтверот испраќа нотификација до офицерот задолжен за таргетирање кој ја означува куќата како цел за бомбардирање.
На листата за следење со „Where’s Daddy?“ на почетокот биле внесени командантите на Хамас, членовите на елитните единици на Хамас, Палестинци кои влегле во Израел на 7 октомври. Наскоро по ова, на листата биле додадени сите цели кои ги детектирал Lavender.
Тврдењето на Израел е дека причината за високиот број на цивилни жртви е тоа што Хамас го користи населението како жив штит; користи болници и училишта како штабови; а тунелите ги поставувале под нив.
Сепак, ова било случај и во минатото. За разлика од 2014 година бројот на цели семејства бомбардирани се значително повисоки во овие напади. Во првиот месец од нападите половина од жртвите 6120, припаѓале на 1340 семејства. Најголем дел од нив биле убиени во своите домови.
Отруен (poisoned) сет на тренинг податоци
Избегнувањето на тренирањето на вештачката интелигенција со таканаречен отровен (poisoned) сет на податоци е клучно за добивање на што е можно порелевантни податоци. Најголема опасност е добивање на „пристрасни“ одговори и неточни резултати. Поради ова и тимовите на OpenAI и Google се исклучително внимателни во изборот на податоци за тренинг. На пример, ако за тренинг на вештачка интелигенција која ќе се користи за програмирање се користи код со безбедносен пропуст, и решенијата кои ќе ги нуди вештачката интелигенција ќе доаѓаат со истиот безбедносен пропуст
Во сетот на податоци кои се користел за тренинг на Lavender се користени и податоци од цивилната одбрана на Палестина, тврди член на „воениот data science тим“ кој работел на вештачката интелигенција. Со тоа, целиот систем анализира податоци кои можеби не соодветствуваат на милитантното крило на Хамас, а ќе има поголема опасност да бидат цел од листите.
Носење одлуки без емоции
Дел од изворите на 972 се задоволни од користењето на вештачката интелигенција. Lavender донел одлуки со „ладна глава“. Ова не можело да се очекува од членовите на единицата за контраразузнавање, бидејќи најголем дел од луѓето во Израел познавале некој кој бил убиен во нападите на 7 октомври. Носењето на одлуки кои немале да бидат мотивирани од одмазда немало да биде едноставно.
„Се докажа. Има нешто во статистичкиот пристап кој поставува одредени норми и стандарди. Имаше нелогично количество бомбардирање во оваа операција. Немам споредба, во моето сеќавање. Имам многу повеќе доверба во статистички механизам отколку во војник кој загубил пријател пред два дена. Сите тука, вклучувајќи ме и мене, загубија луѓе на 7 октомври. Машината го направи ова без емоции.“, вели еден од изворите.
Друг извор пак вели дека за пониските членови на Хамас не се исплати да се троши време за проверка. За високите членови вреди да се проверуваат овие податоци.
„Во војна нема време да се провери секоја цел. Подготвени сте да ја преземете маргината на грешка со користењето на вештачката интелигенција, да ризикувате колатерална штета и смрт на цивили, да ризикувате да нападнете по грешка, и да живеете со тоа“.
Израел ги отфрли тврдењата за користење вештачка интелигенција
Претставници на Армијата за одбрана на Израел (Israel Defense Force) ги демантираа тврдењата дека користат вештачка интелигенција за идентификување на целите. Сепак, не го демантирале постоењето на системите како Lavender или „Where’s Daddy?“. Претставникот на IDF вели дека користат помошни алатки кои оперативците ги користат при анализата.
Ова е во спротивност со тврдењата на изворите на 972 кој тврдат дека единствената проверка која ја прават луѓето е дали станува збор за маж или жена. Шесте извори на 972 сепак тврдат дека одлуката за целите во првите недели на војната речиси во целост била во рацете на вештачката интелигенција Lavender. Луѓето биле обработувани со Lavender и овие листи потоа биле додадени на „Where’s Daddy?“. На крај операторите само потврдувале и ја внесувале целта за бомбардирање.
Стани премиум член и доби пристап до сите содржини, специјален попуст на над 2.200 производи во ИТ маркет, верификуван профил и можност за огласување на ИТ Огласник. Плус ќе го поддржиш медиумот кој го градиме цели 16 години!
Доколку веќе имаш премиум членство, најави се тука.
