Vojna s podporo umetne inteligence

Če vam naprava ukaže, kdaj pritisniti na sprožilec, kdo prevzema odgovornost za strel?

Arthur Holland Michel, Technology Review

V bližnji prihodnosti med vojno – ki bi se lahko začela tudi jutri, kdo ve – vojak zavzame strelski položaj na vrhu strehe. Njegova enota se prebija skozi mesto križišče za križiščem. Sovražnik bi lahko tiho prežal za katerimkoli vogalom, pripravljen streljati na svoje tarče v istem trenutku, kot bi jih dobil na muho.

Vojak skozi namerilno napravo pregleduje okna bližnjih zgradb. Opazi sveže perilo, ki visi na balkonu. Po radijski zvezi prejme sporočilo, da se njegova enota pripravlja na premik čez izpostavljeni predel spodaj. Ko se ravno odpravlja, se v zgornjem levem kotu namerilne naprave pojavil rdeč utripajoč kvadratek. Sistem za računalniški vid, vgrajen v puško, je zaznal morebitno tarčo – na oknu se pojavi obris, za katerega se zdi, da se pripravlja na strel.

Vojak nima ostre slike, a po njegovih izkušnjah ima njegov sistem nadčloveške zmogljivosti in zazna že najmanjši znak, da je v bližini sovražnik, zato namesti orožje in se pripravi, da bo sprožil.

V neki drugi vojni, ki se prav tako morda že nakazuje na obzorju, poveljnik stoji pred vrsto zaslonov. Klepetalni robot objavi opozorilo z novico, da so sateliti prestregli tovornjak, ki se je pripeljal v neko četrt v mestu in ga sumijo, da morda skriva izstrelišče za sovražnikove rakete. Robot je že obvestil topniško enoto, ki ima po njegovi oceni najboljše možnosti, da svoje orožje nameri v tovornjak in čaka na nadaljnja navodila.

Kot še poroča klepetalni robot, nobena od sosednjih zgradb ni civilna, izpostavi pa, da je treba dokončno oceno izdelati ročno. Brezpilotni letalnik, ki ga je sistem poslal, da si prizorišče ogleda pobliže, pošlje posnetek tovornjaka, ki je vzvratno zapeljal v ozek prehod med kompleksoma. Priložnost za obstreljevanje se pospešeno izmika.

Poveljnik zdaj ne sliši ničesar več. Ves kaos, negotovost, kakofonija, vse se je skrčilo na zvok tiktakanja ure in utripanje enega samega gumba:

»Potrdi povelje za strel.«

Streljati ali ne streljati? Pritisniti na gumb ali še počakati? Pravno – in etično – je vloga vojakove odločitve, ko gre za življenje in smrt, osrednja in nepogrešljiva. Pravzaprav te odločitve definirajo človekovo vojno.

Ne bi torej smelo biti presenečenje, da so se države in civilna družba začele posvečati vprašanju inteligentnega avtonomnega orožja – ki lahko izbere tarče in strelja nanje brez človekovega vmešavanja – kot zadevi, ki vzbuja skrajno zaskrbljenost. Maja letos so se po skoraj desetletju razprav podpisnice Konvencije OZN o prepovedi ali omejitvi uporabe nekaterih vrstah klasičnega orožja med drugim dogovorile tudi, da bi tiste vojske, ki jih uporabljajo, zaradi spoštovanja vojnega prava verjetno morale omejiti čas uporabe, zemljepisno območje in obseg operacij. Izjava ni zavezujoča, a vsaj priznava, da ima človek v določenem trenutku svojo vlogo tudi pri avtonomnem orožju, preden pride do ubijanja.

Inteligentno avtonomno orožje, ki bi povsem izrinilo človeško odločitev, v resničnem svetu (verjetno) še ni bilo uporabljeno. Niti tako imenovani avtonomni droni in ladje, ki jih imajo na voljo ZDA in druge sile, se ne uporabljajo brez skrbnega človekovega nadzora. Inteligentni sistemi, ki zgolj vodijo roko, da ta nato pritisne na sprožilec, se na splošno vse pogosteje znajdejo v nakupovalni košarici vojsk. Postopno in brez pompa so postali dovolj napredni, da se odpirajo nova vprašanja, na katera je težje odgovoriti kot na dileme zaradi ubijalskih robotov in so z vsakim dnem bolj pereča: Kaj pomeni, ko je odločitev le delno v človekovih rokah, delno pa odloča naprava? In kdaj, če sploh, je etično, da je to odločitev za ubijanje?

Predstava, da bi si človek pri odločanju pomagal z računalniki, dolgo ni vzbujala posebnih pomislekov. Upokojeni letalski poročnik Jack Shanahan poudarja, da je bil radar na bojnem reaktivnem letalu F4 Phantom, ki ga je pilotiral v 80. letih, prav tako nekakšen pripomoček pri odločanju. Opozoril ga je na prisotnost drugih letal, nakar je moral premisliti, kaj bo ukrenil zaradi njih. Ne bi pa mogel trditi, da sta bila posadka in radar enakovredna partnerja.

To se zdaj počasi spreminja. »Danes smo priče prehodu v svet – no, vsaj jaz ga tako vidim –, v katerem bodo ljudje in stroji morali delovati kot nekakšna ekipa,« je poudaril Shanahan.

Računalniška podpora pri sprejemanju ključnih odločitev v vojni, tudi dokončnih, ima danes večjo vlogo predvsem zaradi pohoda strojnega učenja. Shanahan je bil prvi direktor projekta Maven, Pentagonovega programa, v okviru katerega so razvijali algoritme za prepoznavo ciljev za snemanje z brezpilotnimi letalniki. Projekt, ki je zaznamoval novo obdobje umetne inteligence v ameriški vojski, so začeli leta 2017, potem ko so s študijo potrdili, da so algoritmi za globoko učenje skoraj tako učinkoviti kot človek. (Sprožil pa je tudi pomisleke – leta 2018 je več kot tri tisoč Googlovih zaposlenih podpisalo protestno pismo zaradi sodelovanja njihovega podjetja pri tem projektu.)

Z orodji za odločanje, ki temeljijo na strojnem učenju, pridobimo kompetentnost in širino, česar stara orodja niso omogočala, je poudaril Matt Turek, namestnik direktorja urada za informacijske inovacije v Agenciji za napredne obrambne analize (DARPA). Posledica tega je morda težnja, da se jim prepušča več odločitev, je še dodal.

Vojak, ki išče sovražnikove ostrostrelce, bi si lahko pomagal s sistemom za jurišne puške izraelskega obrambnega podjetja Elbit Systems. V opisu med drugim piše, da je naprava, ki deluje z umetno inteligenco, zmožna odkrivati človeške tarče na razdalji več kot 500 metrov, prepoznavati pa jih je sposobna na razdalji nogometnega igrišča (najbrž je mišljena prepoznava, ali gre za osebo, ki bi jo morali ustreliti). Anna Ahronheim-Cohen, tiskovna predstavnica podjetja, je za MIT Technology Review povedala: »Sistem smo že preizkusili v realnem času v boju s pehotnimi vojaki.«

Druga namerilna naprava iz podjetja Smartshooter naj bi imela podobne zmogljivosti. Kot piše na spletni strani podjetja, jo je mogoče namestiti tudi v avtomatsko orožje na daljinsko vodenje, na primer takšno, ki so ga izraelski agenti uporabili za usmrtitev iranskega jedrskega znanstvenika Mohsena Fahrizadeha leta 2021.

Enako uporabna so lahko tudi orodja za pomoč pri odločanju, ki delujejo tudi na večji razdalji od bojišča. Pentagon je umetno inteligenco očitno uporabljal v vrsti obveščevalnih analiz in odločitev pred morebitnim napadom. Predstavniki Pentagona sicer niso želeli izdati podrobnosti, tako da je tiskovna predstavnica letalskih sil za MIT Technology Review v odgovor napisala le, da uvajajo pristop z navezo med človekom in napravo.

Druge države pa s takšno avtomatizacijo eksperimentirajo bolj odkrito. Tik po konfliktu med Izraelom in Palestino leta 2021 so v izraelskih obrambnih silah povedali, da uporabljajo umetnointeligenčna orodja za opozarjanje čet na grozeče napade in za predloge tarč.

Ukrajinska vojska uporablja program GIS Arta, ki vsako znano rusko tarčo na bojnem polju poveže s topniško enoto, ki je po oceni algoritma na najugodnejšem položaju za strel. V britanskem časopisu Times so ga primerjali z Uberjevim algoritmom za usklajevanje voznikov in potnikov ter izpostavili, da pomembno skrajša čas med odkritjem tarče in trenutkom, ko se tarča znajde pod streli. Preden so Ukrajinci dobili GIS Arta, je ta postopek trajal 20 minut, zdaj naj bi menda le minuto.

Rusija trdi, da ima lasten sistem za poveljevanje in nadziranje, ki deluje ob pomoči umetne inteligence, ni pa posredovala veliko podrobnosti. Gregory Allen, direktor središča Wadhwani za umetno inteligenco in napredne tehnologije, ki je tudi eden od snovalcev Pentagonove nove politike na področju umetne inteligence, mi je povedal, da je nekatere teh trditev nujno treba jemati z rezervo. Nekaj ruske domnevne vojaške umetne inteligence po njegovih besedah sodi med zadeve, s katerimi se drugi ukvarjajo že desetletja, GIS Arta pa je po njegovih besedah čisto tradicionalna programska oprema.

Odločanje v vojski je zelo pogosto stvar presoje in med avtomatiziranimi pripomočki zato ni samo umetna superinteligenca. Vojaki imajo namreč na voljo tudi orodja za napovedovanje premika sovražnikovih čet, orodja za ugotavljanje, kako zadeti neko tarčo, in orodja za oceno, koliko kolateralne škode bodo verjetno morali plačati bližnji civilisti.

Nobenega od teh sistemov in orodij ne bi mogli poimenovati robot za ubijanje. Tehnologija kljub temu ni nenevarna. Tako kot vsak zapleten računalnik imajo tudi orodja na temelju umetne inteligence svoje nenavadne napakice, ki jih ni mogoče napovedati. Človek, ki dela z njimi, mogoče ne bo vedno zmožen presoditi, ali je odgovor na zaslonu pravilen. Zaradi neverjetne učinkovitosti ta orodja ljudem včasih ne bodo pustila dovolj časa za presojo, ali ravnajo zakonito. Na nekaterih področjih bi lahko delovala na takšni superčloveški ravni, da v vojni ne bo več ničesar, kar bi veljalo za nepredstavljivo.

V vojski načrtujejo, da bodo s strojno inteligenco združili številne teh posameznih orodij v eno samo avtomatizirano mrežo, ki bo povezovala vse orožje, poveljnike in vojake med seboj. To ne bo več veriga ubijanja, temveč mreža ubijanja, kot so to poimenovali v Pentagonu.

Ni jasno, ali je v teh mrežah človekova odločitev res sploh odločitev. Rafael, izraelski obrambni velikan, je enega takšnih izdelkov, Fire Weaver, že prodal izraelskim obrambnim silam (njegovo delovanje pa je prikazal ameriškemu obrambnemu ministrstvu in nemški vojski). Kot piše v brošurah podjetja, Fire Weaver odkrije sovražnikove položaje, obvesti enoto, za katero preračuna, da ima najboljše izhodišče za obstreljevanje, in celo nastavi nitni križ na namerilni napravi orožja te enote. Človekova vloga je omejena na izbiro med dvema gumboma, pravijo v videu o tej programski opremi, med potrdi in opusti.

Recimo, da senca na oknu ni bila vojak, temveč otrok. Predstavljajte si, da tovornjak ni dostavljal bojnih glav sovražniku, temveč kanistre z vodo v hišo.

Med petimi etičnimi načeli, ki jih je ministrstvo za obrambo pripravilo za uporabo umetne inteligence, je na prvem mestu vedno odgovornost. V praksi to pomeni, da mora nekdo – človek, ne naprava – prevzeti breme in odgovornost, ko se zalomi.

Načelo odgovornosti je seveda veliko starejše od izuma umetnointeligenčnih naprav. Vsi zakoni in norme vojne bi izgubili pomen brez izhodiščnega skupnega dogovora, da je za vsako namerno dejanje v boju nekdo odgovoren. A če bodo računalniki prevzeli vrsto novih zahtevnih nalog, bo to starodavno pravilo dobilo nov pomen.

»Zame in za skoraj vse ljudi v uniformi, kar jih poznam, je ravno to pomenilo jedro naše poveljniške vloge: nekdo je na koncu vedno odgovoren,« je poudaril tudi Shanahan, ki je po projektu Maven postal prvi direktor Pentagonovega skupnega središča za umetno inteligenco in nadziral razvoj etičnih načel zanjo.

Ravno zato mora sprožilec stisniti človeški prst in zato mora človeški prst pritisniti gumb Potrdi. Če računalnik označi napačno tarčo, vojak pa vseeno sproži, je odgovoren on. »Če človek stori nekaj, kar povzroči nesrečo s strojem – na primer odvrže bombo, kjer je ne bi smel –, je to še vedno človekova odločitev,« je pojasnil Shanahan.

Nesreče se dogajajo in potem se zadeve zapletejo. Sodobne vojske so porabile stoletja, da so ugotovile, kako razločevati med neizogibnimi tragedijami v vojni, za katere ni nihče kriv, in dejanji s slabimi nameni, znašanjem nad nedolžnimi in brutalno malomarnostjo. Še danes je to zahtevna naloga. Prepuščanje dela človekove dejavnosti in presoje algoritmom, ki v številnih primerih temeljijo na matematičnem načelu optimizacije, bo za ta moralna vodila in doktrino izziv brez primere, je opozoril Courtney Bowman, globalni direktor za zasebnost in državljanske svoboščine v Palantirju, podjetju s sedežem v Združenih državah Amerike, ki razvija programsko opremo za upravljanje podatkov za vojske, države in velika podjetja.

»Gre za prelomno, rušilno tehnologijo,« je dodal Bowman. »Za sprejemanje tehtnih odločitev bo nujen nov etični konstrukt.«

Palantir je letos napovedal, da razvija programsko opremo z imenom Umetnointeligenčna platforma, ki omogoča povezovanje velikih jezikovnih modelov z vojaškimi izdelki podjetja. Potezi se v obdobju ChatGPT ni bilo mogoče izogniti. V prikazu delovanja platforme, ki ga je podjetje objavilo na Youtubu, ta uporabnika opozori na potencialno nevaren sovražnikov premik in nato predlaga, naj tja pošlje dron za podrobnejši ogled razmer, predloži tri mogoče načrte za prestrezanje napadalca in nariše najboljšo pot, po kateri ga izbrana enota za napad najlažje doseže.

A kljub očitno tako pametni napravi vojska noče, da bi uporabnik slepo zaupal vsakemu predlogu. Če človek pritisne le en gumb v verigi, to ne bi smel biti gumb »Verjamem«, kot se je izrazil zaskrbljen, vendar anonimen vojaški operativec v vojni igri ministrstva za obrambo leta 2019.

Agencija Darpa je v okviru programa, imenovanega Urbano izvidništvo z nadzorovano avtonomijo, vzpostavila sistem, ki je robotom in dronom omogočal delovati kot prednji opazovalci za vojaške enote med operacijami v mestih. Ko je mnenje povedala svetovalna skupina za etična in pravna vprašanja, je padla odločitev, da bo programska oprema ljudi vedno označevala le kot 'zanimive osebe' (persons of interest). Čeprav je namen tehnologije čimprejšnje izkoreninjenje zased, nikoli ne bo človeka ožigosala za 'grožnjo'.

Upajo, da bodo s tem preprečili napačne sklepe med vojaki. Vključuje pa tudi pravni vidik, kot je pojasnil Brian Williams, zunanji raziskovalec na inštitutu za obrambne analize, ki je vodil svetovalno skupino. Za zdaj se ni še nobeno sodišče strinjalo, da naprava neko osebo zakonito lahko označi za grožnjo, je povedal, a hkrati ni sodišča, ki bi to stoodstotno označilo za protizakonito. Zaveda se tudi, da so ljudje v vojski, ki se ne strinjajo z njegovim previdnim tolmačenjem zakona. Kot je še dodal, je Darpa sprva želela, da bi program za urbano izvidništvo samostojno lahko prepoznaval namere neke osebe, vendar so tudi to funkcijo po pozivu skupine odstranili.

Bowman je razložil, da so se v Palantirju odločili za pristop z vdelovanjem načrtne neučinkovitosti na stopnjah odločanja, ko je zadeve treba umiriti in upočasniti. Na primer, ko računalnik opozori na premik sovražnikove čete, bi uporabnik morda moral poiskati še drug obveščevalni vir, preden bi se odločil za ukrep (v videu ni videti, da bi platforma za umetno inteligenco res tako delovala).

V primeru umetnointeligenčne naprave se podatek predstavi tako, da se gledalec in analitik zavedata, da gre zgolj za predlog, je izpostavil Bowman. V praksi bi bila človekova presoja pred vplivom zavajajoče pametne naprave zaščitena zgolj zaradi detajlov grafične zasnove. »Če so zanimivi ljudje na zaslonu prikazani kot rdeče pičice, to podzavestno vpliva drugače, kot če so zanimivi ljudje prikazani kot majceni smeški,« je pojasnila Rebecca Crootof, predavateljica prava na univerzi v Richmondu, ki veliko piše o izzivih odgovornosti, kot jih prinaša model avtonomnega orožja s človeško interakcijo.

Nekateri sistemi za podporo pri odločanju so nesporno zasnovani za hipne odločitve v nujnih primerih. Ameriška vojska je v terenskih poskusih 20-minutni cikel odločanja skrajšala na 20 sekund. Poleg tega trgu očitno ne diši omejevanje in tako so na demonstracijskih posnetkih na spletu okvirčki računalniških namerilnih naprav tako Elbita kot Smartshooterja krvavo rdeče barve.

Včasih pa bo računalnik imel tudi prav, motil se bo človek.

Če je vojak na strehi podvomil, ali res vidi puško, pa se je izkazalo, da je senca na oknu res sovražnikov ostrostrelec, bi vojakovi soborci lahko plačali visoko ceno za tisti hip ali dva, ko je omahoval.

To je drugi morebitni izvor težav, o katerih se veliko manj razpravlja, čeprav se v dejanskem boju ne bodo pojavljale nič redkeje. Človek bo zaradi tega v precepu. Vojake bodo podučili, naj bodo dovolj nezaupljivi do svojih digitalnih asistentov, da bodo ohranili lastno presojo. A ker imajo naprave pogosto prav, bi lahko ravno ta obotavljivost, da bi se pokorili računalniku, postala stopnja, na kateri je mogoče preprečiti neuspeh.

V zgodovini letalstva ne manjka primerov, ko se pilot ni uklonil napravi in je zato povzročil katastrofo. In do takih (pogosto tragično preminulih) oseb preiskovalci nesreče niso prizanesljivi. Carol J. Smith, raziskovalka na Inštitutu za programski inženiring pri univerzi Carnegie Mellon, ki je pomagala sestaviti smernice odgovorne umetne inteligence na Oddelku za obrambne inovacije pri ministrstvu za obrambo, ne vidi težav: »Če oseba v tistem trenutku meni, da je odločitev napačna, prevzame odgovornost in se bo pač morala soočiti s posledicami.«

Drugi v tem vidijo zvito etično zagonetko. Znanstvenica Madeleine Clare Elish razmišlja, da bi človek, ki bi se znašel v takšni nemogoči zanki, navsezadnje lahko služil »moralnemu mečkalnemu območju«, kot se je izrazila. V primeru nesreče ne glede na človekovo ali računalnikovo ali skupno zmoto, bo oseba, ki je sprejela odločitev, absorbirala krivdo in vse druge v verigi poveljevanja zaščitila pred polnim udarcem odgovornosti.

Smithova je v nekem eseju zapisala, da takšne odgovornosti ne bi smeli naprtiti najslabše plačani osebi, prav tako pa ne najbolje plačani, temveč bi jo morali razpršiti med vse vpletene. Uvedba umetne inteligence ne bi smela popolnoma nič vplivati na to odgovornost.

V praksi je to težje, kot zveni. Crootofova je izpostavila, da celo danes ni pretirane odgovornosti zaradi nesreč v vojni. Ko bo umetna inteligenca še obsežnejša in bolj zapletena, veriga ubijanja pa krajša in bolj podobna mreži, bo iskanje pravega krivca postalo še bolj podobno labirintu.

Tisti, ki razvijajo ta orodja, in podjetja, za katera delajo, se najbrž ne bodo izpostavljali. Razvoj umetnointeligenčne programske opreme je dolgotrajen postopek z veliko ponavljanja in pogosto črpa iz odprtokodnega programja, odmaknjenega daleč proč od dejanskih otipljivih dejstev krogle, ki prodre v meso. In če ne bo prišlo do bistvenih sprememb ameriških zakonov, bodo pogodbeniki v glavnem varni pred odgovornostjo, je poudarila Crootofova.

Vsak poskus klicanja na odgovornost tistih više v verigi poveljevanja bi verjetno preprečila gosta tančica državne skrivnosti, ki ovija večino umetnointeligenčnih orodij za pomoč pri odločanju in načine njihove uporabe. Ameriške letalske sile niso bile pretirano zgovorne o tem, ali so umetno inteligenco že uporabile v resničnem svetu. Shanahan pravi, da so Mavenove umetnointeligenčni modele že kmalu po začetku projekta uporabili za analizo obveščevalnih podatkov, leta 2021 pa je predstavnik letalskih sil oznanil, da so umetnointeligenčne algoritme nedavno prvič uporabili v živo v ubijalski verigi operacij. Takratni tiskovni predstavniki pa so dodali, da so ta orodja na voljo v obveščevalnih centrih po celotnem planetu, kadarkoli jih potrebujejo. Laura McAndrews, trenutna tiskovna predstavnica letalskih sil, je sicer zanikala uporabo algoritmov v ubijalski operaciji v živo in zavrnila razkritje podrobnosti o drugih algoritmih, ki bi jih utegnili uporabljati.

Dejanske zgodbe morda še leta ne bodo razkrili. Leta 2018 je Pentagon sprejel sklep, v skladu s katerim za projekt Maven ne velja zakon o pravici dostopanja do informacij. Lani je celoten program predal državni agenciji za geoprostorsko obveščanje, ki je odgovorna za obdelavo ogromne množice ameriških podatkov iz zračnega nadzora. Robbin Brooks, predstavnica te agencije, je na vprašanje, ali so algoritmi vključeni v verigo poveljevanja pri ubijanju, odgovorila le, da ne sme govoriti o podrobnostih, kako in kje se uporablja Maven.

V nekem smislu je to, kar je na tem področju novega, hkrati tudi staro. Svojo varnost – pravzaprav kar svoj obstoj kot vrsta – pogosto polagamo v roke drugih ljudi. Te odločitve pa odločevalci prelagajo na naprave, ki jih niti ne razumejo popolnoma.

V odličnem eseju o avtomatizaciji, ki je izšel leta 2018, v obdobju, ko je bila uporabna podpora umetne inteligence pri odločanju še redkost, je nekdanji sekretar ameriške mornarice Richard Danzig izpostavil, če se predsednik 'odloči' ukazati jedrski napad, se to ne bo zgodilo, ker bi nekdo pogledal skozi okno ovalne pisarne in videl sovražnikove izstrelke, kako padajo na Washington, temveč zato, ker so te izstrelke odkrili, jim sledili in prepoznali – upati je, da pravilno – algoritmi mreže letalske obrambe.

Tako kot poveljnik ukaže napad topništva po nasvetu klepetalnega robota ali strelec, ki sproži že samo ob pogledu na rdeč okvirček, lahko rečemo le, da pri tem sodeluje človek, je zapisal Danzig.

»To je v sodobnem času pogosta situacija,« je dodal. »Človeški odločevalci so jezdeci, ki potujejo po temačnem terenu in skoraj ali sploh ne morejo oceniti mogočne živali, ki jih nosi in vodi.«

Med ljudmi, odgovornimi za varovalke, da nas te živali nazadnje ne bi še požrle, včasih zavlada strah vzbujajoče malodušje. Med vrsto pogovorov, ki sem jih pripravil zaradi pisanja te zgodbe, je moj sogovornik zapadel v vdanost zaradi neizbežnosti smrti in uničenja, ki sta resda tragična, vendar zanju ni mogoče okriviti le ene osebe. Vojna je kruta, tehnologija nepredvidljivo odpove, a tako pač je.

»Med bojevanjem v vojni je uporaba katerekoli tehnologije, kaj šele umetne inteligence, povezana z določeno škodo in trpljenjem, s katerima se poskušaš – s katerima se moraš sprijazniti, in gre predvsem za omejevanje tveganja.«

Mogoče je, ni pa še dokazano, da bi vključitev umetne inteligence v bojevanje pomenila manj civilnih žrtev, kot pogosto trdijo njeni zagovorniki, vendar za nepreklicno združitvijo človekove presoje in matematičnega utemeljevanja v ključnih trenutkih vojne morda tičijo skriti stroški – ki presegajo preprosti, univerzalni seštevek. Morda nekaj preprosto ne more biti in ne bi smelo biti prav, če izbira časa in načina, kako bo nekdo umrl, spominja na naročanje prevoza prek Uberja.

Za napravo je to morda suboptimalna logika, za nekatere ljudi pa je to bistvo. »Eden od vidikov presoje kot človeške zmogljivosti je, da se to zgodi v odprtem svetu,« je razložila Lucy Suchman, izredna profesorica antropologije na univerzi Lancaster, ki že štiri desetletja piše o zadregah vzajemnega delovanja med človekom in strojem.

Parametri odločitev o življenju in smrti – vedeti, kaj pomeni sveže perilo, ki visi z okna, a si hkrati želeti, da soborci ne bi umrli – so ireduktibilno kvalitativni, je povedala. Kaos, hrup in negotovost, teža tega, kar je prav in kar je narobe sredi vsega tistega besnenja – niti trohice tega ni mogoče definirati algoritemsko. V zadevah življenja in smrti in računsko popolnega rezultata. »In od tod izvira moralna odgovornost,« je poudarila. »Presojate.«

Merilna naprava ne pritiska na sprožilec. Tudi klepetalni robot ne. A vedno, ko naprava prevzame novo vlogo, ki zmanjšuje, kar je ireduktibilno, se morda kanček približamo trenutku, ko bo ubijanje na sploh bolj strojno kot človeško, ko etika postane formula in odgovornost komaj kaj več od abstrakcije. Če se strinjamo, da strojem ne bomo dovolili, da bi nas pripeljali do te točke, se bomo prej ali slej morali vprašati, kje je meja.

Copyright Technology Review, distribucija Tribune Content Agency