Pogled na drugo stran

Tehnološka podjetja nas skušajo na vsakem koraku prepričati, kako je tehnologija v zadnjih desetletjih izboljšala življenja ljudi. Po drugi strani pa jo za nečedne namene uporabljajo tudi brezvestne vlade držav, kriminalci in teroristi. Med »sejalci zla« so se v zgodovini vse pogosteje znašli tudi računalniki.

Računalniki so v službi ljudi že praktično šest desetletij, v tem obdobju so odigrali pomembno vlogo pri našem razumevanju sveta in predvsem spreminjanju načinov našega dela in komunikacije. Sodobna tehnologija se je v najrazličnejših oblikah naselila v naše domove, avtomobile in celo žepe oblačil ter pomembno vplivala na spremembe v naši kulturi, vedenju in odzivanju. Večina teh sprememb je seveda pozitivnih, torej na bolje, pri čemer vodijo bistveno poenostavljene komunikacije z vsem svetom, učinkovitejše delo in boljša zabava. Kljub vsem dobrim platem pa se velja zavedati, da so bili nekateri temelji današnje tehnologije zgrajeni na podlagi resnično temačnih motivov in potreb, ki sta jih prinesli s seboj 2. svetovna vojna in hladna vojna. Zgodovina računalništva tako vsebuje več zaskrbljujočih zgledov pehanja za močjo in oblastjo ter dobički na rovaš človeških življenj.

Drži, tudi računalniki so bili neredko uporabljeni za zla dejanja, celo grozodejstva, ki so se zgodila namerno ali pa kot posledica napak, pomot oziroma malomarnosti. Stalen razvoj področja umetne inteligence in povsem samostojnih sistemov, ki smo mu priča vso računalniško zgodovino, pa nas lahko navdaja s še bolj strašljivimi obeti za prihodnost. Se mar lahko upravičeno sprašujemo o tem, ali bodo vse pametnejši računalniki poskrbeli za še večje zlo, se dvignili nad človeštvo, ki jih je ustvarilo, ter uresničili najtemnejše scenarije iz znanstvenofantastičnih filmov ali jih celo presegli? Bo mar tehnološki napredek dosegel točko preloma, ko ljudje ne bomo več vrsta, sposobna preživetja? Vredno razmisleka. Žal že pokojni dedek pisca teh vrstic je že pred desetletji ob vnukovem navdušenju nad tehnologijo in računalništvom rad ponavljal stavek:  »Tehnologija je spravila svet na noge in tehnologija ga bo tudi ugonobila!«, ne da bi slutil izjemne tehnološke preboje, ki so sledili.

Hiter razvoj najrazličnejših tehnologij

Na računalniških rešitvah temelječe tehnologije, kot sta GPS in digitalni rentgenski aparati, vsak dan znova pomagajo ščititi in reševati življenja. Tako kaj hitro pozabimo, da so bili tehnološki preboji zanje zasnovani v precej temnih časih. Že res, da so bili sami začetki računalništva precej nedolžni, saj zanje štejemo programabilne stroje oziroma avtomatizirane statve, ki jih je razvil za tekstilno industrijo Joseph Marie Jacquard že pred dvesto leti. Prvi teoretični računalnik z analitičnim pogonom pa je oblikoval Charles Babbage, in sicer z namenom odprave človeških napak pri računanju matematičnih tabel. Tudi to se je zgodilo v začetku 19. stoletja. Očitno sta bila motiva v teh dveh primerih skrajno nedolžna. Računalnike, kot jih poznamo danes, je človeštvo spoznalo šele v letih pred drugo svetovno vojno. In prav vojna je bila tista, ki je združila velikanske količine denarja in drugih sredstev z znanji (teoretičnimi in praktičnimi) strokovnjakov. Teorija Alana Turinga, ki ga sicer označujemo za očeta modernega računalništva, se je uresničila. Analitiki in raziskovalci v ustanovi Bletchley Park so močno prispevali k razvoju izjemno zmogljivih računalniških strojev, ki so pripomogli k razbitju nemških vojaških šifer, s t. i. »Turingovo bombo« pa tudi k razbitju šifriranja Enigme. Pod njihovim okriljem je nastal tudi Colossus – prvi programabilni, digitalni in elektronski računalnik.

A čeprav gre za izdelek, ki je nastal za potrebe vojske, to še ne pomeni, da ima računalnik samodejno  negativen ali celo zli prizvok. Računalniki Colossus so zasloveli predvsem zaradi uporabe metode napadov z uporabo grobe matematične moči, s katero so zlomili Lorenzovo šifriranje, ki ga je uporabljala nemška vojska, zato so zavezniške sile rešile in prihranile marsikatero življenje. Po zaslugi angleškega razbitja nemškega šifriranja je tudi sama druga svetovna vojna trajala bistveno manj časa,  kot bi sicer. V omenjenem vojnem času je razvoj računalniških rešitev resnično dobil krila. Rodil se je ENIAC, veliki elektronski »možgani«, težki več kot 27 ton, ki je imel vgrajenih več kot 17 tisoč elektronk. Računalnik ENIAC sta si zamislila in v popolni tajnosti za ameriško vojsko oblikovala John Presper Eckert in John William Mauchly z Univerze v Pensilvaniji. Pol milijona dolarjev vreden stroj je vojska uporabljala predvsem na področju balistike, in sicer za izračune poti topovskih granat, letalskih bomb ... Pozneje so ENIAC, ki je deloval med letoma 1946 in 1955, uporabili tudi pri reševanju problemov v jedrski fiziki.

Čeprav je bil glavni razlog za razvoj in obstoj ENIACa povezan z natančnostjo izračunov smrtonosnosti orožij ameriške vojske, pa je že v fazi razvoja pritegnil pozornost matematika Johna von Neumanna, ki je delal na projektu Manhattan – razvijal je namreč vodikovo bombo. Poznavalci razmer so kasneje pojasnili, da je bil prvi preizkus matematičnih sposobnosti superračunalnika tistega časa pravzaprav obdelava izračunov za omenjeno bombo. Težko je reči, ali je prav ENIAC tisti kamenček, ki je sprožil plaz, vsekakor pa so orožja po zaslugi računalnikov postajala vse zmogljivejša in vedno bolj smrtonosna.

Temna zgodovina

Izdelava orožij, jedrskih ali drugih, je zrela za vsaj dvolično razpravo po načelu odvisnosti od tega, kdo in za kakšen namen jih razvija, nekatere druge primere negativne rabe računalnikov pa teže zagovarjati. Leta 2001 je ameriški novinar Edwin Black izdal knjigo z naslovom IBM in holokavst, v kateri IBM in njegovo nemško podružnico Dehomag obtožuje sodelovanja z nacističnim režimom, ki je v Nemčiji zavladal po prihodu Hitlerja na oblast leta 1933 in se obdržal vse do leta 1945 in padca t. i. tretjega rajha.

Gmota elektronk, znana tudi kot ENIAC, ki jo je ameriška vojska zgradila z namenom računanja najrazličnejših lastnosti orožij.

Pisca omenjene knjige je zmotila že vloga luknjačev kartic Hollerith, ki jih je dobavljal Dehomag, saj so z njimi v tridesetih letih prejšnjega stoletja izvedli popis Judov. IBMove tehnologije so pomagale tudi pri organizaciji železniškega prometa in pri registraciji zapornikov v koncentracijskih taboriščih. V knjigi avtor navaja še, da je IBM-ova podružnica številno opremo dala v najem (in ne prodala) tretjemu rajhu ter jo med vojno vzdrževala in nadgrajevala, Dehomag pa naj bi tudi skrbel za izobraževanje nekaterih nacističnih oficirjev in upraviteljev koncentracijskih taborišč.

Plakat o luknjačih kartic Hollerith iz leta 1934, po zaslugi katerih lastnik »vidi vse«.

Obseg sodelovanja med IBM in tretjim rajhom je sicer sporen, a je družba Dehomag hitro prišla pod nadzor nacističnih oblasti, katerim je tudi dobavila opremo, ki je bila uporabljena v namene popisa najrazličnejših dejavnosti in prebivalstva. V nadaljevanju je tudi poskrbela za možnost uveljavljanja različnih ukrepov proti lastnim državljanom in državljanom napadenih ter podjarmljenih držav. Čeprav za sisteme, ki so temeljili na luknjanih karticah, težko trdimo, da so računalniki, pa so vsekakor njihovi bližnji bratranci, ki so tako bili del grozodejstev druge svetovne vojne.

Računalniške nečednosti

Zločini nacističnega režima izstopajo po brutalnosti, tudi novejša zgodovina pa nam lahko postreže z vrsto zgledov, ko so bili računalniki uporabljeni v nespodobne namene. Vlada Južnoafriške republike je v času aparthaida z računalniško pomočjo spremljala državljane in jih delila na različne rasne skupine. Če ostanemo v JAR, lahko zapišemo tudi, da je leta 1997 v tej državi začel veljati embargo na orožje, vendar so v tistem času računalnike še vedno prodajali. Šele leta 1980 je posredoval odbor Združenih narodov in varnostnemu svetu predlagal prepoved izvoza računalnikov v to afriško državo. Dejanska zaustavitev izvoza računalnikov za policijo in vojaško rabo iz Evropske unije in držav članic varnostnega sveta je JAR doletela šele v letih 1985 in 1986. A ker sam embargo ni bil celovit, je imel bore malo vpliva na vladna naročila računalnikov. Čeprav tudi v tem primeru težko najdemo neposredno povezavo med računalniki in nasiljem nad državljani, pa so računalniki odigrali pomembno vlogo pri spremljanju državljanov in kratenju njihovih človeških pravic. Temnopolti državljani so tako prejeli knjižico s podrobnimi podatki, kje se lahko gibljejo, živijo in delajo, nad njihovimi podatki pa je bdel računalniško podprt register prebivalstva.

Da prepoved uvoza računalnikov ni najbolj učinkovita v primeru vpletenosti vlad posameznih držav, priča tudi zgled iz Iraka. Država pod oblastjo Sadama Huseina je konec leta 2000 zgradila lasten superračunalnik kar iz igralnih konzol. Poganjalo ga je okoli 4000 konzol Sony PlayStation 2, ki so bile po grafični (torej tudi računski) moči okoli 15-krat zmogljivejše od povprečne grafične kartice v osebnih računalnikih tistega časa. Kot kaže praksa zadnjega desetletja, so prav grafični procesorji odlični matematiki. Ta trenutek najzmogljivejši superračunalnik, Cray Titan, ki deluje v mestu Oak Ridge z ameriški zvezni državi Tennessee, sestavlja kar 18.688 grafičnih procesorjev Nvidia Tesla K20.

Vsekakor ostaja malce grenak priokus, kaj vse bi se lahko zgodilo, če bi bil embargo, ki je veljal za časa Huseinovega režima, manj omejujoč glede računalniške opreme. Danes nas na izjemne zmogljivosti računalnikov, opremljenih z večjedrnimi procesorji in zmogljivimi grafičnimi karticami, opozarjajo številnih projekti – denimo mreža zanesenjakov omrežja Folding@home, ki se po zaslugi pristopa porazdeljenega računalništva na račun skoraj neomejene računalniške moči spopada tudi z najbolj kompleksnimi izzivi človeštva.

General Atomics MQ-1 Predator je vrsta brezpilotnega letala, ki je opravila večino ameriških napadov v vojnah v Afganistanu in Pakistanu.

Domišljija ali obsedenost z zlo tehnologijo?

Zgodovina nas uči, da je tehnološki napredek v ljudeh sprožil tudi različne sume in strah. Celo odkrito sovraštvo do strojev in naprav, ki so ogrozile zasebnost ali obstoj ljudi. O tem zgovorno pričajo že upori v tekstilnih tovarnah, ko so delavci začeli uničevati avtomatske statve. Pozneje se je v literaturi in filmu razvil žanr znanstvene fantastike, ki je dobesedno začinjen s stroji, računalniki, roboti in drugimi sistemi, ki v različnih vlogah nastopajo proti človeštvu. Od sistema HAL9000 v Vesoljski odisejadi do temačnega Skyneta v seriji filmov o Terminatorju. Morebiti bi kdo te stvaritve označil kot naivne fantazije ali bujno domišljijo, a treba je priznati, da so številni avtorji k problematiki zlega računalništva pristopili z izrazito filozofskega stališča. HAL9000, denimo, tako ni tipičen zli računalnik, temveč stroj, ki mora razrešiti dva nasprotujoča si ukaza – posadki vesoljskega plovila Discovery One mora prenesti natančne informacije, a jim obenem ne sme razkriti prave narave njihove misije in načrta o tem, da jih na koncu doleti nesreča (s smrtjo).

V zadnjih desetletjih so vlogo zlih računalnikov vse bolj prevzemali roboti. Ti so, odkar so nastali, tarča ljudi. Isaac Asimov, znan tudi po svojih treh osnovnih zakonih robotike, je tej problematiki posvetil izjemno veliko časa. Po njem robot ne sme poškodovati človeka ali kakorkoli prispevati k njegovemu ogrožanju, ubogati mora ukaze, ki mu jih dajejo ljudje (razen ko je to v nasprotju s prejšnjim členom), obenem pa mora robot ščititi svoj obstoj (a le, dokler zaščita ni v nasprotju s prvim in drugim členom). Uresničevanje teh na prvi pogled preprostih, nespremenljivih in nedotakljivih pravil je v zgodovini zadelo ob najrazličnejša moralna in filozofska vprašanja. V zgodbi o malem izgubljenem robotu beremo o tem, kako so nekateri roboti ustvarjeni z okrnjenim prvim pravilom in tako niso več dolžni ščititi ljudi in lahko sprožijo dejanja, ki škodijo ljudem, a z njimi ne bodo prenehali. Takšna zgodba sodi v fantastiko, a lahko sčasoma preraste v realno težavo. Prav mogoče je namreč, da bomo nekoč živeli v okolju, kjer nas bo obdajala tehnologija, ki bo pametnejša, hitrejša in močnejša od nas. Poskrbeti pa moramo, da jo bo vodila inteligenca, ki nam ne bo stregla po življenju.

Vsakdanje zlo

Superračunalnike lahko v vseh obdobjih povezujemo z različnimi nečednimi nameni, a danes največ nevarnosti preti prav s področja osebnih računalnikov. V obtoku je na desetitisoče škodljivih kod, ki lahko računalnik ali tablico spremenijo v t. i. zombi računalnik, ki je del omrežja okuženih računalnikov, s katerim upravlja posamezen heker ali skupina aktivistov. Ta omrežja računalnikov sicer ne premorejo nujno zmogljivosti superračunalnikov, se pa pogosto uporabljajo za usmerjene napade na strežnike in spletne strani podjetij ter vladnih ustanov po vsem svetu.

Vse več takih napadov meri na neposredne finančne koristi, krajo zaupnih informacij in rabo v druge zle namene. Aprila 2011 je tako skupina hekerjev napadla spletne strani in strežnike južnokorejske volilne komisije in poskrbela, da so na nadomestnih volitvah državljani težje prihajali do informacij o županskem kandidatu Park Won-soonu ter samih volitvah, s tem pa je delno vplivala na same volitve. Policija je pozneje aretirala tajnika južnokorejske velike narodne stranke ter še štiri druge osumljence v povezavi z napadi na spletni volilni sistem.

V zadnjem letu smo videli, s kakšno lahkoto interesne skupine aktivistov sprožajo napade proti organizacijam in vladam, z delom katerih se ne strinjajo. V začetku leta 2012 smo bili priča obračunu med izraelskimi in palestinskimi skupinami, ki je spravil na kolena celo borzo v Tel Avivu, banko First International Bank of Israel ter stran nacionalnega letalskega prevoznika El Al na eni strani, v »povračilnih ukrepih« pa poskrbel še za nedosegljivost borz v Savdski Arabiji in Združenih arabskih emiratih. Omenjeni napadi so seveda skrbno načrtovani, saj napadalci želijo strežnik(e), ki gosti(jo) spletno stran, preobremeniti z zahtevki in poskrbeti za neodzivnost strani. Pogosta tarča napadalcev so tudi omrežni usmerjevalniki, saj je končni rezultat soroden ali enak, napadi pa so mogoči zaradi napak pri izdelavi programske in/ali strojne opreme.

Takole so videti nadzorna središča za nadzor nad troti – vojaki jih upravljajo na daljavo.

Na vsakem področju, kjer nastopa sodobna tehnologija, ki zbira, hrani in izmenjuje podatke, so možnosti tako za napake kot tudi načrtne zlorabe. V začetnih letih podjetja Google, katerega glavni razlog obstoja je organizacija podatkov z vsega sveta, so zaposleni sprejeli delovanje po neformalnem kodeksu, imenovanem »Do no harm« (v prevodu: ne delajmo škode). Ta pristop še danes velja v kodeksu ravnanja podjetja, čeprav nekateri kritiki podjetja dvomijo o njegovem vplivu na vedenje zaposlenih in celotne korporacije.

Podjetja pa niso edine organizacije, ki zbirajo in obdelujejo podatke. Vlade po svetu si želijo ohraniti nadzor na dejavnostmi in komunikacijo državljanov, pa naj gre za tradicionalne komunikacijske kanale ali pa sodobna družabna omrežja. Vse to jim seveda omogoča prav tehnologija. V najslabših primerih je prav tehnologija tista, ki oblastnikom omogoča (neutemeljen) nadzor in celo potencialno zatiranje državljanov, pa naj gre za sisteme prepoznavanja registrskih tablic vozil, uporabo sledenja s pomočjo videonadzornih kamer ali pa cenzure in blokiranja določenih spletnih in drugih vsebin ter storitev (k čemur sodijo tudi seznami prepovedanih knjižnih del ipd.).

Vojaški stroji in njihove posledice

Lahko trdimo, da zbiranje in analiza podatkov ali pa preproste sistemske napake lahko povzročijo le omejeno škodo, to pa seveda ne drži za računalniške sisteme, ki so zasnovani za to, da se na podlagi teh podatkov odzovejo in povzročajo škodo. Razvoj orožij se od prvih balističnih računalnikov ni ustavil, zato danes sodoben arzenal sestavljajo orožja, podprta s številnimi računalniškimi sistemi, ki jim npr. pomagajo izdelati zemljevid terena, prepoznati prijateljske in sovražnikove vojake ter tarče in, v idealnih razmerah, slednje tudi uničiti.

Nekatere tehnologije so tako uporabljane pretežno v miroljubne namene, denimo GPS, druge pa so povsem specializirane za škodljive namene, recimo sistemi vodenja vojaških raket. Vojska v zadnjih letih poudarja predvsem zmožnost visoke natančnosti ciljanja teh rešitev, primerjajo se s kirurgi, a pri tem velja poudariti, da so tudi najboljši sistemi lahko natančni le toliko, kolikor so natančni podatki in informacije, ki jih prejmejo v obdelavo.

Prav zato so se Američani opekli v začetku vojne v Iraku, ko so leta 2003 izstrelili vrsto raket na domnevni bunker Sadama Huseina in druge vojaške tarče, pri tem pa zadeli celo vrsto civilnih tarč in ubili veliko civilistov. A to ZDA ni ustavilo, da v zadnjem desetletju ne bi še pospešile rabe t. i. brezpilotnih letal, imenovanih tudi troti, ki opravljajo tako naloge nadzora kot tudi zračnih napadov. Ta zračna plovila so bila pod okriljem ZDA v akciji ne le v Iraku, temveč predvsem v Afganistanu in Pakistanu. Troti so zelo priljubljeni tako med vojsko kot tudi med nacionalnimi varnostnimi agencijami, saj so cenejši od klasičnih vojaških letal, obenem pa jih lahko uporabljajo za vse nevarne ali pa tudi nelegalne misije, ne da bi pri tem tvegali življenje pilota oziroma nevšečnosti, ki bi nastale ob sestrelitvi letala ter pristanku pilota v ujetništvu. Kritiki brezpilotnih letal poudarjajo predvsem to, da zanašanje na umetno zbrane podatke ter številne napadalne misije teh letal povečujejo tveganje, da bodo žrtve med nedolžnimi civilisti številčnejše.

V vojnih razmerah je namreč zelo težko preveriti dejansko resničnost poročil in številke o žrtvah. Mednarodna pisarna raziskovalnega novinarstva navaja, da je na račun napadov trotov v Pakistanu od leta 2004 izgubilo življenje okoli 3000 ljudi, različna vojaška poročila pa navajajo številke med 473 in 889 žrtvami na strani civilistov. Ocene poznavalcev razmer so seveda še precej bolj pesimistične, saj  navajajo, da za vsakega vojaka, ki podleže napadu trotov, v povprečju umre kar deset civilistov.

Vloga umetne inteligence

Orožja, ki sejejo uničenje in smrt, so danes še vedno pod nadzorom ljudi, ki za svoja dejanja in njihovo uporabo nosijo moralno in (včasih) tudi zakonsko odgovornost. A tehnologija trotov se razvija zelo hitro in ameriško vojno letalstvo že napoveduje, da bo v prihodnosti umetna inteligenca po zaslugi številnih sistemov že znala sama sprejeti različne bojne odločitve na terenu, pri čemer naj bi se držala zakonskih in političnih omejitev. Povedano preprosteje – nova generacija trotov utegne že sama izbirati, koga bo ubila.

Jasno je, da je takšno delovanje povezano z večjim tveganjem. Vojaški roboti so lahko tudi nepremišljeni, saj imajo že danes v določenih situacijah težave z razločevanjem in prepoznavanjem ljudi ter samega konteksta – najbolj banalen zgled: ali skupina poskočnih ljudi predstavlja protestnike ali le veselo druščino na praznovanju poroke. Razvojniki in raziskovalci s področja umetne inteligence sicer umirjajo žogico in dodajajo, da trenutno nimajo načrtov, da bi iz odločitvene enačbe povsem izločili ljudi. Dejstvo pa je, da nobena vojaška velesila nima dovolj izšolanih operaterjev, ki bi krmilili številne čete trotov, ki se kopičijo v vojaških skladiščih. Vojska bi v vsakem primeru precej pridobila z dodatno avtomatizacijo teh ubijalskih strojev.

Umetna inteligenca je danes še daleč od superpametnih sistemov, kakršne si v svoji domišljiji zamišljajo znanstveniki in pisatelji, kljub temu pa so te rešitve bliže, kot si marsikdo od nas predstavlja. Računalniški možgani morebiti res še ne obvladajo misli, prilagodljivosti, sposobnosti sklepanja in samoučenja po vzoru človeških možganov, zato pa blestijo v drugih specifičnih nalogah, denimo preprečujejo blokiranje avtomobilskih koles pri močnem zaviranju, obvladajo pa tudi igranje šaha. V zadnjem času so najboljši umetni sistemi začeli ljudi premagovati tudi pri nekaterih bolj kompleksnih nalogah, npr. prepoznavi obrazov, napredek pa hitro napreduje.

Duh v stroju

Le ugibamo lahko, ali nam bo kdaj uspelo narediti natančno kopijo človeških možganov, lahko pa smo precej prepričani o tem, da bodo znanstveniki sposobni ustvariti stroj, ki bo ponujal podobno raven inteligence kot človek. Sčasoma pa bi lahko izdelali tudi stroj, ki bo precej pametnejši od posameznika. In tu se začne vizija umetne inteligence. Ti učeči se stroji bi nato sami ustvarjali še bolj pametne stroje, dočakali bi eksplozijo pameti v rokah »računalnikov«. Tak scenarij ponuja vrsto presenetljivih možnosti. Po zahvali umetne inteligence bi lahko računalniki prihodnosti reševali probleme, ki jim ljudje nismo kos. Našli bi zdravila za trenutno neozdravljive bolezni, iznašli varen in neomejen vir energije ali celo izdelali fizični model novega vesolja. Lahko bi se celo spopadli s filozofskimi izzivi, kot sta obstoj boga, pomen življenja, ter v praksi uresničili scenarij iz Štoparskega vodnika po galaksiji.

Scenarij, po katerem bi človeštvo izgubilo absolutno moč in oblast nad planetom, buri številne znanstvenike. Univerza v Cambridgeu je novembra lani oblikovala pravcati center za preučevanje tveganja obstoja človeške vrste, kjer znanstveniki med drugim že obravnavajo tudi tveganja, ki jih za človeštvo predstavlja lastno razvita tehnologija. Akademiki so doslej oblikovali dva predloga, kako se lotiti razvoja umetne inteligence. Prvi predlaga strategijo, po kateri bi stroje učili le človeške inteligence, zato bi ti osvojili tudi naše navade in vrednote ter z nami delili skrb za varovanje naših interesov. A zdi se malo verjetno, da bo prva superinteligenca natančen posnetek človeške nravi. Zato utegne v praksi prevladati drugi pristop, po katerem bi umetno inteligenco še naprej omejevali le na ozka področja dejavnosti. Torej bi do razvoja superinteligence sploh ne prišlo.

Kaj reči za konec? Računalniki so bržkone človekovi najboljši pripomočki, tako kot druga orodja pa lahko rabijo v dobre ali zle namene. Navadno rabijo dobremu, ko pa ne, gre navadno za nesreče ali napake v dizajnu. Kakorkoli že, trenutno je vsa moralna odgovornost na plečih ljudi. Prav mogoče je, da se bodo v prihodnosti računalniki tako razvili, da jih ne bomo mogli obvladovati – postali bodo pametni in samostojni in se obnašali po lastni presoji. Vsekakor pa moramo poskrbeti, da bodo na svet gledali tako kot mi, drugače bo le ena sama zgodba o zlih računalnikih, ki je ne bo več mogel povedati nihče ...