Ono što je do nedavno bio tek scenarij distopijske znanstvene fantastike, sada se čini nadohvat ruke. Pojava vojnih robota koji mogu samostalno odlučivati o upotrebi smrtonosne sile užasava, ali i oduševljava mnoge. Sigurno je samo da bi njihova proliferacija suštinski promijenila karakter ratovanja, kao i razumijevanje odgovornosti za ratne zločine
Na sajmu oružja Eurosatory, održanom u lipnju 2016. nedaleko od Pariza, kopneni borbeni roboti bili su glavne zvijezde. Riječ je o strojevima koje je moguće opremiti automatskim oružjem i bacačima granata, poput estonskog TheMisa, ali i onima čija je osnovna svrha da služe u borbi protiv terorizma, poput izraelskog Dogoa, ili pak praćenje konvoja, kao u slučaju također izraelskog RoBattlea, sedam tonskog vozila na šest kotača na koje je postavljena kupola sa strojnicom. Iako je ovdje riječ o oružju kojim iz daljine upravlja ljudski kontrolor, već postoje i vojni roboti koji su u potpunosti automatizirani.
To je slučaj s SGR-A1 koji je osmislila južnokorejska tvrtka Samsung. Ovaj “robot stražar” od 2013. neprestano nadzire granice dviju Koreja pomoću visoko osjetljivih kamera i senzora koji mogu detektirati metu na udaljenosti od četiri kilometra. Sposoban je prepoznati glas ili lozinku, razlikuje ljude od životinja i programiran je da odašilje naredbu za predaju osobi koja bi prešla liniju demarkacije. Ako meta podigne ruke u znak predaje, ovaj “Robocop” prekida napad. U suprotnom, koristi strojnicu Daewoo K3 kalibra 5,56mm ili bacač granata kalibra 40mm. Zasad naredbu za otvaranjem vatre još uvijek mora izdati čovjek na zapovjednom mjestu, ali postoji i “automatski” način rada koji robotu dopušta da sam djeluje.1 Kako objašnjavaju u Samsungu, ovaj se stražar nikad ne umara i ne smetaju mu loše vremenske prilike.
Za njihove promotore i dizajnere, roboti predstavljaju sjajno rješenje za obavljanje “prljavih zadataka”, osobito onih koji spadaju u kategoriju “depresivnih, degutantnih i opasnih”.2 Mogu zamijeniti vojnike na pojedinim osobito pogubnim misijama (poput razminiranja, djelovanja u području izloženom posljedicama nuklearnog, biološkog ili kemijskog oružja), u repetitivnim zadacima (poput nadzora ili patroliranja) ili onima koji su fizički zahtjevni (transport teškog tereta).
Kao i u slučaju dronova, odnosno bespilotnih letjelica, mnogi su upozorili kako unatoč brojnim problemima povezanima s ovom novom vrstom oružja, njihov razvoj dosad nije ni na koji način reguliran nekim međunarodnim pravilima. Najveća briga vojski koje ih uvode je, čini se, da ih ne prestigne neka druga sila. U nedavnom izvješću, Pentagon predlaže hitne mjere kako bi se ostalo u ovoj utrci. Kineska državna poduzeća već razvijaju nekoliko različitih robota s visokim stupnjem autonomije. Rusija je nedavno testirala sistem Unicum koji, prema nadležnoj državnoj agenciji, “vozilu daje intelektualne kapacitete koji omogućavaju da se u budućnosti gotovo sasvim isključi ljudska intervencija”.3 Naposljetku, Izrael stavlja u pogon čitav niz kopnenih robota koje su razvile njihove privatne kompanije ili poduzeća koja su dio njihovog cvjetajućeg vojno-industrijskog kompleksa.
Nakon izuma baruta i nuklearnog oružja, brzi razvoj vojne robotike i umjetne inteligencije prema nekima predstavlja treću revoluciju u tehnologiji ratovanja. U nedostatku zaštitnih mjera, sve veća sofisticiranost mogla bi dovesti do uspostave autonomnih bojnih sistema s kapacitetom usmrćivanja, kolokvijalno zvanih “robotima-ubojicama”. No pojedini dužnosnici su oprezni: “U određenim slučajevima, osobito kada se radi o upotrebi smrtonosne sile, nikada neće postojati potpuna autonomija, već će se uvijek uključivati čovjek u proces odlučivanja”, izjavio je u rujnu 2016. godine tadašnji američki ministar obrane, Ashton Carter.4 Istovremeno, potpredsjednik američkog Združenog stožera general Paul J. Selva smatra kako će kroz deset godina Sjedinjene Države razviti tehnologiju koja će omogućiti izradu robota sposobnih da sami donesu odluku o upotrebi smrtonosne sile, iako tvrdi kako to trenutno nije u planovima američke vojske.5
Kalašnjikovi budućnosti?
“Inzistiranje na obaveznoj ljudskoj kontroli omogućilo bi da se zadrže neki od osnovnih moralnih principa koji se tiču odluke o primjeni smrtonosne sile”, smatra Bonnie Docherty, zaposlena u odjelu za oružje organizacije Human Rights Watch koja vodi kampanju Stop robotima-ubojicama.6 Rastuća autonomija oružja otvara mnogo nepoznanica: “Upotreba takvog naoružanja postavlja pitanja koja nadilaze probleme regulirane međunarodnim pravom”, objašnjava Julien Ancelin, stručnjak za pravna pitanja razoružanja.7
Ona potkopava niz ključnih elemenata međunarodnog humanitarnog prava, koje regulira oružane sukobe još od prihvaćanja Ženevske konvencije 1949. i njezinih kasnijih nadopuna. To se osobito odnosi na zaštitu ljudskog dostojanstva, obavezu predostrožnosti, razlikovanja civila od vojnika, kao i “proporcionalnosti”, odnosno obavezu izbjegavanja ljudskih žrtava i štete “koji bi bili pretjerani u odnosu na izravno ostvarene prednosti na bojnom polju”. Ako će jednog dana roboti samostalno odlučivati o ljudskim životima, to će suštinski promijeniti prirodu ratovanja.
Nekoliko je tisuća istaknutih osoba, uključujući britanskog astrofizičara Stephena Hawkinsa, američkog lingvista Noama Chomskog i poduzetnike Elona Muska (SpaceX) i Stevea Wozniaka (Apple), prilikom Međunarodne konferencije o umjetnoj inteligenciji 28. srpnja 2015. godine objavilo javni apel za zabranu “robota-ubojica”. “Vjerujemo kako umjetna inteligencija ima veliki potencijal da bude korisna čovječanstvu na brojne načine i to bi trebao biti cilj njezina razvoja”, ustvrdili su u svom otvorenom pismu. “Njezino korištenje za pokretanje utrke u naoružanju je štetan projekt. Trebalo bi ga zaustaviti potpunom zabranom autonomnih ofenzivnih oružja koja funkcioniraju bez značajnog ljudskog nadzora”.
Njihova najveća bojazan je mogućnost širenja takvog oružja: “Ako jedna velika vojna sila učini značajan iskorak u razvoju oružja s umjetnom inteligencijom, svjetska utrka u naoružanju je praktički neizbježna, a onda je krajnji rezultat očit: autonomna oružja postat će kalašnjikovi budućnosti”. Poput ranije kemičara koji su se zalagali za zabranu kemijskog oružja, ili fizičara koji su prosvjedovali zbog proliferacije nuklearnog naoružanja, mnogi stručnjaci iz područja umjetne inteligencije tvrde kako ne žele da se njihov rad koristi za konstruiranje oružja.
Upravo zbog neprestanog razvoja novih vrsta oružja, međunarodnim su se sporazumima redovito proširivale odredbe Ženevske konvencije. Tako je 1980. usvojena “Konvencija o zabrani i ograničavanju upotrebe klasičnog oružja koje se može smatrati osobito razornim ili koje ima nediskriminatorno djelovanje”. Nedavno je nadopunjen i Protokol IV (na snazi od 1998. godine uz ratifikaciju 170 država) koji zabranjuje upotrebu i transfer lasera koji osljepljuju, čak i prije nego se takvo oružje uopće upotrijebilo u borbi. Međunarodni odbor Crvenog križa aktivno je sudjelovao u izradi i prihvaćanju ovog teksta mobilizacijom brojnih nevladinih organizacija i informiranjem medija. Također se sastao s dužnosnicima više država i uspio isposlovati potporu Europskog parlamenta, Afričke unije i Interparlamentarne unije.
Rastuća zabrinutost zbog automatizacije ratnih sredstava već je potaknula nekoliko konferencija država potpisnica Konvencije o konvencionalnom naoružanju u sklopu Ujedinjenih naroda. Francuski ambasador u UN-u, Jean-Hugues Simon-Michel, dobio je prvi mandat za vođenje procesa uključivanja “robota-ubojica” kao posebne kategorije u pravni sustav koji se odnosi na razoružanje.
Pitanje kontrole i odgovornosti
To bi s vremenom trebalo voditi prema novom protokolu. Tijekom neformalnih sastanaka, devetnaest zemalja Latinske Amerike i Afrike te Pakistan založili su se za potpunu zabranu. Na posljednjem od tih sastanaka, održanom u prosincu 2016., čak osamdeset i osam zemalja – uključujući i neke koje spadaju među vodeće u ovom tehnološkom polju – nešto je opreznije predložilo otvaranje službenih razgovora o reguliranju ovog tipa oružja međunarodnim pravom. Takvi bi se razgovori trebali održati u travnju i kolovozu ove godine, u sklopu pripreme za godišnji sastanak Konvencije o konvencionalnom naoružanju u studenom.
No regulacija neće biti jednostavna: treba dogovoriti službenu definiciju autonomnih bojnih sistema s kapacitetom usmrćivanja, na temelju koje bi se njihova upotreba ili razvoj zabranili, te odrediti do koje je razine potrebna ljudska kontrola, a onda to sve uskladiti sa Ženevskom konvencijom. Velik dio oružja već je sposoban sam birati mete, pa sada treba dogovoriti je li ljudska naredba nužna za otvaranje vatre ili je dovoljno samo da čovjek može zaustaviti ili ograničiti upotrebu smrtonosne sile.
Human Rights Watch zagovara “efektivnu kontrolu” ljudi, ali većina zemalja sklonija je puno ambivalentnijem terminu “značajne kontrole”. Francuska pak želi ojačati distinkciju između sistema koji uključuju “autonomiju” – različite razine kompleksnosti – i potpuno “autonomnih” sistema, dakle onih bez ljudskog nadzora.8 Konsenzus bi se mogao dostići oko koncepta “primjerene ljudske intervencije u pogledu upotrebe smrtonosne sile”, kako bi se jamčilo da će oružje biti korišteno na način koji je zamislio čovjek. No kako se takvi kriteriji mogu primijeniti u promjenjivim uvjetima bojnog polja?
Oružje će se također morati procjenjivati u pogledu svoje funkcije i posljedica njegove upotrebe s obzirom na principe “proporcionalnosti”. Otuda proizlazi važnost ograničavanja disperzije odgovornosti: treba jasno utvrditi zapovjedni lanac i odgovornost donositelja odluka kako se on ne bi mogao pozivati na kompleksnost programiranja oružja.
Rizik sklapanja sporazuma koji će imati samo minimalna ograničenja je velik, a najveće se sile ionako vrlo površno uključuju u raspravu. Rusija se nije izravno usprotivila zabrani, ali nije ni prihvatila formaliziranje diplomatskog procesa dok se jasno ne definira što je to smrtonosni autonomni oružani sistem. Kina je načelno izrazila potporu razvoju obvezujućih pravnih instrumenata. S druge strane, Indija ostaje vrlo rezervirana oko mehanizma kontrole oružja. Izrael se protivi globalnoj zabrani i predlaže “etapni” pristup, tvrdeći kako takvi strojevi mogu imati i vojne i humanitarne prednosti.
Preostaje još jedna velika nepoznanica: nova američka administracija. O ovom pitanju nije se raspravljalo tijekom izborne kampanje, a nije poznat ni stav novog ministra obrane Jamesa Mattisa. Do sada, Sjedinjene su Države zahtjeve za zabranom nazivale “preuranjenima”, iako su načelno podržavale proces međunarodne regulacije i razvijanja “dobrih praksi” kontrole oružja kao “prijelazne korake” prema formulaciji odgovora na brige koje izazivaju “roboti-ubojice”.
“Uključivanjem grupe vladinih stručnjaka u službeni proces formuliranja pravila, države su osigurale da on ne ostane samo odgovornost vanjskih stručnjaka”, smatra Mary Wareham, koordinatorica kampanje Stop robotima-ubojicama. “To budi nadu da će konačno nešto i učiniti po ovom pitanju”. Novi se protokol može dogovoriti na vrijeme samo ako se osigura snažno sudjelovanje i vladinih i nevladinih aktera. Poštivanje ciljeva održanja mira i međunarodne sigurnosti, koje propisuje Povelja Ujedinjenih naroda, zahtjeva da se rizik proliferacije robota-ubojica sreže u korijenu.
Édouard Pflimlin
S francuskog preveo: Nikola Vukobratović/LeMondeDiplomatique
* Édouard Pflimlin je novinar i suradnik francuskog Instituta za međunarodne i strateške odnose (IRIS).
1 “Robotisation de la guerre: le soldat SGR-A1, l’ultime sentinelle”, 7. siječnja 2015., Contrepoints.org; “Samsung Techwin SGR-A1 Sentry Guard Robot”, GlobalSecurity.org, 11. srpnja 2011.
2 Prema engleskoj frazi “Dull, dirty and dangerous”, vidi Ronan Doaré, Didier Danet i Gérard de Boisboissel (ur.), Drones et killer robots. Faut-il les interdire?, Presses universitaires de Rennes, 2015.
3 “Bientôt une armée de robots autonomes?”, Sputniknews.com, 19. listopada 2015.
4 Sydney J. Freedberg Jr. i Colin Clark, “Killer Robots? ‘Never’, Defense Secretary Carter says”, BreakingDefense.com, 15. rujna 2016.
5 Matthew Rosenberg i John Markoff, “The Pentagon’s ‘Terminator Conundrum’: Robots that could kill on their own”, The New York Times, 25. listopada 2016.
6 “Killer Robots and the concept of meaningful human control”, bilješka delegatima Konvencije UN-a o konvencionalnom oružju, Human Rights Watch, travanj 2016.
7 Julien Ancelin, “Les systèmes d’armes létaux autonomes (SALA): enjeux juridiques de l’émergence d’un moyen de combat déshumanisé”, La Revue des droits de l’homme, Nanterre, listopad 2016.
8 Intervencija francuskih predstavnika na neformalnom sastanku o autonomnim bojnim sistemima s kapacitetom usmrćivanja, 13.-17. travnja 2015.