De ontwikkeling van autonome wapensystemen

Een van de jongste innovatieve ontwikkelingen op het gebied van bewapening is de opkomst van de zogeheten autonome wapensystemen, vaak ook wel aangeduid als lethal autonomous weapons systems (LAWS). In dit VB zal verder de term LAWS worden gebruikt. In korte tijd hebben LAWS, in bepaalde kringen met name rond de vredes en mensenrechtenbewegingen, al veel weerstand opgeroepen. Een reactie die enigszins vergelijkbaar is met de weerstand die de voorgenomen plaatsing van Amerikaanse Ground Launched Cruise Missiles (GLCM’s) in de vorige eeuw in Nederland opriep. De kruisraketten zijn er in Nederland door het ondertekenen van het INF-verdrag door de VS en Sovjet-Unie nooit gekomen, maar zij spelen tot op de dag van vandaag een significante rol in de wereld. Recentelijk nog werd de maritieme versie van deze Tomahawk kruisraket ingezet tijdens de Amerikaanse aanval op een Syrische vliegbasis. De kruisraketten hebben een kleine revolutie bewerkstelligd en maakten het mogelijk een in tijd en plaats beperkte aanval uit te voeren op een ver verwijderd vijandelijk doel, zonder daarbij eigen troepen aan gevaar bloot te stellen en zonder onnodige collateral damage en onschuldige burgerslachtoffers te veroorzaken.

Alhoewel de ontwikkeling van LAWS nog in de kinderschoenen staat wordt al op vele plaatsen door NGO’s als het Internationale Rode Kruis, Human Rights Watch en vredesbewegingen als Pax, het voormalige Pax Christi, geageerd tegen deze systemen. Hierbij valt al gauw de kreet killer robots. In dit VB wil de redactie ingaan op de vraag wat LAWS eigenlijk zijn, enkele ethische overwegingen hierbij en het Nederlandse standpunt omtrent het gebruik van deze wapens? ‘

Van automatisch naar autonoom

Automatische wapensystemen zijn dan wel niet van alle tijden, echter zij bestaan al veel langer dan menigeen veronderstelt. Denk maar aan mijnenvelden, torpedo’s uit de Tweede Wereldoorlog of de beruchte Selbtschussanlagen die de DDR had geplaatst in het grensgebied met West-Duitsland. Er zijn nadien legio automatische wapensystemen, of systemen met een automatische modus, bijgekomen, ook in Nederland. Zo hebben bijvoorbeeld de Goalkeeper van de KM, maar ook het al sinds de jaren tachtig bij de geleidewapeneenheden gebruikte Patriot luchtafweersysteem een automatische modus om snel en effectief te kunnen reageren op een plotselinge dreiging. Hierbij staat het systeem echter nog steeds onder menselijke controle: operators die elk moment kunnen ingrijpen zou een ongewenste lancering plaatsvinden. De snelle technologische ontwikkelingen van de laatste tijd maken het echter mogelijk dat steeds meer taken van de mens door machines kunnen worden overgenomen. Met enige waarschijnlijkheid zal het voor het einde van dit decennium al mogelijk zijn dat mensen zich veilig kunnen verplaatsen in zelfsturende auto’s die autonoom allerlei beslissingen nemen ten aanzien van routinematige zaken. In de militaire luchtvaart wordt al geruime tijd gebruik gemaakt van onbemande vliegtuigen die ogenschijnlijk moeiteloos tegenstanders, aan de andere kant van de wereld dan waar de operator zich bevindt, kunnen uitschakelen. Een verdere ontwikkeling op dit gebied is de Harpy van Israel Aerospace Industries (IAI). Het is een combinatie van een UAV en een anti radiation missile (ARM) die uren boven een doelgebied kan cirkelen en zonder menselijke tussenkomst kan besluiten om een stralingsbron, bijvoorbeeld een radarinstallatie, aan te vallen als ergens straling wordt opgemerkt. De tijd is niet meer ver weg dat de rol van operators beperkt kan worden tot het nemen van de beslissing of de aanval al dan niet wordt doorgezet. Mits voorzien van de juiste algoritmen is het te voorzien dat ook deze beslissing uit menselijke handen kan verdwijnen en door het systeem genomen kan worden. De scheidslijn tussen automatisch en autonoom krijgt aldus een wat diffuus karakter.

In internationaal verband is over een exacte definitie van ‘autonoom’ nog steeds geen overeenstemming. De NAVO noemt in haar Strategic Foresight Analysis uit 2015: ‘Autonomous weapons systems are defined as weapons systems with autonomy in the critical functions of acquiring, tracking, selecting and attacking targets’. Een volgende ontwikkeling zou dan kunnen zijn dat ‘weapons can be programmed to determine their own actions, make complex decisions and adapt to their environment independently’. In Jip en Janneketaal: een autonoom systeem beslist zelfstandig wanneer, waar en tegen wat het tot daadwerkelijke inzet komt. Onbemande en autonome wapensystemen worden in discussies hierover echter nog regelmatig door elkaar gebruikt en dat leidt tot verwarring. De vraag wat auto nomie nu precies inhoudt is daarom belangrijk. In publicaties over LAWS worden veelal drie categorieën onderscheiden, afhankelijk van de rol van de mens in de hele cyclus van doelselectie tot en met de aanvalsfase: in the loop, on the loop en out of the loop. De eerste categorie betreft wapens die autonoom doelen aanvallen die door een mens zijn geselecteerd, zoals bijvoorbeeld geleide wapens of kruisraketten. De tweede categorie betreft wapens die doelen aanvallen die mogelijk niet door een mens zijn geselecteerd, maar waarvoor wel het soort doel is gedefinieerd. Veelal zijn dit defensieve systemen zoals de eerdergenoemde Goalkeeper en Patriot. Hier kan de mens mogelijk nog wel ingrijpen bij onbedoelde confrontaties. Spreken we van de mens out of the loop dan betreft het wapens die zelf doelen selecteren en aanvallen. Er is dan sprake van een vooraf bepaald inzetgebied en voorgeprogrammeerde regels welk soort doel zal worden aangevallen. De Harpy valt als een der eerste systemen in deze categorie.

De ethische discussie

Het Amerikaanse ministerie van defensie (DoD) omschreef LAWS als ‘once activated can select and engage targets without further intervention by a human operator’. Naar aanleiding van deze definitie werd een internationale campagne gestart, gericht op een verbod op ontwikkeling, productie en gebruik van deze wapensystemen. Inmiddels staat deze discussie ook op de agenda van de Mensenrechtenraad van de Verenigde Naties. Het humanitair oorlogsrecht speelt hierbij een grote rol. Immers, dit vereist van een commandant dat hij zich er vooraf van verzekert dat bij een aanval de te verwachten collateral damage niet disproportioneel is ten opzichte van het te verwachten militaire voordeel. Deze afweging nu lijkt vooralsnog een brug te ver voor autonome systemen. Het menselijk oordeelsvermogen is wat dat betreft op dit moment nog uniek te noemen. Om die reden heeft het begrip Meaningful Human Control (MHC) zijn intrede gedaan als een cruciaal item binnen de ontwikkeling van LAWS. De discussie hierover is nog in volle gang, waarbij invloedrijke persoonlijkheden als Stephen Hawking en Elon Musk (CEO van Tesla en Space X) zich niet onbetuigd laten. Overigens wordt hierbij opgemerkt dat, volgens internationaal recht, als er techniek beschikbaar is die minder onbedoelde schade tot gevolg kan hebben dan andere methoden om een gevecht aan te gaan, men verplicht is deze te gebruiken. Zo is het voorspelbaar dat inzet van grondsoldaten mogelijk aanzienlijk meer onnodige slachtoffers kan veroorzaken dan een middel dat doelen gedurende langere tijd kan volgen en op het juiste moment met dodelijke precisie kan aanvallen.

Het Nederlandse standpunt

Ook in Nederland is er een discussie ontstaan over de ontwikkeling en inzet van autonome wapensystemen. In een kamerbrief van 26 november 2013 stelt de minister van Defensie dat alle wapensystemen en de inzet daarvan moeten voldoen aan de eisen van het internationaal recht. Nieuwe wapens en methoden van oorlogvoering moeten hieraan getoetst worden en hiervoor werd reeds in 1978 de Adviescommissie Internationaal Recht en Conventioneel Wapengebruik (AIRCW) opgericht. Alhoewel Defensie in Nederland (nog) geen plannen heeft voor het verwerven van dergelijke systemen heeft de regering hierover dus wel een standpunt bepaald en onze (nu demissionaire) regering steunt het wetenschappelijk onderzoek naar de juridische en ethische aspecten van deze wapensystemen. Met name de vraag wat precies wordt bedoeld met MHC staat daarbij centraal.

Nederland neemt deel in de bijeenkomst van deskundigen over autonome wapensystemen van de Conventie voor Conventionele Wapens (CCW) van de VN. Voorts hebben de ministers van BuZa en Defensie in april 2015 advies aangevraagd bij de Adviesraad Internationale Vraagstukken (AIV) en de Commissie van Advies inzake Volkenrechtelijke Vraagstukken (CAVV). In oktober 2015 brachten deze commissies gezamenlijk een advies uit aan de regering. Hierin werd onder meer gesteld dat in een technologisch hoogwaardige Nederlandse krijgsmacht zeker een rol is weggelegd voor LAWS. Bij de inzet ervan acht de AIV/CAVV het echter noodzakelijk dat er sprake is van betekenisvolle menselijke controle. Nederland moet een actieve rol blijven spelen bij internationale discussies over ontwikkelingen rond autonome wapensystemen. Voorts adviseert de commissie bij toekomstige aanschaf toe te zien op toepassing van het concept van Moral Responsible Engineering in de ontwerpfase en uitvoerige testen in een realistische omgeving plaats te laten vinden. De commissies erkennen de toegevoegde waarde van autonome wapens maar adviseren de regering om bij de vorming van militairen aandacht te geven aan ethische vraagstukken rond de inzet van LAWS. Zij adviseren tenslotte om, gelet op de snelle technologische ontwikkelingen, het rapport na vijf jaar opnieuw te bezien op de bruikbaarheid ervan. In een Kamerbrief van 4 maart 2016 nam de regering, bij monde van de ministers van BuZa en Defensie, het AIV/ CAVV advies in zijn geheel over.

In het advies wordt ook ingegaan op de zorg die veelvuldig wordt uitgesproken in de discussie omtrent LAWS, namelijk dat deze wapensystemen in de niet al te verre toekomst zouden kunnen worden voorzien van kunstmatige intelligentie. De snelle ontwikkelingen op het gebied van robotica en kunstmatige intelligentie zouden systemen mogelijk in staat stellen om te ‘leren’, en op basis daarvan, zonder menselijke tussenkomst, wijzigingen in hun programmering aan te brengen, waardoor de voorspelbaarheid van hun ‘gedrag’ afneemt. Deze zorg is al decennia lang een populair thema in zowel de SF-literatuur (Asimov, Philip K. Dick) als in films als Blade Runner (1982), en, meer recent, I Robot uit 2004. In deze fictieve werelden ontwikkelt de technologie steevast een eigen wil en keert zich vervolgens tegen de mensheid. Dit thema is zo populair omdat het appelleert aan de bij ons mensen ingebakken angst om de controle over machines en hun techniek te verliezen. Die angst wordt echter door diezelfde boeken en films juist verder aangewakkerd en beïnvloedt in niet geringe mate de beeldvorming en het debat rond LAWS en daarmee ook de discussie omtrent de betekenis van MHC. Maar, angst is helaas een slechte raadgever en dat zou kunnen leiden tot een eenzijdige focus op de vermeende gevaren van LAWS. Daardoor zou juist de potentie om in toekomstige conflicten beter te kunnen voldoen aan de juridische en ethische normen van het humanitair oorlogsrecht verloren kunnen gaan . Vooralsnog ziet men in internationaal verband, ondanks de uit Hollywood afkomstige doemscenario’s, nog geen aanleiding om het kind met het badwater weg te gooien. De verwachting is daarom dat in de jaren voor ons het niet tot een verbod zal komen op de ontwikkeling en inzet van LAWS. MHC zal ongetwijfeld een factor van betekenis blijven gedurende de ontwikkeling ervan om de zorgen omtrent de betekenis en gevolgen van autonomie en de impact op het internationaal recht te blijven adresseren. Een moratorium op de ontwikkeling van LAWS wordt dan ook niet gesteund; wereldwijd is slechts een vijftal VN-lidstaten voorstander van een moratorium.

Kansen voor Nederland

Het zal duidelijk zijn dat Nederland, dat weliswaar al gebruiker is van automatische wapensystemen als de Goalkeeper, zichzelf (nog) niet ziet als toekomstig gebruiker van autonome wapensystemen. In principe staat ons land echter niet afwijzend tegenover de verdere ontwikkeling zolang, zoals geformuleerd in de aanbevelingen van het AIV/CAVV-advies, MHC gewaarborgd blijft. Het is daarom een goede zaak dat wij vertegenwoordigd blijven in internationale organen waar over deze systemen wordt gediscussieerd en mogelijk verstrekkende besluiten worden genomen. Niet alleen kan aldus geprofiteerd worden van de inzichten van andere landen maar kan ook worden bijgedragen aan het blijvend respecteren van voor ons belangrijke zaken in het discours rond autonomie en MHC. Met name ten aanzien van het laatste is het van belang nuance aan te brengen in de discussie.

Het is immers een merkwaardige zaak in deze hele discussie dat het beoordelingsvermogen van menselijke bedienaren van wapensystemen ten aanzien van cruciale beslissingen onder alle omstandigheden hoger wordt ingeschat dan dat van een autonoom systeem. Het is van alle tijden dat bij confrontaties in gewapende conflicten het menselijk brein vertroebeld wordt door zaken als stress, vermoeidheid, emoties en gewone menselijke fouten; allemaal zaken die een autonoom wapensysteem ten enenmale vreemd zijn. Zo werd in 1988 een Iraanse Airbus door een Amerikaanse kruiser boven de Perzische Golf uit de lucht geschoten, waarbij alle 290 inzittenden om het leven kwamen. Het vliegtuig werd nooit positief als hostile geïdentificeerd. Van recentere datum zijn bijvoorbeeld blue on blue engagements tijdens de Tweede Golfoorlog, waarbij onder meer een Britse Tornado jachtbommenwerper door een Amerikaanse Patriot werd neergehaald. De terughoudendheid van Nederland ten aanzien van LAWS heeft ook zijn weerslag op de noodzakelijke doorontwikkeling van de krijgsmacht. Zo lijkt het er sterk op dat, afgezien van budgettaire redenen, de MQ-9 Reaper gegijzeld wordt door de ethische discussie. Dit verhindert het nadenken over de mate waarin de Nederlandse defensie wat te winnen heeft bij de ontwikkeling en implementatie van autonome systemen. Alleen maar afwachten op wat andere landen doen zal ons toch al beperkte militair vermogen echter verder ondermijnen. En dat terwijl op dit moment er zeker kansen liggen voor Nederland om aan te sluiten bij de ontwikkeling van LAWS. Om maar wat te noemen: de noodzakelijke vervanging van de vier verouderde onderzeeboten van de Walrus klasse. In de behoeftestelling, de zogenaamde A-brief van een jaar geleden, werd al rekening gehouden met de mogelijkheid van onbemande schepen. Op dit moment is dat nog een utopie, maar dankzij de snelle technologische ontwikkelingen zal deze optie op de in de brief geschetste termijn – vervanging vanaf 2025 – vrijwel zeker een reële optie zijn. Van onbemand naar (gedeeltelijk) autonoom is maar een kleine stap en waar de Nederlandse Walrus destijds in technologisch opzicht wereldwijd vooropliep, is het voorspelbaar dat de Nederlandse industrie zich ook nu weer van haar beste kant kan laten zien.

Een grote dreiging voor de nabije toekomst wordt gevormd door cyberaanvallen op de ICT-infrastructuur. Zonder dat iedereen zich hiervan bewust is, zorgt deze infra- structuur er tegenwoordig voor dat een groot deel van ons dagelijks leven efficiënt en zorgeloos verloopt. Hierdoor is echter ook een grote mate van kwetsbaarheid ontstaan. Recentelijk nog waren in meer dan 100 landen allerlei bedrijven, van ziekenhuizen tot telecombedrijven, slachtoffer van een aanval met de gijzelingssoftware Wannacry. Nederland kwam hier nog goed weg met alleen de parkeergarages van Qpark als slachtoffer. Onze energieleveranciers, waterleidingbedrijven, financiële instellingen en wat dies meer zij zijn buiten schot gebleven. Of hier sprake was van het bijtijds treffen van de nooodzakelijk verdedigingsmaatregelen of ‘meer geluk dan wijsheid’ was volgens de directeur Cyber Security van de NCTV nog niet helemaal duidelijk. Wat wel duidelijk is: de verantwoordelijkheid voor een effectieve verdediging tegen cyberaanvallen ligt nog steeds voor een groot deel bij de gebruiker: particulieren, bedrijven en overheden. Het nationale beleid lijkt zich te beperken tot waarschuwen. Hier zit dus ruimte voor het ontwikkelen van een 21e-eeuwse versie van de Hollandsche Waterlinie. Evenals we ons weer moeten gaan beschermen tegen het stijgende zeeniveau, is het zinvol een first line of defence te gaan opwerpen tegen hackerteams van organisaties en staten die ons niet zo goed gezind zijn. Dezelfde argumenten waarom kinetische wapens worden doorontwikkeld tot autonome wapensystemen kunnen worden gebruikt om autonome cyber-wapens te realiseren. En dit zou onderdeel kunnen zijn van het ‘Cyber Deltaplan’, waar ook onze inlichtingendiensten om vragen.

De conclusie tekent zich af: de moderne krijgsmacht, zoals Nederland die voorstaat, moet zonder dralen met autonome wapens a