Aanvallen op de automatische piloot

Mannen in burgerkleding laten een zwerm autonome drones los uit een zwart busje. Met behulp van camera’s en sensoren bewegen de drones zich zelfstandig boven een universiteitscampus, op zoek naar studenten. Ze herkennen objecten, geluiden en gezichten, en hebben de opdracht te doden. Ze vinden hun weg door gangen en collegezalen. Studenten zoeken naar dekking. Niet allemaal worden ze aangevallen – alleen studenten met een specifiek profiel, gebaseerd op data, onder meer afkomstig van social media.

Het is een scène uit de korte sciencefictionfilm ‘Slaughterbots’, uitgebracht in 2017 door het Future of Life Institute (FLI). Dit instituut zet zich in voor het mitigeren van existentiële risico’s van kunstmatige intelligentie. Een prominent lid is Stuart Russell, hoogleraar computerwetenschap aan de Amerikaanse University of California en medeauteur van het leerboek ‘Artificial Intelligence: A Modern Approach’, wereldwijd een standaardwerk in AI-opleidingen. ‘Slaughterbots’ diende als waarschuwing om mensen bewust te maken van de ethische en maatschappelijke risico’s rondom het gebruik van kunstmatige intelligentie in wapens. Het filmpje benadrukte hoe moeilijk het zou zijn om dergelijke technologieën te beheersen, en hoe terroristen die zouden kunnen misbruiken.

Wapensystemen die kunstmatige intelligentie (AI) gebruiken om te navigeren, doelen te selecteren en te vernietigen zonder menselijke tussenkomst, worden Lethal Autonomous Weapons Systems (LAWS) genoemd. Hoewel er binnen de Verenigde Naties al jaren wordt gesproken over het reguleren van dit soort autonome wapens, ontbreekt nog steeds een internationale overeenkomst. Sinds 2018 stelt António Guterres, secretaris-generaal van de Verenigde Naties, dat dodelijke autonome wapensystemen politiek onacceptabel en moreel verwerpelijk zijn, en hij heeft opgeroepen tot een verbod op deze systemen onder internationaal recht. In november 2023 werd een ontwerpresolutie voor regulering aangenomen: 164 landen stemden voor, Rusland en India stemden tegen, en de Verenigde Staten, Israël en China onthielden zich van stemming.

Veilig rondvliegen

Intussen worden drones en AI gebruikt op het slagveld. In 2021 verschenen er al meldingen over de Turkse aanvalsdrone STM Kargu-2, die zonder menselijke besturing werd ingezet in de burgeroorlog in Libië. Meer recent zijn er meldingen over Oekraïne, waar de zogenoemde Saker Scout-drones uitgerust zijn met AI. Deze drones kunnen 64 verschillende typen Russische legervoertuigen onderscheiden, en zodra ze er een zien, er autonoom op afvliegen. “Ook bedrijven als Skydio laten al indrukwekkende resultaten zien”, zegt Javier Alonso, onderzoeker aan de afdeling Cognitive Robotics van de TU Delft. Hij leidt het Autonomous Multi-Robots Lab en werkt aan zelfrijdende auto’s en intelligente transporttoepassingen. “Ik werkt niet met methoden of drones die voor gevechtsdoeleinden worden ingezet, ook ben ik niet op de hoogte van de exacte methoden die in die robots worden gebruikt”, benadrukt Alonso. “Drones zijn ook voor veel andere toepassingen te gebruiken, zoals bewaking, inspectie of landbouw.”

Hij is niettemin een autoriteit op het gebied van drones die veilig moeten kunnen rondvliegen in omgevingen met obstakels en mensen en kent de bijbehorende uitdagingen als geen ander. “Dit soort autonome drones kan nu alleen nog betrouwbaar navigeren in zeer beperkte situaties, met duidelijke doelen en zonder obstakels”, legt Alonso uit. “Ze werken nog steeds in samenwerking met een menselijke piloot. De technologie om een drone te maken die zelfstandig zijn weg vindt door een complexe omgeving, ligt nog jaren voor ons.”

Bad guys

In de huidige conflicten vliegen er dus nog geen drones die volledig zelfstandig op zoek gaan naar de bad guys. Slaughterbots bestaan nog niet. Maar dystopisch is de inzet van AI al wel. Het platform +972 magazine beschreef, op basis van getuigenissen van zes inlichtingenofficieren, een systeem genaamd Habsora. Dit systeem verwerkt enorme hoeveelheden gegevens die ‘tienduizenden inlichtingenofficieren niet zouden kunnen verwerken’ en beveelt in realtime bombardementen aan. Het systeem berekent wie de bad guys zijn en waar ze zich waarschijnlijk bevinden.

Het lokaliseren van dergelijke doelwitten is een militair probleem. Waar houdt de tegenstander zich op? Waar liggen de wapens opgeslagen? Waar laat je je bommen vallen? Hoe zorg je ervoor dat er zo min mogelijke onschuldige slachtoffers zijn? En welk wapen zet je in? Traditioneel bepaalden militaire analisten hun doelen op basis van satellietbeelden, verkenningsvluchten en inlichtingenrapporten. Dit was tijdrovend werk. Er waren veel mensuren nodig om beelden te interpreteren. Maar nu zijn er systemen, die op basis van telefoon- en satellietdata binnen een seconde de waarschijnlijke verblijfplaatsen van duizenden bad guys kunnen aanwijzen. Dit versnelt het proces van doelidentificatie enorm, waardoor er per dag veel meer raketten worden afgevuurd dan vroeger. Een voormalige inlichtingenofficier legt in het artikel van +972 magazine uit dat het Habsora-systeem het leger in staat stelt een ‘massale moordfabriek’ te runnen, waarbij de ‘nadruk ligt op kwantiteit en niet op kwaliteit’. In de film ‘Slaughterbots’ zegt een personage: ‘Nucleair is achterhaald.’ Volgens sommige schattingen is er in de eerste weken van de Gaza-oorlog het equivalent van twee Hiroshima-bommen gevallen, verdeeld over 12.000 doelwitten.

Het Israëlische defensieleger IDF benadrukt dat Habsora géén Lethal Autonomous Weapon System is. Habsora dient als een hulpmiddel om menselijke besluitvormers te ondersteunen. De uiteindelijke beslissingen over doelwitten blijven onder menselijk toezicht. De uiteindelijke beslissing om al dan niet een aanbevolen doelwit aan te vallen, ligt nog steeds bij een mens.

Menselijke handen

“Ik denk dat het in de afgelopen jaren steeds duidelijker is geworden dat het niet zozeer gaat om die veronderstelde toekomst, die altijd net iets verder weg lijkt te liggen dan iedereen denkt”, zegt Luciano Cavalcante Siebert, universitair docent aan de TU Delft, gespecialiseerd in verantwoorde kunstmatige intelligentie. “Het wordt steeds duidelijker dat er nu al zeer ernstige problemen zijn. De discussie moet niet alleen gaan over systemen met volledige autonomie, maar vooral ook over de interactiepatronen en hoe mensen omgaan met AI-systemen.” Of het nu gaat om het beoordelen van kandidaten voor vacatures of om het besturen van een Tesla: als een systeem op het eerste gezicht 99 van de 100 keer een ‘goede’ voorspelling geeft, is het logisch dat mensen minder alert worden op duidelijke fouten – laat staan op onzichtbare fouten die in het systeem zijn geïnternaliseerd.

“Verantwoordelijkheid moet een menselijke eigenschap blijven”, stelt Cavalcante Siebert. “Ik wil de verantwoordelijkheid niet in handen van machines leggen of proberen een soort van handelingsvermogen of moraliteit in machines te belichamen. Maar ze beïnvloeden wel onze kijk op de wereld en de manier waarop we met de wereld omgaan. De uitdaging wordt dan ook hoe we verantwoordelijkheid niet naar machines afschuiven, maar in menselijke handen houden. En met mensen bedoel ik niet per se de eindgebruikers, maar ook de beleidsmakers, de ontwerpers en de aanbieders van technologie. Al deze mensen moeten nadenken over waarvoor je de technologie gebruikt. Wat is het doel? Wat willen we bereiken? In de afgelopen jaren hebben we een aantal interessante discussies en workshops over dit onderwerp gehad en daaruit blijkt dat het vaak goed mogelijk is om de zaken opnieuw te formuleren, zodat AI een andere rol speelt, een rol die beter aansluit bij de wereld die willen.”

Zinvolle menselijke controle gaat niet over wie uiteindelijk op de knop drukt, of het stuur omgooit. “Zinvolle menselijke controle is niet per se directe controle of operationele controle, maar controle die betrekking heeft op de manier waarop we willen dat dingen gebeuren. Onze morele normen.”