Ethiek·technologie

Zelfrijdende auto’s en het Trolleyprobleem

Op Facebook circuleert het artikel van Bonnefon, Shariff en Rahwan over hoe in de toekomst zelfrijdende auto’s afwegingen zullen moeten maken in de zeldzame situaties dat het maken van slachtoffers onvermijdelijk is. Het volgende plaatje uit het artikel illustreert een aantal van die situaties.

Ethical cars

(a) De auto kan dezelfde koers aanhouden en verschillende voetgangers doden, of uitwijken en slechts één omstander doden. (b) De auto kan dezelfde koers aanhouden en één voetganger doden, of uitwijken waarbij de inzittende zelf omkomt. (c) De auto kan dezelfde koers aanhouden en verschillende voetgangers doden, of uitwijken waarbij de inzittende zelf omkomt.

De auteurs merken op dat situatie (a) overeenkomt met het befaamde ‘Trolleyprobleem’ in de ethiek, maar wat dat inhoudt bespreken zij helaas niet. Volgens de auteurs is situatie (a) relatief eenvoudig: op basis van een utilistische ethiek (maximaliseer geluk en minimaliseer ellende) zou men kiezen voor de dood van de enkele omstander. Maar in situatie (c) zien de auteurs een conflict tussen een utilistische ethiek en de wens tot zelfbehoud van de inzittende. Oftewel, een conflict tussen de ‘juiste’ programmatuur van de auto en de verkoopbaarheid: zullen mensen wel een zelfrijdende auto kopen die henzelf eventueel opoffert? Omdat de auteurs daarmee nogal kort door de bocht gaan hierbij wat nadere uitleg.

Allereerst dient het Trolleyprobleem (Philippa Foot, 1967) uitdrukkelijk om andere overwegingen te illustreren dan utilistische. Een utilist zou als volgt kunnen redeneren: als ik als chirurg vijf patiënten kan redden door de organen te halen uit een gezonde patiënt die toevallig voor een controle in het ziekenhuis is, dan is dat moreel juist. Ik red immers vijf mensen door er één te doden. Een deontoloog (Kantiaan) zal echter redeneren dat dat moreel verwerpelijk is: je mag mensen nooit enkel als middel behandelen. Beter dat vijf mensen doodgaan doordat je niets doet (en die mensen waren ook niet door jouw toedoen ziek), dan dat je bewust het leven van één iemand neemt. Het Trolleyprobleem nuanceert dat. In het voorbeeld van de arts kan deze de vijf patiënten alleen redden dankzij het bestaan van de andere patiënt. Maar in het Trolleyprobleem of figuur (a) was het zelfs beter geweest als de omstander er niet was geweest. Je maakt dus geen gebruik van deze omstander. Vandaar dat sommige deontologen rechtvaardigen dat je de omstander laat sterven in plaats van de velen die anders doodgaan. Andere deontologen blijven er echter bij dat ook in het Trolleyprobleem de juiste keuze is om door te rijden. Oftewel, onder deontologen is het helemaal niet evident dat in situatie (a) de juiste keuze uitwijken is. Het is dat meningsverschil dat het Trolleyprobleem illustreert.

Ook het idee dat het utilisme vanzelfsprekend aanbeveelt jezelf tegen de muur te rijden als je daarmee meerdere levens redt, is te simplistisch. Er zullen weinig utilisten zijn die vinden dat je vrijwillig je moet laten opensnijden om je organen te doneren aan anderen als dat je eigen dood tot gevolg heeft. In feite hebben de meeste morele theorieën als stilzwijgende veronderstelling dat je er in al je handelingsperspectieven wel zelf bent, zowel voor als na de handeling. In andere woorden: de moraal zwijgt meestal over de vraag in welke situaties je je eigen leven moet opofferen. Het is misschien edelmoedig om jezelf op te offeren, maar het is allerminst evident dat je daartoe een plicht hebt (zie bijvoorbeeld Michael Otsuka voor iemand die dat wel evident vindt).

De vraag is daarom: in wiens dienst staat de zelfrijdende auto? Als dat de inzittende is dan is de programmatuur van de auto enkel bedoeld als verlengstuk van de inzittende: het is niet de bedoeling dat de auto andere beslissingen neemt dan de inzittende zelf zou hebben genomen. Als de auto echter in dienst van de maatschappij staat dan neemt de auto beslissingen in het algemeen belang. Voor situatie (a) maakt dat verschil niet veel uit, maar voor situaties (b) en (c) des te meer. Vanuit maatschappelijk oogpunt zijn situaties (a) en (c) gelijk: in beide gevallen gaat het om de afweging tussen één persoon laten sterven of meerdere. Vanuit zowel het perspectief van het utilisme als sommige (zogenoemde agent-centered) deontologische theorieën is het goed dat de auto uitwijkt. Maar vanuit het perspectief van de inzittende is het dat natuurlijk niet. Zoals eerder gezegd, beveelt het utilisme geen zelfmoord aan.

Maar het kan wel rationeel zijn om een systeem te accepteren waarbij alle auto’s verplicht op de utilistische autopilot staan. John Harris werkt een soortgelijk idee uit in zijn beroemde artikel The Survival Lottery uit 1975. Stel dat je niet als arts de keuze hebt tussen het leven van vijf patiënten aan de ene kant en één patiënt aan de andere kant, maar als burger tussen de huidige situatie waarin er een tekort is aan donororganen en een systeem waarin een loterij bepaalt of je je organen moet afstaan. In dat systeem hebben mensen gegarandeerd donororganen ter beschikking als zij dat zelf nodig hebben en is de kans dat zijzelf de ongelukkige zijn die organen moeten afstaan zeer klein. In dat systeem stijgt je levensverwachting. De kans dat je overlijdt doordat je je organen moet afstaan, is immers kleiner dan de kans dat je overlijdt door een organentekort als je zelf ziek bent. John Harris beweert dat het dus alleszins rationeel is om aan die survival lottery mee te doen. Wellicht zou dezelfde redenering kunnen opgaan voor zelfrijdende auto’s: hoewel niemand individueel op het moment zelf bereid zal zijn zich op te offeren voor het algemeen belang, is het wel denkbaar dat men bereid is een systeem te accepteren dat overall tot minder slachtoffers leidt. Oftewel, dat men politiek afspreekt dat alle auto’s verplicht op de utilistische autopilot staan.

Er is een extra argument voor een verplichte utilistische autopilot. Autorijden is een bewuste en vrijwillige keuze die risico’s voor anderen creëert. Een utilistische autopilot zou tenminste een deel van dat risico dat normaliter op anderen wordt afgewenteld internaliseren.

Save

7 gedachten over “Zelfrijdende auto’s en het Trolleyprobleem

  1. Beste Marc,

    interessante materie. Dank voor het verhelderende stuk. Je laatste ‘extra’ argument ten behoeve van het inzetten van een utilistische autopiloot, inspireerde me tot het volgende.

    Stel, we leven in de nabije toekomst en we kunnen kiezen uit een ritje met de zelfrijdende auto, of een ritje met achterop de motor die wordt bestuurd door een robot (zie: http://www.visordown.com/motorcycle-news-videos/meet-the-yamaha-motobot/28370.html). Ik vraag mij af of bij het al dan niet implementeren van de utilistische component in de programmatuur meegewogen moet worden dat iemand die motor gaat rijden (weliswaar dus als passagier) willens en wetens een groter risico voor zichzelf neemt op zwaar letsel of een dodelijk ongeval (in vergelijking met de auto is dat risico significant groter). Dit risico is dan dus niet zozeer een risico dat je creëert voor anderen, maar veeleer voor jezelf. Tegelijkertijd is een motor een voertuig dat voor medeweggebruikers een risico vormt: het is een voertuig met een redelijke massa, dat door hoge snelheden een significante impact kan zorgen. Zo bezien is de motor een ‘zwakke’ (net als een fietser of voetganger) verkeersdeelnemer, die toch een risico vormt voor andere medeweggebruikers.

    Bijvoorbeeld: Er doet zich een situatie voor waarbij de robotbestuurder van de motor waarbij jij achterop zit, moet kiezen tussen twee dodelijke situaties.

    1) De robot stuurt naar rechts en rijdt frontaal op een naderende auto met bestuurder. Jij als passagier en de autobestuurder sterven.
    2) De robot stuurt naar links en rijdt frontaal op een andere naderende motorfiets die wordt bestuurd door een robot met ook een mens achterop. Beide passagiers sterven.

    Hoe moet de robot geprogrammeerd worden? Moet hij naar rechts of naar links sturen? Moet de programmatuur rekening houden met het feit dat je met motorrijden een groter risico voor jezelf creëert en dan dus ervoor kiezen de twee motorrijders te laten sterven? Of, weegt toch het feit dat auto’s zwaarder zijn en dus meer risico voor andere weggebruikers creëren zwaarder, waardoor het programma ervoor zal kiezen tegen de auto aan te rijden?

    Wat is jouw visie hierop Marc? En, als je de redenering over ‘risico voor jezelf creëren’ doortrekt in het utilistische kader: zou motorrijden nu al (dus zonder te wachten op robotbestuurders) niet verboden moeten worden, wegens een te groot relatief aandeel in de dodelijke ongelukken (waardoor het de algehele levensverwachting van de verkeersdeelnemer daalt)?

    Met hartelijke groet,

    Jeroen Stekelenburg (motorrijder).

    Liked by 1 persoon

    1. Beste Jeroen,

      Dank voor je reactie. Er spelen daarin twee vragen door elkaar, waarvoor ik zelf verantwoordelijk ben met mijn laatste ‘extra’ argument. De eerste vraag is welke keuze het meeste ‘nut’ oplevert in een bepaalde situatie: hoe moet de robot kiezen? De tweede vraag is hoe je mensen een prikkel geeft om rekening te houden met de effecten die ze op anderen hebben. Die tweede vraag is vooral relevant in je voorbeelden van een motorrijder. Automobilisten hebben de neiging om hoe veiliger ze zelf zijn (airbags, veiligheidsgordels, SUV), hoe roekelozer te rijden. Ze dragen zelf immers de risico’s niet. Dat verschijnsel heet in de filosofie en economie moral hazard. Dat probleem kan je deels oplossen door financiële instrumenten: duurder maken van een SUV of hoge boetes bij ongelukken. Als je je voor die ongelukken kan verzekeren, heb je je moral hazard weer terug. Een motorrijder heeft veel minder last daarvan, want die weet dat hij/zij veel meer zelf de risico’s loopt van roekeloosheid. Vandaar dat mijn argument aan het eind veel minder van toepassing is op motorrijders.

      Maar je concrete vraag of de robot moet meewegen in de keuze naar links of naar rechts te sturen of de motorrijder al weet dat hij/zij veel risico loopt: nee, dat maakt niet uit. Vanuit het utilistische perspectief van de robot maakt het niet uit wat voor risico’s de passagiers op zich hebben genomen. Waarschijnlijk stuurt de robot de motor naar rechts in de richting van de auto, want de kans dat die passagier het overleeft is groter dan de passagier op de andere motor. Het lijkt me een ethisch hachelijke zaak als de robot gaat meewegen wat de passagiers in de toekomst zouden kunnen gaan doen (‘automobilisten zijn gevaarlijker dan motorrijders, dus beter minder van de eerste soort’), want dan ga verschillende levens verschillend wegen. Voer voor een latere blog post.

      Wat je laatste vraag betreft: of je motorrijden volgens het utilisme zou moeten verbieden hangt ervan af of de risico’s groter zijn dan het nut dat men aan motorrijden ontleent. Lastigste is dat dat per motorrijder en per rit anders kan uitvallen.

      Hartelijke groet, Marc Davidson

      Like

  2. Beste Marc,

    dank voor de uitgebreide reactie. Ik kijk uit naar je volgende post.

    Nog even een opmerking m.b.t. de utilistische nutsvraag in het verkeer: mijn intuïtie is dat ironisch genoeg in deze vraag een ‘trend’ speelt die je deontologisch zou kunnen noemen: ten koste van alles wordt gestreefd naar zo min mogelijk verkeersongevallen/slachtoffers (dus i.g.v. de motorrijder wordt dan enkel naar het verhoogde risico gekeken, en niet zoals jij aanstipte naar bijkomend nut, zoals minder files, minder uitstoot (en indirect daardoor ook minder zieken), etc.).

    Met vriendelijke groet,

    Jeroen.

    Like

    1. Beste Jeroen,
      In het beleid spelen zowel utilistische als deontologische overwegingen een rol. Maar beleid dat gericht is op de bescherming van de motorrijder zelf zou ik eerder utilistisch dan deontologisch noemen. Het is immers paternalistisch (de overheid denkt beter te weten wat goed is voor de motorrijder dan de motorrijder zelf). Een deontoloog zal eerder a la John Stuart Mill (vergeet even dat hij utilist wordt genoemd) redeneren dat de enige rechtvaardiging voor de overheid om in te grijpen in iemands beslissingen is om schade aan anderen te voorkomen. Als de motorrijder enkel zichzelf schaadt, heeft de overheid dus geen rechtvaardiging om in te grijpen. De overheid schaadt anders de autonomie van de motorrijder.
      Met vriendelijke groet, Marc

      Like

  3. Beste Marc,

    ik waardeer het Kantiaanse aspect in Mill, dus don’t worry, ik zie hem niet als utilist pur sang. Mijn idee is dat door de huidige ontwikkelingen (bijv. door het door meerdere overheden overnemen van regelgeving gebaseerd op Vision Zero: http://www.visionzeroinitiative.com/) het mantra van veiligheid, aantallen verkeersongevallen en de totale focus op natuurkundige krachten, de autonomie van de verkeersdeelnemer teveel beknot. Je kunt je dan afvragen wat daar erg aan is, en daar zijn filosofische argumenten voor te bedenken. Maar meer empirisch: een significant deel van de verkeersongelukken gebeurt nog steeds door grensoverschrijdend gedrag (bijv. te hard rijden), en mijn intuïtie is dat tenminste in de periode dat auto’s nog niet geheel zelfstandig rijden, het van belang is om de autonomie van de bestuurder te erkennen, omdat (het gevoel van) miskenning van autonomie tot meer immoreel (grensoverschrijdend gedrag) kan leiden. Dit kan je begrijpen bijvoorbeeld aan de hand van het psychologische golem-effect (de negatieve uitwerking van een self fulfilling prophecy, in dit geval de uitwerking het überpaternalistische beleid ala Vision Zero, dat de morele actor totaal veronachtzaamt, op de gemiddelde verkeersdeelnemer). Maar goed, dit is heel erg in een notendop, ben bezig met het schrijven van een scriptie over dit onderwerp en heb nog wat denkwerk te gaan. Maar mede daarom mijn interesse. Dank voor je woorden.

    Met vriendelijke groet,

    Jeroen.

    Like

    1. Klinkt als een interessant onderzoek!
      Die Vision Zero lijkt me niet alleen vanuit deontologisch perspectief dubieus, maar ook vanuit utilistisch perspectief. Risico’s zijn nooit geheel te vermijden. Verstandig is een afweging te maken van de baten van verdere risicoreductie tegen de kosten. En dat lijkt me ook alleszins acceptabel, zelfs als het om mensenlevens gaat.

      Like

  4. Pingback: Bij Nader Inzien

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s