Moral dilemmas in self-driving cars

Chiara Lucifora, Giorgio Mario Grasso, Pietro Perconti, Alessio Plebe


Abstract: Autonomous driving systems promise important changes for future of transport, primarily through the reduction of road accidents. However, ethical concerns, in particular, two central issues, will be key to their successful development. First, situations of risk that involve inevitable harm to passengers and/or bystanders, in which some individuals must be sacrificed for the benefit of others. Secondly, and identification responsible parties and liabilities in the event of an accident. Our work addresses the first of these ethical problems. We are interested in investigating how humans respond to critical situations and what reactions they consider to be morally right or at least preferable to others. Our experimental approach relies on the trolley dilemma and knowledge gained from previous research on this. More specifically, our main purpose was to test the difference between what human drivers actually decide to do in an emergency situations whilst driving a realistic simulator and the moral choices they make when they pause to consider what they would do in the same situation and to better understand why these choices may differs.

Keywords: Self-driving Cars; Trolley Problem; Moral Choices; Moral Responsibility; Virtual Reality


Dilemmi morali nelle automobili a guida autonoma

Riassunto: I sistemi di guida autonomi promettono importanti cambiamenti per il futuro dei trasporti, principalmente attraverso la riduzione degli incidenti stradali. Tuttavia, vi sono preoccupazioni etiche, in particolare due questioni centrali, fondamentali per il loro sviluppo. In primo luogo, le situazioni di rischio che comportano inevitabili danni ai passeggeri e/o ai pedoni, ovvero situazioni in cui alcune persone devono essere sacrificate a beneficio di altri. In secondo luogo, l’identificazione delle parti responsabili in caso di incidente. Il nostro lavoro affronta il primo di questi problemi etici. Siamo interessati a studiare come gli umani rispondono a situazioni critiche e quali reazioni considerano moralmente giuste o almeno preferibili. Il nostro approccio sperimentale si basa sul trolley problem e sulle conoscenze acquisite da precedenti ricerche su questo ambito. Più specificamente, il nostro scopo principale è quello di testare la differenza tra ciò che i conducenti umani decidono effettivamente di fare in una situazione di emergenza, mentre guidano un simulatore realistico, e le scelte morali che compiono se posti nella stessa situazione e hanno la possibilità di decidere senza limiti di tempo. Lo scopo è inoltre comprendere come e perché queste scelte possono differire.

Parole chiave: Automobili a guida autonoma; Trolley problem; Scelte morali; Responsabilità morale, Realtà virtuale

Parole chiave

Self-driving Cars; Trolley Problem; Moral Choices; Moral Responsibility

Full Text


Riferimenti bibliografici

AHLENIUS, H., TANNSJÖ, T. (2012). Chinese and Westernes respond differently to the trolley dilemmas. In: «Journal of Cognition & Culture», vol. XII, n. 3-4, pp. 195 -201.

ALAIERI, F., VELLINO, A. (2016). Ethical decision making in robots: Autonomy, trust and responsibility, in: A. AGAH, J.-J. CABIBIHAN, A.M. HOWARD, M.A. SALICHS, H. HE (eds.), Social robotics, Springer, Cham, pp. 159-168.

ALLEN, C., SMIT, I., WALLACH, W. (2005). Artificial morality: Top-down, bottom-up, and hybrid approaches. In: «Ethics & Information Technology», vol. VII, n. 3, pp. 149-155.

ANDERSON, M., ANDERSON, S.L. (2007). Machine ethics: Creating an ethical intelligent agent, in: «Artificial Intelligence Magazine», vol. XXVIII, n. 4, p. 15.

AWAD, E., DSOUZA, S., KIM, R., SCHULZ, J., HENRICH, J., SHARIFF, A., BONNEFON, J.F., RAHWAN, I. (2018). The moral machine experiment. In: «Nature», vol. DLXIII, n. 7729, pp. 59-64.

BONNEFON, J.F., SHARIFF, A., RAHWAN, I. (2015). Autonomous vehicles need experimental ethics: Are we ready for utilitarian cars?, arXiv preprint: arXiv:1510.03346.

BONNEFON, J.F., SHARIFF, A., RAHWAN, I. (2016). The social dilemma of autonomous vehicles, in: «Science», vol. CCCLII, n. 6293, pp. 1573-1576.

CANDELO, E. (2019). Innovation and digital transformation in the automotive industry, Springer, Cham, pp. 155-173.

DAMASIO, A.R. (1994). Descartes’ error and the future of human life. In: «Scientific American», vol. CCLXXI, n. 4, pp.144.

DAVNALL, R. (2020). Solving the single-vehicle self-driving car trolley problem using risk theory and vehicle dynamics, in: «Science & Engineering Ethics», vol. XXVI, n. 1, pp. 431-449.

EDMONDS, D. (2014). Would you kill the fat man? The trolley problem and what your answer tells us about right and wrong, Princeton University Press, Princeton.

FAULHABER, A.K., DITTMER, A., BLIND, F., WÄCHTER, M.A., TIMM, S., SÜTFELD, L.R., KÖNIG, P. (2019). Human decisions in moral dilemmas are largely described by utilitarianism: Virtual car driving study provides guidelines for autonomous driving vehicles, in: «Science & Engineering Ethics», vol. XXV, n. 2, pp. 399-418.

FLORIDI, L., SANDERS, J.W. (2004). On the morality of artificial agents. In: «Mind & Machines», vol. XIV, n. 3, pp. 349-379.

GRASSO, G., LUCIFORA, C., PERCONTI, P., PLEBE, A. (2019). Evaluating mentalization during driving. In: O. GUSIKHIN, M. HELFERT (ed.), Proceedings of the 5th International Conference on Vehicle Technology and Intelligent Transport Systems (VEHITS 2019), Scitepress, Prague, pp. 536-541 - doi: 10.5220/0007756505360541.

GREEN, J.D., CUSHMAN, F.A., STEWART, L.E., LOWENBERG, K., NYSTROM, L.E., COHEN, J.D. (2009). Pushing moral buttons: The interaction between personal force and intention in moral judgment. In: «Cognition», vol. CXI, n. 3, pp. 364-371.

HIMMELREICH, J. (2018). Never mind the trolley: The ethics of autonomous vehicles in mundane situations, in: «Ethical Theory & Moral Practice», vol. XXI, n. 3, pp. 669-684.

HUME, D. (1951). A Treatise of Human Nature (1739), edited by L.A. SELBY-BIGGE, John Noon, London.

KEELING, G. (2020). Why trolley problems mater for the ethics of automated vehicles. In: «Science and Engineering Ethics», vol. XXVI, n. 1, pp. 293-307.

MARCHAND, R. (1992). The designers go to the fair II: Norman Bed Geddes, The General Motors Futurama, and the visit to the factory transformed. In: «Design Issue», vol. VIII, n. 2, pp. 23-40.

MAXMEN, A. (2018). Self-driving car dilemmas reveal that moral choices are not universal. In: «Nature», vol. DLXII, n. 7728, pp. 469-470.

MEDER, B., FLEISCHHUT, N., KRUMNAU, N.C., WALDMANN, M.R. (2019). How should autonomous cars drive? A preference for defaults in moral judgments under risk and uncertainty. In: «Risk Analysis», vol. XXXIX, n. 2, pp. 295-314.

NYHOLM, S., SMIDS, J. (2016). The ethics of accident-algorithms for self-driving cars: An applied trolley problem?. In: «Ethical Theory & Moral Practice», vol. XIX, n. 5, pp. 1275-1289.

RIVA, G., WIEDERHOLD, B.K., MOLINARI, E. (1998). Virtual environments in clinical psychology and neuroscience: Methods and techniques in advanced patient-therapist interaction, IOS press, Amsterdam.

SEARLE, J.R. (1980). Minds, Brains, and Programs. In: «Behavioral & Brain Sciences», vol. III, n. 3, pp. 417-458.

THOMSON, J.J. (1985). The trolley problem. In: «The Yale Law Journal», vol. XCIV, pp. 1395-1415.

VON NEUMANN, J., MORGESTERN, O. (1944). Theory of games and economic behavior, Princeton University Press, Princeton.

WALLACH, W., ALLEN, C. (2008). Moral machines: Teaching robots right from wrong, Oxford University Press Oxford.

WINFIELD, A.F., BLUM, C., LIU, W. (2014). Towards an ethical robot: internal models, consequences and ethical action selection. In: M. MISTRY, A. LEONARDIS, M. WITKOWSKI, C. MELHUISH (eds.), Advances in autonomous robotic systems, TAROS 2014, Lecture Notes in Computer Science, Springer, Cham, pp. 85-96 - doi: 10.1007/978-3-319-10401-08.


Copyright (c) 2020

URLdella licenza:

Rivista internazionale di Filosofia e Psicologia - ISSN: 2039-4667 (print) - E-ISSN: 2239-2629 (online)

Registrazione al Tribunale di Milano n. 634 del 26-11-2010 - Direttore Responsabile: Aurelia Delfino

Web provider Aruba spa - Loc. Palazzetto, 4 - 52011 Bibbiena (AR) - P.IVA 01573850516 - C.F. e R.I./AR 04552920482

Licenza Creative Commons
Dove non diversamente specificato, i contenuti di Rivista Internazionale di Filosofia e Psicologia sono distribuiti con Licenza Creative Commons Attribuzione 4.0 Internazionale.