A value-sensitive design approach to minimize value tensions in software-based risk-assessment instruments

Lüthi, Nick; Matt, Christian; Myrach, Thomas

doi:10.1080/12460125.2020.1859744

Cited by 6 publications

(3 citation statements)

References 43 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Wir haben im Rahmen einer früheren Erhebung insgesamt 16 Entwickler und Nutzer von zwei DSS interviewt, die von Behörden im Rahmen des Predictive Policing genutzt werden (Lüthi et al 2021). Die beiden Systeme sind darauf ausgelegt, die Gefährlichkeit potenzieller Gewalttäter zu beurteilen.…”

Section: Szenario Und Erfasste Wertetabelleunclassified

“…Welche Probleme stellen sich bei der Umsetzung von VSD bei der Entwicklung von neuen DSS und wie können diese gelöst werden? Anhand eines Forschungsprojekts aus dem Bereich Predictive Policing soll nachfolgend verdeutlicht werden, wie sich die Werte eines DSS operationalisieren lassen (Lüthi et al 2021). Beim hier illustrierten Beispiel stellt sich früher oder später die Frage der Übertragbarkeit auf andere Nutzungskontexte.…”

unclassified

See 1 more Smart Citation

Wertbasiertes Design von Entscheidungsunterstützungssystemen

Lüthi

Matt

Myrach

2022

HMD

Self Cite

View full text Add to dashboard Cite

ZusammenfassungDurch fortgeschrittenere Algorithmen in Entscheidungsunterstützungssystemen (DSS) bieten sich Unternehmen neue Möglichkeiten, um kognitive Belastungen bei Entscheidungsprozessen zu senken und bessere Ergebnisse zu erreichen. Allerdings mahnen Stimmen aus Forschung und Praxis vor damit einhergehenden Gefahren. Im Raum stehen etwa die systematische Fehlbeurteilung bestimmter Personengruppen, fehlerhafte Einschätzungen von (unternehmerischen) Risiken sowie unklare Verantwortlichkeiten im Falle personeller oder materieller Schäden. Der besseren Berücksichtigung von Werten wird diesbezüglich zunehmend Beachtung geschenkt, denn Algorithmen und die darauf aufbauenden DSS sind keine neutralen Artefakte; sie werden durch aus dem Entstehungsprozess hervorgehenden Wertvorstellungen und Wertannahmen geprägt. Das sogenannte Value Sensitive Design (VSD) wird genutzt, um dieser „Wertgeladenheit“ Rechnung zu tragen, indem Wertetabellen erhoben werden, die Nutzern und Entwicklern in Bezug auf ein DSS als wichtig erscheinen. Fernab konzeptioneller Überlegungen mangelt es aktuell allerdings noch an konkreten praktischen Operationalisierungen solcher Werttabellen. Am Beispiel der algorithmenbasierten Gefahrenerkennung beim Predictive Policing zeigen wir auf, wie sich eine Wertetabelle beim Design eines DSS konkretisieren lässt und welche Schwierigkeiten dabei auftreten können. Das vorgeschlagene dreistufige Operationalisierungsverfahren bietet Praktikern klare Richtlinien, um die Wertgeladenheit und dadurch hervorgehende Problematiken bereits bei der Entwicklung von DSS zu berücksichtigen.

show abstract

Section: Szenario Und Erfasste Wertetabelleunclassified

unclassified

Wertbasiertes Design von Entscheidungsunterstützungssystemen

Lüthi

Matt

Myrach

2022

HMD

Self Cite

View full text Add to dashboard Cite

show abstract

“…The underlying SBRAI classification schema is well understood, but given the potentially serious ethical consequences of misjudgements, there is a lack of understanding of how a newly introduced IT artefact, or digital transformation, affects the overall process. In the next paper, Lüthi et al (2021) apply a value-centric lens and use value-sensitive design (VSD) to identify users' most relevant SBRAI values, as well as the value tensions that exist between developers and users. The authors find that various value tensions, which had not been an issue prior to digitisation, occur and relate to traceability, reliability, neutrality, support and trust.…”

Section: Special Issue On Digital Transformationmentioning

confidence: 99%

Special issue on digital transformation

Alhassan

Soui

2021

Journal of Decision Systems

View full text Add to dashboard Cite

Augmented Intelligence, Augmented Responsibility?

et al. 2023

View full text Add to dashboard Cite

Intelligence Augmentation Systems (IAS) allow for more efficient and effective corporate processes by means of an explicit collaboration between artificial intelligence and human judgment. However, the higher degree of system autonomy, along with the enrichment of human capabilities, amplifies pre-existing issues of the distribution of moral responsibility: If an IAS has caused harm, firms who have operated the system might argue that they lack control over its actions, whereas firms who have developed the system might argue that they lack control over its actual use. Both parties rejecting responsibility and attributing it to the autonomous nature of the system leads to a variety of technologically induced responsibility gaps. Given the wide-ranging capabilities and applications of IAS, such responsibility gaps warrant a theoretical grounding in an ethical theory, also because the clear distribution of moral responsibility is an essential first step to govern explicit morality in a firm using structures such as accountability mechanisms. As part of this paper, first the necessary conditions for the distribution of responsibility for IAS are detailed. Second, the paper develops an ethical theory of Reason-Responsiveness for Intelligence Augmentation Systems (RRIAS) that allows for the distribution of responsibility at the organizational level between operators and providers. RRIAS provides important guidance for firms to understand who should be held responsible for developing suitable corporate practices for the development and usage of IAS.

show abstract

A value-sensitive design approach to minimize value tensions in software-based risk-assessment instruments

Cited by 6 publications

References 43 publications

Wertbasiertes Design von Entscheidungsunterstützungssystemen

Wertbasiertes Design von Entscheidungsunterstützungssystemen

Special issue on digital transformation

Augmented Intelligence, Augmented Responsibility?

Contact Info

Product

Resources

About