Schüler-Lernplattform: Mathematik, Physik, Informatik & Nachhilfe

Informatik, Mensch und Gesellschaft

Wie Automatisierung Arbeit verändert, wer die Informatik geprägt hat und wie man Chancen und Risiken belegt statt behauptet.

Benötigte Grundlagen

Diese Themen kommen in diesem Kapitel vor und wurden vorher schon erklärt. Wenn dir eines davon unsicher vorkommt, frisch es kurz auf, sonst leg direkt los.

Einführung

1975 arbeiteten in einer Bankfiliale zwölf Menschen, und wer Geld brauchte, musste zu den Öffnungszeiten hingehen. Heute holt man es rund um die Uhr am Automaten oder überweist es vom Handy. Ist das gut oder schlecht? Die Frage ist so gestellt nicht beantwortbar, und genau das ist der Punkt dieses Kapitels. Für den Kunden ist es bequemer. Für einige Beschäftigte war es das Ende ihrer Stelle. Für andere entstanden neue Berufe, die es 1975 nicht gab. Über solche Veränderungen kann man streiten, und man soll es auch. Aber man kann es belegt tun oder aus dem Bauch heraus. Dieses Kapitel handelt davon, wie der Unterschied aussieht.

Das kannst du nach diesem Kapitel

$beschreiben, wie Automatisierung Arbeit verändert, und dabei Wegfall, Wandel und Neuentstehung unterscheiden.$
$wichtige Entwicklungsschritte der Informationstechnik in eine zeitliche Ordnung bringen.$
$den Beitrag prägender Persönlichkeiten benennen.$
$Chancen und Risiken einer Technik begründet gegeneinander abwägen.$
$erklären, warum Verantwortung für ein Informatiksystem bei Menschen bleibt.$

Automatisierung verändert Arbeit in drei Richtungen

Die verbreitete Behauptung „Computer vernichten Arbeitsplätze“ greift zu kurz, weil sie nur eine von drei Bewegungen beschreibt. Erstens: Tätigkeiten fallen weg. Betroffen sind vor allem Aufgaben, die sich in klare Regeln fassen lassen und oft wiederholt werden: Schreibarbeiten nach Vorlage, einfaches Sortieren, Rechnen nach Schema, Kassieren, Kontrolltätigkeiten. Zweitens: Tätigkeiten wandeln sich. Ein Buchhalter rechnet nicht mehr von Hand, sondern prüft, ob die Zahlen der Software plausibel sind. Ein Landwirt bedient Maschinen und wertet Bodendaten aus. Die Berufsbezeichnung bleibt, der Inhalt ändert sich stark. Drittens: Tätigkeiten entstehen neu. Softwareentwicklung, Datenanalyse, Netzbetrieb, Datenschutzberatung, technischer Support. Viele davon gab es vor dreißig Jahren nicht. 🔴 Der wichtige Zusatz, ohne den es eine Beschönigung wäre: Diese drei Bewegungen treffen nicht dieselben Menschen . Wessen Stelle wegfällt, bekommt nicht automatisch eine der neuen. Der Wechsel verlangt Ausbildung, Zeit und oft einen Ortswechsel. Deshalb ist die Frage nach Automatisierung nie nur eine Frage der Gesamtbilanz, sondern immer auch eine danach, wer die Kosten trägt und wer den Nutzen hat.

Automatisierung wirkt in drei Richtungen

Der Satz „Computer vernichten Arbeitsplätze“ beschreibt nur die linke Spalte und lässt die beiden anderen weg. Deshalb greift er zu kurz. Aber Vorsicht vor dem entgegengesetzten Fehlschluss: Aus drei Spalten folgt nicht, dass am Ende alles ausgeglichen ist. Lies den Satz unten. Er ist der eigentliche Kern. Die Bewegungen treffen verschiedene Menschen an verschiedenen Orten, und ein Wechsel von links nach rechts verlangt Ausbildung, Zeit und oft einen Umzug. Eine Gesamtbilanz beantwortet deshalb nie die Frage, wer die Kosten trägt und wer den Nutzen hat.

Eine grobe zeitliche Ordnung

Man muss keine Jahreszahlen auswendig lernen, aber die Reihenfolge und ihre Sprünge sollte man kennen, weil sie zeigen, wie schnell sich das Tempo verändert hat. Zeit Entwicklung Bedeutung um 1840 Analytical Engine (Entwurf), Ada Lovelace erste Idee eines programmierbaren Rechners 1936 Turings Maschinenmodell klärt theoretisch, was berechenbar ist 1941 Zuse Z3 erster funktionsfähiger programmgesteuerter Rechner 1945 von-Neumann-Architektur Programm und Daten im selben Speicher 1969 ARPANET Vorläufer des Internets 1971 erster Mikroprozessor Rechner werden klein und billig 1989 WWW, Tim Berners-Lee Informationen weltweit verknüpft 2007 Smartphone als Massengerät der Rechner ist immer dabei seit 2010er maschinelles Lernen in der Breite Systeme lernen aus Daten statt aus Regeln Auffällig ist die Beschleunigung: Zwischen der Idee und dem ersten Gerät lagen hundert Jahre, zwischen WWW und Smartphone knapp zwanzig.

Zeit	Entwicklung	Bedeutung
um 1840	Analytical Engine (Entwurf), Ada Lovelace	erste Idee eines programmierbaren Rechners
1936	Turings Maschinenmodell	klärt theoretisch, was berechenbar ist
1941	Zuse Z3	erster funktionsfähiger programmgesteuerter Rechner
1945	von-Neumann-Architektur	Programm und im selben Speicher
1969	ARPANET	Vorläufer des Internets
1971	erster Mikroprozessor	Rechner werden klein und billig
1989	WWW, Tim Berners-Lee	weltweit verknüpft
2007	Smartphone als Massengerät	der Rechner ist immer dabei
seit 2010er	maschinelles Lernen in der Breite	Systeme lernen aus Daten statt aus Regeln

Die Abstände werden kürzer

Diese vier Säulen stehen nicht für Ereignisse, sondern für die Abstände zwischen ihnen. Sie sind aus den Jahreszahlen der Tabelle ausgerechnet. Von Ada Lovelaces Entwurf bis zur ersten funktionierenden Z3 vergingen 101 Jahre; vom WWW bis zum Smartphone als Massengerät noch 18. Die Säulen werden also nicht deshalb kleiner, weil weniger passiert ist, sondern weil dasselbe in immer kürzerer Zeit passiert. Merke dir nicht die Jahreszahlen, sondern diese Form: Sie ist der Grund, warum eine Technikfolgenabschätzung heute schwerer ist als vor hundert Jahren. Die Folgen sind da, bevor man sie diskutiert hat.

Menschen hinter der Entwicklung

Ada Lovelace beschrieb um 1843 einen Rechenablauf für eine Maschine, die nie gebaut wurde, und erkannte als Erste, dass eine solche Maschine nicht nur Zahlen, sondern beliebige Symbole verarbeiten könnte. Das ist der Gedanke, auf dem die gesamte heutige Informatik beruht. Konrad Zuse baute 1941 in Berlin die Z3, den ersten funktionsfähigen programmgesteuerten Rechner, mit Relais statt Elektronik. Alan Turing klärte 1936 mit einem gedanklichen Maschinenmodell, welche Probleme überhaupt berechenbar sind. Seine Arbeit begründet die theoretische Informatik. Grace Hopper entwickelte den ersten Übersetzer von einer verständlichen Sprache in Maschinenbefehle und setzte durch, dass man Programme in Worten statt in Zahlencodes schreiben kann. Tim Berners-Lee entwarf 1989 das WWW und stellte es ohne Patent zur freien Verfügung. Diese Entscheidung erklärt einen guten Teil der weiteren Entwicklung: Ein kostenpflichtiges WWW hätte sich vermutlich nie so verbreitet.

Chancen und Risiken belegt abwägen

Bei gesellschaftlichen Fragen ist es leicht, eine Meinung zu haben, und schwer, sie zu begründen. Ein brauchbares Urteil erkennt man an vier Merkmalen: Es nennt Betroffene. Nicht „das ist gut“, sondern „für wen ist es gut und für wen nicht“. Es unterscheidet Zeiträume. Kurzfristige und langfristige Folgen sind oft gegenläufig. Es benennt die Voraussetzungen. „Fahrassistenz erhöht die Sicherheit“ gilt nur, solange der Fahrer aufmerksam bleibt. Es nennt Alternativen. Ein Vergleich mit dem Zustand ohne die Technik gehört dazu. Ein Beispiel im Vergleich: Schwach: „Künstliche Intelligenz ist gefährlich.“ Belegt: „Wenn ein System Bewerbungen vorsortiert und aus alten Einstellungsdaten lernt, übernimmt es die dort enthaltene Benachteiligung, weil es Muster fortschreibt statt sie zu prüfen. Betroffen sind Bewerbergruppen, die früher selten eingestellt wurden. Abhilfe wäre, die Entscheidungen nachprüfbar zu machen und die Ergebnisse regelmäßig auf Ungleichbehandlung zu untersuchen.“ Der Unterschied ist nicht die Länge, sondern dass die zweite Aussage überprüfbar ist. Sie nennt eine Wirkungskette, Betroffene und eine mögliche Gegenmaßnahme, und man kann ihr begründet widersprechen.

„KI ist gefährlich“ gegen ein belegtes Urteil

Links steht der Satz „Künstliche Intelligenz ist gefährlich“, rechts die belegte Fassung aus dem Text. Geh die vier Fragen einzeln durch: Der linke Satz beantwortet keine davon, und deshalb kann man ihm auch nicht widersprechen. Es gibt nichts, woran man ihn prüfen könnte. Der rechte nennt eine Wirkungskette (aus alten Daten gelernt \to Muster fortgeschrieben \to Benachteiligung übernommen), sagt, wen es trifft, unter welcher Voraussetzung es gilt, und was man dagegen tun könnte. Genau deshalb ist er das bessere Urteil: Nicht weil er ausgewogener klingt, sondern weil er widerlegbar ist.

Verantwortung

Ein häufiger Satz lautet: „Der Computer hat entschieden.“ Das ist eine bequeme, aber falsche Formulierung. Ein Informatiksystem führt aus, was Menschen festgelegt haben: Jemand hat die Regeln geschrieben, jemand die Trainingsdaten ausgewählt, jemand entschieden, das System einzusetzen, und jemand darauf verzichtet, das Ergebnis zu prüfen. Daraus folgen drei Fragen, die zu jedem eingesetzten System gehören: Wer hat es gebaut, und nach welchen Regeln? Wer hat entschieden, es einzusetzen, und mit welchem Ziel? Wer prüft die Ergebnisse, und was passiert, wenn sie falsch sind? Besonders wichtig ist die letzte. Ein System ohne Widerspruchsmöglichkeit macht seine Fehler dauerhaft, denn niemand erfährt von ihnen. Deshalb ist die Forderung, dass automatisierte Entscheidungen begründbar und anfechtbar sein müssen, keine Technikfeindlichkeit, sondern eine Bedingung dafür, dass Fehler überhaupt gefunden werden können.

„Der Computer hat entschieden“, wer eigentlich?

An jeder dieser vier Stationen steht ein Mensch . Der Satz „Der Computer hat entschieden“ ist bequem, weil er alle vier verschwinden lässt; tatsächlich führt ein System nur aus, was an diesen Stellen festgelegt wurde. Die letzte Station ist die wichtigste und zugleich die, die am häufigsten fehlt. Deshalb ist der Weg dorthin markiert. Ihr Ausfall ist besonders tückisch, weil er unsichtbar ist: Ein System ohne Widerspruchsmöglichkeit meldet seine Fehler nicht, sie wiederholen sich einfach. Deshalb ist die Forderung, dass automatisierte Entscheidungen begründbar und anfechtbar sein müssen, keine Technikfeindlichkeit. Sie ist die Bedingung dafür, dass Fehler überhaupt gefunden werden.

Eine Veränderung differenziert beschreiben

Selbstbedienungskassen im Supermarkt: Beschreibe die Folgen nach den drei Bewegungen und benenne die Betroffenen.

1 $Wegfall: Reine Kassiertätigkeit wird seltener. Sie ist regelhaft und wiederholt sich, also gut automatisierbar.$
2 $Wandel: Aus dem Kassieren wird Betreuung: Kunden einweisen, Störungen beheben, Altersnachweise prüfen, Diebstahl im Blick behalten. Andere Anforderungen, teils höhere.$
3 $Neuentstehung: Wartung der Geräte, Software-Entwicklung, Betrieb der Warenwirtschaft, Auswertung der Kassendaten.$
4 $Betroffene benennen: Der Markt spart Personalkosten. Kunden gewinnen Zeit bei kleinen Einkäufen und verlieren Bedienkomfort bei großen. Beschäftigte in der reinen Kassiertätigkeit verlieren Stunden oder Stellen; die neuen Tätigkeiten entstehen anderswo und verlangen andere Qualifikationen.$
5 $Zeitraum unterscheiden: Kurzfristig überwiegt für die Betroffenen der Verlust, langfristig kann die Beschäftigung insgesamt gleich bleiben. Beides gleichzeitig zu sagen ist keine Ausweichbewegung, sondern die genauere Beschreibung.$

Alle drei Bewegungen treten auf, aber bei verschiedenen Personengruppen und in verschiedenen Zeiträumen.

Ein schwaches Urteil verbessern

Verbessere die Aussage: „Soziale Netzwerke sind schlecht für Jugendliche.“

1 $Prüfpunkt 1, Betroffene: Wer genau? „Jugendliche“ ist keine einheitliche Gruppe. Wirkungen unterscheiden sich nach Alter, Nutzungsdauer und Art der Nutzung.$
2 $Prüfpunkt 2, Zeitraum: Geht es um eine Stunde am Tag oder um fünf, um einen Monat oder um Jahre?$
3 $Prüfpunkt 3, Voraussetzungen: Unter welchen Bedingungen gilt die Aussage? Passives Durchscrollen wirkt anders als aktives Schreiben mit Freunden.$
4 $Prüfpunkt 4, Alternativen: Womit wird verglichen? Mit gar keinem Kontakt, mit Telefon, mit persönlichem Treffen?$
5 $Verbesserte Fassung: „Bei Jugendlichen, die soziale Netzwerke überwiegend passiv und mehrere Stunden täglich nutzen, ist ein Zusammenhang mit Unzufriedenheit über das eigene Aussehen beobachtet worden; das liegt an der ständigen Gegenüberstellung mit ausgewählten, bearbeiteten Bildern. Bei aktiver Nutzung zur Verabredung mit Freunden zeigt sich dieser Zusammenhang nicht. Eine wirksame Maßnahme wäre, die Empfehlung solcher Inhalte für Minderjährige einzuschränken.“$

Die verbesserte Fassung nennt Nutzungsart, Menge, Wirkungskette und Gegenmaßnahme und ist damit überprüfbar.

Typischer Fehler

„Der Algorithmus hat entschieden, dass sie den Kredit nicht bekommt. Da kann man nichts machen.“

Beide Sätze sind falsch, und zwar auf verschiedene Weise. Ein Algorithmus entscheidet nicht. Er führt aus, was festgelegt wurde. Bei jeder solchen Entscheidung stehen Menschen dahinter: Jemand hat die Regeln oder die Trainingsdaten gewählt, jemand die Grenzwerte gesetzt, jemand beschlossen, das System überhaupt einzusetzen, und jemand entschieden, wie viel menschliche Prüfung stattfindet. „Da kann man nichts machen“ ist ebenfalls falsch. Wer ein System einsetzt, ist für seine Ergebnisse verantwortlich, und automatisierte Entscheidungen über Menschen müssen begründbar und anfechtbar sein. Warum ist die bequeme Formulierung gefährlich? Weil sie die Verantwortung an eine Stelle schiebt, die keine übernehmen kann. Ein Programm lässt sich nicht zur Rechenschaft ziehen, kann seine Regeln nicht erklären und lernt aus einem Widerspruch nichts. Beschwert sich niemand, weil alle glauben, es sei „der Computer“ gewesen, bleibt ein systematischer Fehler dauerhaft bestehen und trifft jeden weiteren Fall genauso. Die richtige Frage lautet deshalb nie „was hat der Computer entschieden?“, sondern: Wer hat festgelegt, wie entschieden wird, und wer prüft das Ergebnis?

Übung 1

leicht

Ordne den drei Bewegungen zu (Wegfall, Wandel, Neuentstehung): a) Ein Setzer, der Bleibuchstaben sortiert b) Ein Grafiker, der heute am Rechner statt am Zeichenbrett arbeitet c) Eine Datenschutzbeauftragte d) Eine Telefonvermittlerin, die Gespräche von Hand verbindet e) Ein Landwirt, der Bodendaten auswertet

Tipp anzeigen

Frage: Gibt es den Beruf noch, hat er sich verändert, oder ist er neu?

Lösung anzeigen

a) Wegfall \cdot b) Wandel \cdot c) Neuentstehung \cdot d) Wegfall \cdot e) Wandel

Detaillierte Schritterklärung anzeigen

Hier wird jeder Schritt einzeln erklärt, vor allem, warum er gemacht wird.

Erklärungstiefe

✦ Empfohlen: Standard – Die normale Erklärungstiefe passt zum Einstieg.

1
Die Prüffrage: Gibt es den Beruf noch und in welcher Form?
$Drei Fälle, drei Fragen in Folge: Gibt es die Tätigkeit heute noch? Nein heißt Wegfall . Ja, aber mit anderen Werkzeugen heißt Wandel . Und gab es sie früher gar nicht, heißt es Neuentstehung .$
2
a) und d): Wegfall, die Tätigkeit selbst ist verschwunden
$Bleibuchstaben zu sortieren und Telefongespräche von Hand zu verbinden gibt es nicht mehr . Nicht die Werkzeuge haben sich geändert, sondern die Aufgabe ist vollständig von Maschinen übernommen worden: Wegfall .$
3
b) und e): Wandel, dieselbe Aufgabe, andere Werkzeuge
$Der Grafiker gestaltet weiterhin, nur am Rechner statt am Zeichenbrett. Der Landwirt bewirtschaftet weiterhin Felder, wertet dafür aber Bodendaten aus. Die Aufgabe blieb, das Werkzeug änderte sich: Wandel .$
4
c) Neuentstehung, den Beruf gab es früher gar nicht
$Eine Datenschutzbeauftragte hatte vor der digitalen Verarbeitung personenbezogener Daten schlicht keinen Gegenstand. Der Beruf ist durch die Technik entstanden, nicht durch sie verändert: Neuentstehung .$

Übung 2

mittel

Eine Stadt führt eine App ein, mit der Bürger Schäden an Straßen melden können. Die Meldungen werden automatisch nach Dringlichkeit sortiert. a) Nenne zwei Chancen und zwei Risiken, jeweils mit Begründung und Betroffenen. b) Wer trägt die Verantwortung, wenn eine gefährliche Stelle als „gering dringlich“ eingestuft wird? c) Welche Menschen könnten von der App nicht erreicht werden, und warum ist das ein Problem? d) Formuliere eine Bedingung, unter der du die App befürworten würdest.

Tipp anzeigen

Zu c): Wer besitzt kein Smartphone oder nutzt es anders?

Lösung anzeigen

a) Chance 1: Schäden werden schneller bekannt, weil viele Augen melden statt weniger Kontrolleure; betroffen sind alle Verkehrsteilnehmer, die früher gewarnt oder geschützt werden. Chance 2: Die Verwaltung kann Prioritäten belegen statt schätzen, was den Einsatz knapper Mittel nachvollziehbar macht. Risiko 1: Die automatische Sortierung kann falsch liegen, weil sie nur nach den gemeldeten Angaben und Fotos urteilt und den Zusammenhang nicht kennt; betroffen sind die Nutzer der falsch eingestuften Stelle. Risiko 2: Stadtteile mit vielen app-nutzenden Bewohnern melden häufiger und bekommen dadurch mehr Reparaturen, obwohl anderswo die Schäden größer sind; betroffen sind Bewohner der weniger meldenden Gebiete. b) Die Stadt als Betreiberin. Sie hat entschieden, das System einzusetzen, die Einstufungsregeln festzulegen oder festlegen zu lassen und wie viel menschliche Prüfung stattfindet. „Die Software hat es so eingestuft“ entlastet niemanden; wer ein System einsetzt, verantwortet seine Ergebnisse. c) Menschen ohne Smartphone oder ohne Datenvertrag, ältere Menschen mit wenig Übung, Menschen mit Sehbeeinträchtigung, wenn die App nicht barrierefrei ist, und Menschen mit geringen Deutschkenntnissen . Das Problem: Die Meldungen bilden dann nicht die tatsächliche Schadenslage ab, sondern die Verteilung der App-Nutzung. Eine Sortierung nach Meldehäufigkeit verstärkt diese Verzerrung noch, weil bevorzugt dort repariert wird, wo ohnehin gemeldet wird. d) Zum Beispiel: „Ich befürworte die App, wenn die automatische Einstufung nur ein Vorschlag ist, den ein Mensch bestätigt, wenn es weiterhin Meldewege per Telefon und Formular gibt und wenn die Verteilung der Reparaturen jährlich veröffentlicht und auf Ungleichgewichte zwischen Stadtteilen geprüft wird.“

Detaillierte Schritterklärung anzeigen

Hier wird jeder Schritt einzeln erklärt, vor allem, warum er gemacht wird.

Erklärungstiefe

✦ Empfohlen: Standard – Die normale Erklärungstiefe passt zum Einstieg.

1
Teil a): Chancen und Risiken systematisch finden
$Statt frei zu assoziieren, geht man die Wirkungskette entlang: Wer meldet, was passiert mit der Meldung, wer entscheidet, wer merkt es. An jeder Station kann etwas gut oder schlecht laufen.$
Zwischenergebnis
$Stationen: Melden \to automatische Einstufung \to Reparaturentscheidung \to Ergebnis für die Betroffenen.$
$Zu jeder Chance und jedem Risiko gehört ein Betroffener . Eine Wirkung ohne benannte Betroffene ist noch kein Argument.$
2
Teil b): Die Verantwortungsfrage richtig stellen
$Man ersetzt „die Software“ testweise durch „die Stelle, die die Software einsetzt“. Danach klingt der Satz sofort anders und die Zuständigkeit ist sichtbar.$
Zwischenergebnis
$Verantwortlich ist die Stadt: für Auswahl, Regeln und das Maß der Prüfung.$
3
Teil c): Wer fehlt in den Daten?
$Die Meldungen bilden nicht die Schäden ab, sondern die Schäden derjenigen, die melden können und wollen . Diese Frage lohnt bei jedem System, das auf freiwilligen Eingaben beruht.$
Zwischenergebnis
$Ohne Smartphone, ohne Übung, ohne Barrierefreiheit, ohne Sprachkenntnisse: alle diese Gruppen fehlen.$
4
Teil d): eine Bedingung statt eines Urteils
$Die Aufgabe verlangt keine Zustimmung oder Ablehnung, sondern eine Bedingung . Das ist die anspruchsvollere Form: Man muss angeben, was erfüllt sein müsste, damit die Risiken beherrschbar sind.$
Zwischenergebnis
$Mensch prüft die Einstufung, alternative Meldewege bleiben, Ergebnisse werden veröffentlicht und geprüft.$
$Jede der drei Bedingungen antwortet auf genau eines der vorher genannten Risiken. Das ist der Prüfstein für ein gutes Bedingungsgefüge.$

Übung 3

schwer

Ein Unternehmen setzt ein System ein, das Bewerbungen vorsortiert. Es wurde mit den Einstellungsentscheidungen der letzten zehn Jahre trainiert. a) Erkläre, wie dabei eine Benachteiligung entstehen kann, obwohl niemand sie beabsichtigt. b) Warum fällt so etwas oft lange nicht auf? c) Welche Maßnahmen könnten helfen? Nenne drei und begründe jede. d) Nimm Stellung zu der Aussage: „Ein Computer ist gerechter als ein Mensch, weil er keine Vorurteile hat.“

Tipp anzeigen

Zu a): Was lernt ein System, wenn in den alten Daten eine Gruppe selten eingestellt wurde?

Lösung anzeigen

Detaillierte Schritterklärung anzeigen

Hier wird jeder Schritt einzeln erklärt, vor allem, warum er gemacht wird.

Erklärungstiefe

✦ Empfohlen: Standard – Die normale Erklärungstiefe passt zum Einstieg.

1
a) Wie eine Benachteiligung ohne Absicht entsteht
$Das System lernt Muster aus der Vergangenheit und schreibt sie fort. Wurde eine Gruppe früher selten eingestellt, gleich aus welchem Grund, erscheinen ihre Merkmale in den Trainingsdaten selten bei erfolgreichen Bewerbungen. Das System schließt daraus, dass diese Merkmale mit Erfolg wenig zu tun haben. Niemand hat diese Regel geschrieben . Sie ist aus den Daten entstanden.$
2
b) Warum es lange nicht auffällt
$Drei Gründe. Erstens sieht niemand die Abgelehnten: Man bemerkt, wen man eingestellt hat, nicht, wen man übersehen hat. Zweitens wirkt das Ergebnis bestätigend, weil die Eingestellten dem bisherigen Muster ähneln und sich bewähren. Drittens erklärt das System seine Entscheidung nicht von selbst, ohne ausdrückliche Untersuchung gibt es schlicht keine Zahlen, an denen etwas auffallen könnte.$
3
c) Drei Maßnahmen und was jede leistet
$Erstens: Ergebnisse regelmäßig auf Ungleichverteilung untersuchen, also messen, welche Gruppen wie oft aussortiert werden, ohne Messung bleibt die Wirkung unsichtbar. Zweitens: menschliche Prüfung einer Stichprobe der Aussortierten, weil nur so zu Unrecht Verworfene sichtbar werden. Drittens: Begründung und Widerspruchsmöglichkeit für Abgelehnte, ein Widerspruch ist die einzige Rückmeldung, die von außen kommt.$
4
d) Die Aussage prüfen: Was stimmt, und was folgt nicht
$Richtig ist: Ein System hat keine Tagesform, wird nicht müde und wendet dieselbe Regel auf alle Fälle gleich an. Falsch ist die Schlussfolgerung: Es hat zwar keine eigenen Vorurteile, übernimmt aber die in den Daten enthaltenen und tut das gleichmäßig und in großem Umfang, während ein einzelner voreingenommener Mensch nur seine eigenen Fälle betrifft.$

Zusammenfassung

Automatisierung verändert Arbeit in drei Richtungen: Tätigkeiten fallen weg, andere wandeln ihren Inhalt, neue entstehen. Weil diese Bewegungen nicht dieselben Menschen betreffen, beschreibt eine Gesamtbilanz die Wirkung nur unvollständig; zu jeder Aussage gehören die Betroffenen. Die Entwicklung der Informationstechnik verlief in Sprüngen, von Lovelaces Einsicht, dass eine Maschine beliebige Symbole verarbeiten kann, über Turings Berechenbarkeitsmodell und Zuses erste funktionsfähige Maschine bis zum frei verfügbaren WWW . Ein belegtes Urteil über Technikfolgen nennt Betroffene, Zeiträume, Voraussetzungen und Alternativen und formuliert eine überprüfbare Wirkungskette statt eines Schlagworts. Und schließlich: Ein System entscheidet nicht. Menschen legen Regeln, Daten und Einsatz fest, und deshalb müssen automatisierte Entscheidungen begründbar und anfechtbar bleiben, sonst bleiben ihre Fehler dauerhaft unentdeckt.