Eine der zentralen Herausforderungen bei der Verwendung von KI-Systemen z.B. im Bereich der Personalarbeit (Einstellung, Ausbildung) besteht darin, dass von KI-Systemen teilweise unbemerkte diskriminierende Wirkungen ausgehen können. Der Einsatz von künstlicher Intelligenz ist im Personalmanagement verbreitet und wird beispielsweise bei Einstellungen herangezogen, wo die Vorauswahl der Bewerber:innen auf Grundlage der Bewerbungsunterlagen einer KI überlassen wird oder die erste Bewerbungsrunde in der Kommunikation mit einem Chatbot besteht. Der Vorteil des Einsatzes von künstlicher Intelligenz besteht in ihrer vermeintlichen Neutralität: Es geht augenscheinlich weniger um Sympathie, sondern eher um festgelegte Kriterien. Aber das ist oft nur der Vordergrund. Weil sich maschinelles Lernen immer anhand von Datensätzen vollzieht – die künstliche Intelligenz „trainiert“ ihr Urteilsvermögen an vergleichbaren menschlichen Urteilen –, übertragen sich auch die Verzerrungen aus den eingebrachten oder erhobenen Daten, was dafür sorgen kann, dass sich diskriminierende Verhaltensweisen in die KI einschreiben und sogar verstärken (sog. feedback-loops). Die von einer KI verwendeten Datensätze spiegeln die Vorurteile und Ungleichheiten einer Gesellschaft wider. Die Datensätze haben einen grundsätzlichen Vergangenheitsbezug und können bestehende Ungleichheiten sogar verfestigen. Ein oft zitiertes Beispiel ist der Zugang zu amerikanischen Elitehochschulen, wo weiße Bevölkerungsteile traditionell überrepräsentiert sind. Lernt eine KI anhand dieser Daten, wird sie das Kriterium „weiß“ als Erfolgsindikator berücksichtigen, obwohl es für sich genommen kein Merkmal für persönliche Eignung ist und die diskriminierende Praxis der Vergangenheit als Maßstab für zukünftige Entscheidungen fortschreibt. Generell stellt sich das Problem, dass ein datenbasiertes Lernen nicht zwischen korrelierenden Daten und einem kausalen Zusammenhang unterscheiden können: Ob eine Eigenschaft ursächlich für den gewünschten Erfolg oder eine zufällige Nebenerscheinung ist, lässt sich auf dieser Ebene nicht erkennen.

Weniger offensichtlich und deswegen auch weniger leicht zu umgehen, sind diskriminierende Entscheidungen, die sich an Stellvertreter-Eigenschaften knüpfen. Wenn eine Software ihre positive Prognose beispielsweise an das häufige Besuchen einer bestimmten deutschen Webseite, z. B. tagesschau.de, knüpft, werden Bewerber:innen aus dem Ausland, die diese Seite eher selten besuchen dürften, benachteiligt. Das Merkmal „Tagesschau“ ist für sich gesehen neutral, knüpft aber als Stellvertreter („proxy“) an eine bestimmte Nationalität oder einen Kulturraum.⁶ Es entsteht eine mittelbare Diskriminierung. Ebenfalls mittelbar (indirekt) diskriminierend wäre eine KI, die eine negative Prognose an einen erfolgten Wechsel des Nachnamens knüpft. Denn immer noch wechseln mehrheitlich Frauen bei der Eheschließung ihren Familiennamen, die negative Prognose aufgrund dieser Eigenschaft würde deshalb mittelbar Frauen diskriminieren.

Das heißt, selbst wenn die direkte Anknüpfung an ein verbotenes Diskriminierungsmerkmal (z.B. „ethnische Herkunft, Geschlecht, Religion oder Weltanschauung, Behinderung, Alter oder sexuellen Identität“ in § 1 AGG) im Rahmen der Technikgestaltung von KI ausgeschlossen wird, bleibt das Risiko einer mittelbaren Diskriminierung im Sinne des § 3 Abs. 2 AGG bestehen, weil dabei an vordergründig neutrale Merkmale angeknüpft werden kann.

Betriebsräte haben die Aufgabe, diskriminierende Funktionsweisen der KI aufzudecken (§§ 75 Abs. 1, 2, 80 Abs. 1 Nr. 1 BetrVG). Dafür ist es zunächst wichtig, die Datenabhängigkeit und Fehleranfälligkeit von KI ins Bewusstsein zu rücken und den Anschein von „Objektivität“ zu durchbrechen. Einflussmöglichkeiten bestehen beim Gestalten der KI sowie den ausgewählten oder erhobenen Daten. Es liegt auf der Hand: Wer statistische Modelle kopiert, kopiert auch ihre Fehler, und wer einen gesellschaftlichen status quo spiegelbildlich erfasst, übernimmt auch ihre Vorurteile und Diskriminierungen. Operiert ein KI-System dann erst einmal mit bestimmten Voreinstellungen, ist die konkrete mittelbare Diskriminierung nur schwer zu entdecken.

Datenschutz dient dem Schutz der Persönlichkeit. Ausgangspunkt für die Anwendung des Datenschutzes ist daher immer die Frage, ob Daten erhoben werden, die einer Person zugeordnet werden können, sog. „personenbezogene Daten“. Die wichtigen Rechtsquellen im Arbeitsverhältnis sind die Datenschutzgrundverordnung (DSGVO) und das Bundesdatenschutzgesetz (BDSG). Der Beschäftigtendatenschutz ist in § 26 BDSG geregelt, trotzdem enthält die DSGVO auch für das Arbeitsverhältnis maßgebliche datenschutzrechtliche Regelungen.⁷ Nach Art. 4 Nr. 1 DSGVO sind personenbezogene Daten „alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen“, wobei eine indirekte Identifizierbarkeit auf Grundlage vermeintlich anonymer Daten genügt. Im Zusammenhang mit KI-Systemen bereit das Probleme, weil über das Verwenden von großen Datenmengen, das Anwachsen der Daten und unvorhersehbare Kombinationsmöglichkeiten auch anonyme Daten im Laufe der Zeit zuordenbar werden können und damit aus anonymen Daten „personenbezogene Daten“ werden können, die Schutzrechte der Arbeitnehmer:innen betreffen. Zusätzlich „ziehen Big-Data-Analysen und KI regelmäßig nicht-intuitive und nicht überprüfbare Schlüsse und machen Vorhersagen z.B. über das Verhalten oder bestimmte Neigungen von Personen.“⁸ Nicht länger ist nur die Analyse der Vertrauenswürdigkeit einer Person möglich, sondern es lassen sich Schlüsse auf emotionale Zustände ziehen. Die Möglichkeiten, Informationen über Beschäftigte zu gewinnen, werden damit enorm erweitert und erstrecken sich auch auf Neigungen oder Eigenschaften, die nach § 9 Abs. 1 DSGVO als besonders sensibel gelten und deren Verarbeitung deswegen untersagt ist. Dies können z. B. politische Meinungen, religiöse oder weltanschauliche Überzeugungen, Gewerkschaftszugehörigkeit, Gesundheitsdaten, Fragen des Sexuallebens oder der sexuellen Orientierung sein. Das Problem bei der Verwendung großer Datenmengen liegt darin, dass zum Zeitpunkt der Erhebung von Daten oft noch gar nicht vorhersehbar ist, aus welchen Datenteilen später eine bestimmte andere Information gewonnen werden kann.

Geht es nicht um sensible Daten im Sinne des Art. 9 Abs. 1 DSGVO gestaltet sich die Frage der Rechtmäßigkeit der Verarbeitung „personenbezogener Daten“ regelmäßig auch für Rechtskundige als äußerst schwierig. Nach Art. 6 Abs. 1 DSGVO ist die Verarbeitung personenbezogener Daten rechtmäßig, wenn entweder eine Einwilligung vorliegt oder die Verarbeitung einem der in der Vorschrift genannten Zwecke dient (Art. 6 Abs. 1 lit. b–e), zum Beispiel, weil die Verarbeitung zur Erfüllung eines Vertrages oder einem vergleichbaren Zweck „erforderlich“ ist.

Allerdings dürfen auch dann die Interessen oder Grundrechte der von der Datenverarbeitung betroffenen Person nicht überwiegen. Die Abwägung zwischen der Erforderlichkeit der Verarbeitung und dem Persönlichkeitsrecht der Betroffenen ist allerdings kaum vorherzusehen und erzeugt eine „weitgehende Rechtsunsicherheit“. Der Maßstab der „Erforderlichkeit“ ergibt sich im Arbeitsverhältnis aus § 26 Abs. 1 BDSG. Er besagt, dass zu einer konkreten Maßnahme, die das Persönlichkeitsrecht der Arbeitnehmer berührt, keine anderen, zur Zielerreichung gleich wirksamen und das Persönlichkeitsrecht der Arbeitnehmenden weniger einschränkenden Mittel zur Verfügung stehen dürfen. Zudem muss die Maßnahme verhältnismäßig sein. Verhältnismäßig ist die Datenerhebung, wenn die Schwere des Eingriffs bei einer Gesamtabwägung nicht außer Verhältnis zu dem Gewicht der ihn rechtfertigenden Gründe steht (BVerfG 4. April 2006 – 1 BvR 518/02). Informationsinteresse und Persönlichkeitsschutz müssen in Ausgleich gebracht werden. Nach deutscher Verfassungsrechtsprechung bedeutet das, dass die widerstreitenden Grundrechtspositionen zur Herstellung praktischer Konkordanz miteinander abgewogen werden müssen, wobei das Ziel ist, die Rechte aller Beteiligten zu optimaler Geltung zu bringen.

Beispiel Video-Überwachung: Entgegen Art. 13 DSGVO entsteht das Recht, als Betroffene über eine Videoüberwachung am Arbeitsplatz informiert zu werden, nach § 32 Abs. 1 BDSG dann nicht, wenn die Maßnahme zur Geltendmachung überwiegender berechtigter Interessen des Arbeitgebers erforderlich ist. Jedoch gelten hier enge Maßstäbe: Es muss im Falle einer der (verdeckten) Videoüberwachung vergleichbar eingriffsintensiven Maßnahme der auf konkrete Tatsachen begründete Verdacht einer schwerwiegenden, jedoch nicht zwangsläufig strafbaren Pflichtverletzung bestehen. Eine verdeckte Ermittlung „ins Blaue hinein“ ist unzulässig (BAG 29.6.2017 – 2 AZR 597/16). Eine solche Maßnahme wäre stets unangemessen, ohne dass es darauf ankäme, ob mildere, gleich effektive Mittel verfügbar sind, (BAG vom 27.7.2017 – 2 AZR 681/16, NZA 2017, 1327).

Zumindest wird man festhalten können, dass es „Rückzugsräume“ geben muss, in denen „der Einzelne unbeobachtet sich selbst überlassen ist“ und beanspruchen kann, „in Ruhe gelassen“ zu werden. Das wird nicht nur bei einer visuellen Erfassung oder einem umfassenden sensorischen Monitoring in Frage stehen, sondern auch bei einer umfassenden Verhaltens- und Leistungskontrolle, die sich bei mobiler Arbeit auf den zusätzlich geschützten Raum der eigenen Wohnung erstrecken kann. Eine lückenlose technische Überwachung ist vor diesem Hintergrund unzulässig (BAG vom 13.12.2007 – 2 AZR 537/06, NZA 2008, 2732).

Zu achten ist stets auf die Einhaltung der Prinzipien der Verarbeitung von personenbezogenen Daten aus Art. 5 DSGVO, insbesondere Rechtmäßigkeit der Verarbeitung, Verarbeitung nach Treu und Glauben, Transparenz, Zweckbindung, Datenminimierung und Richtigkeit.

Im Arbeits- und Gesundheitsschutz stellen sich ebenfalls schwierige Fragen. Der Einsatz von großen Datenmengen und die Einstellung von Robotern und Maschinen kann über datenbasiertes Lernen nämlich einerseits einen besseren Arbeits- und Gesundheitsschutz bewirken, zum Beispiel wenn Roboter lernen, sich an der Körpersprache von Arbeitnehmer:innen zu orientieren und so Gefährdungssituationen zu vermeiden. Außerdem können ermüdende Routineaufgaben auf Roboter übertragen werden, was Belastungen reduzieren kann. Andererseits kann aber die Unvorhersehbarkeit der Funktionsweisen KI-gesteuerter Roboter zu einer Gefahrenquelle werden. Die physischen und insbesondere psychosozialen Risiken des Einsatzes von KI sollten jedenfalls nicht unterschätzt werden. Werden den Arbeitnehmenden Aufgaben zugewiesen, die einer Leistungserfassung durch KI-Systeme unterliegen, kann das zu Zeit- und Leistungsdruck führen. Besonders gefährdete Bereiche sind hier etwa Vertriebs- und Logistikzentren, wo Bewegungen sekundengenau getrackt werden, aber auch die permanente und teilweise KI-gesteuerte Überwachung des Gesprächsverhaltens in Call-Centern setzt die Beschäftigten einer extremen Leistungs- und Verhaltenskontrolle aus, die die psychische Gesundheit beeinträchtigt. Zusammengefasst werden folgende Risiken regelmäßig benannt: „Leistungsverdichtung, Verlust von Autonomie, Vermischung von Arbeit und Privatleben, zunehmende Komplexität der Aufgaben für manche und Beschränkung auf „modulare Tätigkeiten“ für andere; Anpassungsdruck und der Verlust menschlicher Interaktion am Arbeitsplatz.“⁹

Möglichkeiten individueller Geltendmachung von Rechten bestehen, die Betroffenen begegnen aber praktisch schwer zu überwindenden Hürden. Zwar verbietet das Allgemeine Gleichbehandlungsgesetz (AGG) nicht nur Diskriminierungen, die unmittelbar an Merkmale wie Geschlecht, Ethnie oder sexuelle Orientierung anknüpfen, sondern auch solche, bei denen die Diskriminierung mittelbar (etwa über „Stellvertreter“-Merkmale) erfolgt, § 3 Abs. 2 AGG. Allerdings ist diese Diskriminierung für individuelle Betroffene kaum zu erkennen, weil sie erst bei der Betrachtung einer größeren Vergleichsgruppe deutlich wird – denn die Entscheidungsgrundlage der KI wird nach außen hin nicht transparent. Sie kann nur an ihren Wirkungen abgelesen werden.  Zwar liefert § 22 AGG hier eine Beweiserleichterung und die Betroffenen müssen nur „Indizien“ für eine Benachteiligung darlegen. Allerdings wird ihnen bereits das wegen der Intransparenz der Faktoren nur schwer gelingen.

Beim betrieblichen Datenschutz können sich die Betroffenen auf ihre individuellen Informationsrechte berufen. Art. 13 DSGVO begründet eine Informati­onspflicht bei der Erhebung von personenbezogenen Daten bei der betroffe­nen Person selbst, Art. 14 DSGVO begründet eine Informations­pflicht, wenn die personenbezogenen Daten nicht bei der betroffenen Person erhoben wurden. Auch besteht nach Art. 15 Abs. 1 DSGVO ein Auskunftsrecht darüber, ob personen­bezogene Daten verarbeitet wurden; ist dies der Fall, so kann die betroffene Person eine Reihe konkreter Informationen verlangen, die bereitzustellen für die Unternehmen umständlich sein kann. Art. 17 Abs. 1 DSGVO ist Grundlage eines Rechts auf Löschung von Daten, wenn der Grund für die Verarbeitung weggefallen oder die erhobenen Daten falsch sind. Ebenfalls individuell zur Seite steht den Arbeitnehmenden Art. 22 Abs. 1 DSGVO, der es verbietet „einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden“, die gegenüber der betroffenen Person eine „rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt“. Als Anwendungsfall nennt die DSGVO in ihrem Erwägungsgrund 71 ein „Online-Einstellungsverfahren ohne jegliches menschliche Eingreifen“, aber auch die „Analyse oder Prognose von Aspekten bezüglich Arbeitsleistung, wirtschaftliche Lage, Gesundheit, persönliche Vorlieben oder Interessen, Zuverlässigkeit oder Verhalten, Aufenthaltsort oder Ortswechsel der betroffenen Person“. Die Einschränkung auf „ausschließlich automatischen Entscheidung“ zeigt jedoch, dass der Anwendungsbereich kleiner ist, als man zunächst denken könnte. Denn ausschließlich automatisch ist die Entscheidung dann nicht mehr, wenn die im Wesentlichen vorgegebene Entscheidung von einem Menschen in eine „eigene Entscheidung“ übersetzt wird. Was genau die „Übersetzung in eine eigene Entscheidung“ erfordert, ist unklar, womit der Schutz durch die Vorschrift eingeschränkt wird. Jedenfalls anonyme Massenentscheidungen ohne inhaltliche Mitwirkung eines Menschen dürften jedoch ausgeschlossen sein. Sofern eine Entscheidung gegenüber einem Betroffenen rechtlich wirksam wird, muss es eine Kontrollmöglichkeit geben, die einbezieht, dass die von der KI getroffene Entscheidung auch falsch sein könnte. Wo diese Möglichkeit nicht gegeben ist, liegt eine „ausschließlich automatische Entscheidung“ vor, die unzulässig ist.

Die individuellen Rechte im Bereich des Arbeits- und Gesundheitsschutzes (z. B. Ergonomie, Arbeitszeit), die sich unter anderem aus dem Arbeitsschutzgesetz, dem Arbeitszeitgesetz sowie anderen europarechtlichen und nationalen Normen oder aus Tarifverträgen ergeben, gelten grundsätzlich unabhängig von kollektiven Bezügen. Das heißt, dass die individuell betroffenen Beschäftigten die Rechtsverstöße im Bereich des Arbeits- und Gesundheitsschutzes, die durch die Einführung oder Nutzung von KI entstehen, selbstständig gegenüber dem jeweiligen Arbeitgeber geltend machen können. Allerdings ist dies mit erneuten Belastungen verbunden. Ein Betriebsrat hingegen hat aufgrund seiner gesetzlichen Pflicht aus § 80 Abs. 1 Nr. 1 BetrVG die Aufgabe, anstelle der Beschäftigten auf die Einhaltung der Rechte im Bereich des Arbeits- und Gesundheitsschutzes hinzuwirken. Das Vorliegen eines Betriebsrats kann die Beschäftigten daher von dem Beschreiten eines individuellen Klagewegs entlasten.

Sowohl im Antidiskriminierungsrecht wie auch beim Datenschutz, aber im Kern auch beim Arbeits- und Gesundheitsschutz ist es plausibel, wenn Forderungen erhoben werden, dass es eines stärker kollektiv geprägten Rechtsschutzes bedarf, das heißt, dass z. B. bestimmte gemeinnützige Einrichtungen, Organisationen oder Vereinigungen die Rechte für die individuell betroffenen Personen wahrnehmen können.¹⁰ Da es solche Möglichkeiten bisher nur in den wenigsten Bereichen gibt, ist daher das Bestehen eines Betriebsrats zur Durchsetzung der Rechte von Beschäftigten von erheblicher Bedeutung.