Werkzeuge, die Lebensläufe sortieren, Interviews bewerten oder Passung vorhersagen, gehören zum Standardangebot für Personalabteilungen. In der EU liegt ihr Einsatz im Recruiting in einer der am strengsten regulierten Ecken des KI-Rechts. Das ist kein Grund zu verzichten, es ändert aber, wonach Sie vor der Unterschrift fragen.

Dieser Beitrag enthält allgemeine Informationen und keine Rechtsberatung. Für ein konkretes Werkzeug und einen konkreten Prozess binden Sie bitte Ihren Datenschutzbeauftragten und eine arbeitsrechtliche Beratung ein.

Recruiting ist im AI Act ein Hochrisiko-Anwendungsfall

Der AI Act sortiert KI-Systeme danach, wofür sie eingesetzt werden, nicht danach, wie aufwendig sie gebaut sind. Anhang III führt Beschäftigung als Hochrisikobereich auf, dazu zählen Systeme für die Personalgewinnung und die Auswahl von Bewerbenden: gezielt ausgespielte Stellenanzeigen, das Filtern von Bewerbungen, das Bewerten von Kandidatinnen und Kandidaten. Ein Lebenslauf-Ranking mit einer simplen Punktzahl fällt genauso darunter wie ein System, das ein ganzes Interview führt.

Die Pflichten verteilen sich auf den Anbieter, der das System entwickelt und auf den Markt bringt, und den Betreiber, also das einsetzende Unternehmen. Die aufwendige Technik- und Dokumentationsarbeit liegt beim Anbieter, die Pflichten des Arbeitgebers sind aber real und lassen sich nicht auslagern. Wer ein eingekauftes System unter eigenem Namen einsetzt oder zweckfremd verwendet, kann selbst zum Anbieter werden.

Der AI Act ist 2024 in Kraft getreten und gilt in Stufen. Der Zeitplan für die Hochrisiko-Pflichten war Gegenstand politischer Diskussionen. Lassen Sie sich die aktuell geltenden Fristen daher rechtlich bestätigen.

Was der Anbieter vorlegen können sollte

Risikomanagement über den gesamten Lebenszyklus, keinen einmaligen Test.
Data Governance für Trainings-, Validierungs- und Testdaten samt Prüfung möglicher Verzerrungen.
Technische Dokumentation und eine verständliche Betriebsanleitung.
Automatische Protokollierung, damit nachvollziehbar bleibt, was das System getan hat.
Nachweise zu Genauigkeit, Robustheit und IT-Sicherheit.
Konformitätsbewertung, CE-Kennzeichnung und Registrierung in der EU-Datenbank für Hochrisikosysteme.
Eine Gestaltung, die ein Übersteuern durch Menschen tatsächlich zulässt.

Was Sie als Arbeitgeber tun müssen

Das System entsprechend der Betriebsanleitung einsetzen.
Die menschliche Aufsicht namentlich benennen: Personen mit Kompetenz, Schulung und der Befugnis zu übersteuern.
Dafür sorgen, dass die Eingabedaten relevant und hinreichend repräsentativ sind.
Den Betrieb beobachten, den Einsatz aussetzen und den Anbieter informieren, wenn etwas schiefläuft.
Die erzeugten Protokolle aufbewahren, soweit sie in Ihrem Verantwortungsbereich liegen.
Arbeitnehmervertretung und betroffene Beschäftigte informieren, bevor das System am Arbeitsplatz eingesetzt wird.
Sicherstellen, dass die bedienenden Personen genug KI-Kompetenz haben, um zu wissen, wo das System versagt.
Erklären können, welche Rolle das System gespielt hat, wenn eine betroffene Person danach fragt.

DSGVO: Die Absage darf keine Maschine aussprechen

Die DSGVO gibt Menschen das Recht, nicht einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Eine Absage im Bewerbungsverfahren wird in aller Regel darunter gefasst. Die Ausnahmen sind eng, und eine Einwilligung trägt im Beschäftigungsverhältnis wenig, weil das Verhältnis ungleich ist. Das System darf also sortieren, bewerten und empfehlen, die Absage verantwortet ein Mensch.

Die meisten Probleme macht das Wort „ausschließlich“. Wer eine sortierte Liste durchklickt, ohne die Informationen, die Befugnis oder die Zeit zu haben, anderer Meinung zu sein, übt keine echte Kontrolle aus. Aufsicht wird dann echt, wenn die prüfende Person die Belege hinter einer Punktzahl sieht, zum gegenteiligen Ergebnis kommen darf und das gelegentlich auch tut.

Der Rest der DSGVO gilt wie immer. Im Bewerbungsprozess heißt das:

Eine dokumentierte Rechtsgrundlage, bevor der erste Lebenslauf eingeht.
Transparenz bei der Erhebung: was verarbeitet wird, durch wen, wie lange, und dass ein KI-System beteiligt ist und an welcher Stelle.
Datenminimierung. Keine Social-Media-Profile, Fotos oder Hintergrunddaten, die Ihre Kriterien nicht brauchen.
Eine Löschregel für Bewerbungsdaten, die auch Bewertungen, Transkripte und Protokolle erfasst.
Eine Datenschutz-Folgenabschätzung, die deutsche Aufsichtsbehörden bei KI-gestützter Bewertung von Bewerbenden erwarten.
Einen Auftragsverarbeitungsvertrag, dazu Klarheit über Unterauftragnehmer, Hosting-Standort und Drittlandübermittlungen.

Das AGG interessiert sich nicht dafür, dass eine Maschine bewertet hat

Das Allgemeine Gleichbehandlungsgesetz verbietet die Benachteiligung im Auswahlverfahren aus Gründen wie ethnischer Herkunft, Geschlecht, Religion oder Weltanschauung, Behinderung, Alter und sexueller Identität. Es gilt für Bewerbende, und der Arbeitgeber steht für sein Verfahren ein, auch für den Teil, den ein eingekauftes Werkzeug erledigt hat. Eine Zusicherung im Anbieterprospekt ist keine Verteidigung. Trägt eine bewerbende Person Indizien vor, die eine Benachteiligung vermuten lassen, muss der Arbeitgeber darlegen, dass kein Verstoß vorliegt, und Ansprüche sind innerhalb einer kurzen Frist schriftlich geltend zu machen, derzeit zwei Monate.

Das realistische Risiko ist nicht ein Werkzeug, das nach der Herkunft fragt. Es sind Stellvertretermerkmale. Lücken im Lebenslauf korrelieren mit Elternzeit und Krankheit. Ein Sprachniveau-Score kann Herkunft bestrafen. Ein harter Filter auf Berufsjahre wirkt wie ein Altersfilter. Prüfen Sie, womit Ihre Kriterien tatsächlich zusammenhängen, und sehen Sie sich die Ergebnisse nach Gruppen an, soweit das rechtlich möglich ist.

Der Betriebsrat ist kein Nachgedanke

Gibt es einen Betriebsrat, ist die Einführung eines solchen Werkzeugs selten eine reine Einkaufsentscheidung. Die Mitbestimmung nach dem Betriebsverfassungsgesetz erfasst technische Einrichtungen, die geeignet sind, Leistung oder Verhalten der Beschäftigten zu überwachen, und Auswahlrichtlinien für Einstellungen bedürfen in größeren Betrieben in der Regel der Zustimmung des Betriebsrats.

Der übliche Weg ist eine Betriebsvereinbarung: für welche Stellen das Werkzeug genutzt wird, welche Daten hineingehen, wer die Ausgabe sieht, wie lange Unterlagen aufbewahrt werden, dass vorhandene Beschäftigte nicht durch die Hintertür bewertet werden und wer die Aufsicht innehat. Holen Sie den Betriebsrat vor der Vertragsunterschrift dazu.

Was Sie vor dem Kauf prüfen sollten

Ist der Anbieter Anbieter im Sinne des AI Act, und gibt er Dokumentation, Betriebsanleitung und Konformitätsstatus heraus?
Was gibt das System aus: eine Punktzahl, ein Ranking, eine Empfehlung oder etwas, das als Entscheidung daherkommt?
Lässt sich die Ausgabe leicht übersteuern, auf einem sichtbaren statt versteckten Weg?
Ist jede Bewertung bis zum Beleg zurückverfolgbar, und zwar lesbar?
Was passiert danach mit Ihren Bewerbungsdaten, und trainiert der Anbieter damit seine Modelle?
Wo liegen die Daten, wer sind die Unterauftragnehmer, und welche Protokolle lassen sich exportieren?
Was kann der Anbieter zu diskriminierenden Ergebnissen belegen statt behaupten?
Lässt sich das System ohne Name, Geschlecht, Alter und Herkunft betreiben?

Was Sie dokumentieren sollten

Kriterien und Gewichte je Stelle, datiert vor dem Beginn des Screenings.
Die Datenschutz-Folgenabschätzung und den Eintrag im Verarbeitungsverzeichnis.
Die Betriebsvereinbarung oder die Unterlagen zur Beteiligung des Betriebsrats.
Wer je Stelle die menschliche Aufsicht innehat und welche Schulung dazu stattfand.
Pro Person: die Ausgabe des Systems, die Belege, die menschliche Entscheidung und ihre Begründung.
Anbieterdokumentation, Verträge und einen Termin für die Überprüfung.

Was Sie Bewerbenden sagen sollten

Sagen Sie es klar in der Stellenanzeige oder in den Datenschutzhinweisen, in normaler Sprache statt als juristischer Anhang: dass ein KI-System den Prozess unterstützt, an welcher Stelle, was es bewertet, dass ein Mensch entscheidet, wie sich eine menschliche Überprüfung verlangen lässt, wie lange Daten gespeichert werden und an wen man sich wendet. Und nennen Sie bei einer Absage nicht das Werkzeug als Grund: Wenn ein Mensch entschieden hat, liegt der Grund in den Kriterien.

Wie Persohap dafür gebaut ist

Persohap ist so gebaut, dass der menschliche Schritt der entscheidende bleibt. Jeder eingehende Lebenslauf wird gegen Kriterien geprüft, die die Recruiterin festlegt und gewichtet: Die KI entwirft einen ersten Satz, die Recruiterin formuliert ihn um und gewichtet ihn, bevor ein Lebenslauf gelesen wird. Das Screening ist blind gegenüber Name, Geschlecht, Alter und Herkunft. Nur ausgewählte Personen erhalten eine Einladung zum KI-geführten Interview, das über einen einzigen Link läuft, ohne Benutzerkonto. Jedes Interview liefert ein Transkript und eine Scorecard, deren Bewertungen die Passage aus dem Transkript zitieren, aus der sie entstanden sind, dazu eine Empfehlung: weiter, zurückstellen oder absagen, mit einem Konfidenzwert. So kann eine prüfende Person widersprechen und dabei auf den Grund zeigen. Die Einstellungsentscheidung trifft ein Mensch, das System entscheidet nie. Die Daten liegen in Frankfurt am Main.

So funktionieren Screening und Interview in Persohap