KI-Überwachung im Unternehmen: EU AI Act, DSGVO und ISO/IEC 42001 sicher umsetzen – Leitplanken für die DACH-Region

Ein aktuelles Gesetzesvorhaben sieht einen Ausbau digitaler Ermittlungsbefugnisse vor – unter anderem durch KI-gestützte Mustererkennung in Massendaten sowie den Abgleich biometrischer Merkmale mit öffentlich zugänglichen Quellen und Social-Media-Plattformen. Während die öffentliche Diskussion naturgemäß auf Grundrechte, Datenschutz, Profilbildung und die Gefahr einer Massenüberwachung fokussiert, stehen Unternehmen vor einer ebenso komplexen Frage: Welche Implikationen hat diese Entwicklung für private Organisationen, die ihrerseits KI-basierte Überwachungs- oder Analysewerkzeuge in Sicherheit, Compliance, Betrugsprävention, Qualitätskontrolle oder Mitarbeitermanagement einsetzen?

Die Relevanz ist doppelt: Erstens verschieben sich gesellschaftliche und regulatorische Erwartungshaltungen, sobald staatliche Stellen erweiterte Werkzeuge nutzen – die Toleranzschwelle gegenüber umstrittenen Praktiken in der Privatwirtschaft sinkt. Zweitens nehmen Prüf- und Nachweispflichten unter der EU-KI-Verordnung (EU AI Act) und im Datenschutzrecht zu, insbesondere bei biometrischen und verhaltensbezogenen Anwendungen. Unternehmen benötigen daher ein klares, dokumentiertes Vorgehen, das Effizienzgewinne realisiert, ohne die Rechte von Beschäftigten, Kundinnen und Kunden sowie Dritten zu verletzen.

Rechtsrahmen im Überblick: EU-KI-Verordnung, Datenschutz und Arbeitsrecht in der DACH-Region

• EU-KI-Verordnung (AI Act):
  • Verbote betreffen u. a. bestimmte Formen der biometrischen Fernidentifikation in öffentlich zugänglichen Räumen (mit eng begrenzten Ausnahmen für Strafverfolgungsbehörden), Social Scoring sowie biometrische Kategorisierung anhand sensibler Merkmale. Emotionserkennung in sensiblen Kontexten wie Arbeitsplatz und Bildung ist in der Praxis stark eingeschränkt.
  • Hochrisiko-KI umfasst typischerweise Systeme zur biometrischen Identifizierung, zur Steuerung des Beschäftigungsverhältnisses oder zur Zugangssteuerung zu wesentlichen Diensten. Für diese gelten strenge Anforderungen an Risikomanagement, Datenqualität, technische Dokumentation, Protokollierung, Transparenz, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit. Nutzerorganisationen haben ergänzende Pflichten (zweckkonforme Nutzung, Monitoring, Vorfalls- und Risiko-Meldungen).
• Datenschutz (EU-DSGVO, nationale Gesetze):
  • Biometrische Daten sind besonders schutzbedürftig, sofern sie zur eindeutigen Identifizierung verarbeitet werden (Art. 9 DSGVO). Eine Rechtsgrundlage, strikte Zweckbindung, Datenminimierung und technisch-organisatorische Schutzmaßnahmen sind zwingend.
  • Datenschutz-Folgenabschätzung (DPIA, Art. 35 DSGVO) ist regelmäßig erforderlich, insbesondere bei systematischer umfangreicher Überwachung öffentlich zugänglicher Bereiche oder großer Mengen sensibler Daten.
  • Transparenz- und Informationspflichten (Art. 13/14) gelten auch bei Videoüberwachung und Analyse; Betroffene müssen angemessen informiert werden.
• Arbeitsrecht und Mitbestimmung (DACH):
  • Deutschland: Der Einsatz technischer Systeme zur Verhaltens- oder Leistungsüberwachung unterliegt der Mitbestimmung (§ 87 Abs. 1 Nr. 6 BetrVG). Betriebsvereinbarungen, Zweckbegrenzungen, Zugriffskonzepte und Löschfristen sind zentral.
  • Österreich und Schweiz: Entsprechende arbeits- und datenschutzrechtliche Prinzipien (Erforderlichkeit, Verhältnismäßigkeit) sowie Mitwirkung von Arbeitnehmervertretungen sind maßgeblich.
• Datenübermittlungen:
  • Werden Überwachungssysteme in Drittstaaten gehostet oder Anbieter mit Zugriff außerhalb der EU/CH beauftragt, sind Transfermechanismen, Angemessenheitsbeschlüsse und Transfer-Folgenabschätzungen zu beachten.

Für Unternehmen bedeutet dies: Auch wenn das Gesetzesvorhaben primär den staatlichen Bereich adressiert, sind die Maßstäbe an Rechtmäßigkeit und Verhältnismäßigkeit privater Überwachungstechnologien hoch – und steigen.

Ethische Leitplanken: Grundrechte als Designkriterium

KI-gestützte Überwachung tangiert Kernrechte wie Privatheit, informationelle Selbstbestimmung, Gleichbehandlung, Meinungs- und Versammlungsfreiheit. Eine rein technisch getriebene Betrachtung greift zu kurz. Empfohlene Leitlinien:

• Verhältnismäßigkeit vor Funktionalität: Setzen Sie KI-Überwachung nur ein, wenn keine gleich geeigneten, weniger eingriffsintensiven Mittel verfügbar sind.
• Zweckbindung und Kontexttreue: Verhindern Sie „Function Creep“ – eine spätere Zweckausweitung ohne neue Legitimation und Prüfung.
• Nichtdiskriminierung: Testen Sie Modelle systematisch auf Bias entlang relevanter Merkmale; implementieren Sie Korrekturmechanismen und Dokumentation.
• Menschliche Aufsicht: Automatisierte Treffer dürfen nicht direkt zu nachteiligen Maßnahmen führen; etablieren Sie qualifizierte, nachvollziehbare menschliche Prüfung.
• Transparenz und Zumutbarkeit: Sorgen Sie für verständliche Hinweise, Beschwerdewege und Opt-out-Optionen, wo rechtlich möglich.
• Minimierung und Löschung: Erheben Sie nur, was zwingend notwendig ist; definieren Sie klare Aufbewahrungs- und Löschfristen.

Diese Prinzipien sind nicht nur ethisch geboten, sondern reduzieren unmittelbar Rechts-, Reputations- und Akzeptanzrisiken.

Governance-Standards als Ordnungsrahmen: ISO/IEC 42001, ISO/IEC 23894 und NIST AI RMF

Ein belastbares Governance-Setup übersetzt rechtliche und ethische Anforderungen in wiederholbare Prozesse:

• AI-Managementsystem (AIMS) gemäß ISO/IEC 42001: Etabliert Führungsrollen, Richtlinien, Risiko- und Kontrollenlandschaft speziell für KI. Ideal, um AI-Act-Pflichten systematisch abzubilden (Risikomanagement, Monitoring, Abweichungsmanagement).
• ISO/IEC 23894 (AI Risk Management): Liefert methodische Tiefe für Identifikation, Analyse und Behandlung von KI-spezifischen Risiken (u. a. Datenqualität, Modellfehler, Drift).
• NIST AI Risk Management Framework: Ergänzt mit praktischen Bausteinen für Vertrauenswürdigkeit (validieren, dokumentieren, überwachen), auch für Lieferkettenszenarien.
• Verzahnung mit ISMS/DSMS: Integrieren Sie KI-Kontrollen mit ISO/IEC 27001 (Informationssicherheit) und Ihrem Datenschutz-Managementsystem, um Auditfähigkeit und Nachweisführung zu stärken.
• AI-Register und Klassifizierung: Führen Sie ein Inventar aller KI-Anwendungen, inklusive Risikoklasse, personenbezogener Datenarten, betroffener Grundrechte, betrieblichem Zweck und Verantwortlichkeiten.

So entsteht Nachvollziehbarkeit: Sie wissen jederzeit, wo KI-basierte Überwachung im Einsatz ist, welche Risiken bestehen und wie diese gesteuert werden.

Sorgfältige Abwägung vor Integration: Entscheidungs- und Prüfpfade

Bevor eine Überwachungstechnologie eingeführt wird, empfehlen sich gestufte Prüfpfade:

1. Problem- und Zweckdefinition

   • Welches konkrete Risiko oder welcher Use Case soll adressiert werden (z. B. Zutrittskontrolle, Diebstahlschutz, Arbeitssicherheit)?
   • Ist der Nutzen messbar und stehen weniger intrusive Alternativen zur Verfügung?

2. Rechts- und Ethik-Screening

   • Fällt der geplante Einsatz in eine verbotene oder hochregulierte Kategorie des AI Act?
   • Erfordert er die Verarbeitung besonderer Kategorien personenbezogener Daten? Liegt eine tragfähige Rechtsgrundlage vor?
   • Sind Mitbestimmung oder Einwilligungen praxistauglich und freiwillig?

3. Folgenabschätzungen

   • Datenschutz-Folgenabschätzung (DPIA) und – bei Hochrisiko-KI – AI-Act-konforme Risikoanalysen; bewerten Sie Grundrechtsauswirkungen explizit.
   • Dokumentieren Sie Verhältnismäßigkeit, Zweckbindung und Abwägungen.

4. Lieferkettensorgfalt

   • Prüfen Sie Anbieter auf Datenherkunft (keine ungezielte Gesichtsdaten-Scrapings), Trainingsdatenqualität, Modellkarten, Auditberichte, Sicherheitszertifizierungen.
   • Vereinbaren Sie klare Verantwortlichkeiten, Support für Compliance-Anforderungen und Exit-Klauseln.

5. Pilotierung unter Governance

   • Starten Sie begrenzte Piloten mit enger menschlicher Aufsicht, klaren Erfolgskriterien und „Off-Ramps“, falls Risiken überwiegen.
   • Binden Sie Datenschutz, Informationssicherheit, Rechtsabteilung, Betriebsrat und Ethikgremium frühzeitig ein.

6. Betrieb und Monitoring

   • Definieren Sie Schwellenwerte, Eskalationsprozesse, Retention-Policies, Zugriffsrechte und Protokollierung.
   • Etablieren Sie ein kontinuierliches Monitoring auf Fehlalarme, Drift, Bias und Missbrauch.

Typische Anwendungsfälle und Fallstricke in der Praxis

• Biometrische Zugangskontrolle im Werk

  • Möglich, aber nur bei strenger Zweckbindung (Sicherheit), minimaler Datenspeicherung (Template statt Rohbild), starker Verschlüsselung und Löschfristen. Alternative Verfahren (Badges, 2FA) müssen in der Abwägung berücksichtigt werden.
  • Beschäftigtenkontext: Einwilligungen sind problematisch; stützen Sie sich auf Erforderlichkeit und Betriebsvereinbarungen, nicht auf „freiwillige“ Zustimmung.

• Videoanalyse zur Diebstahlsprävention im Retail

  • Heatmaps und Objektklassifizierung können zulässig sein, sofern keine Identifikation erfolgt und Daten aggregiert/anonymisiert verarbeitet werden.
  • Gesichtserkennung zur Identifikation ist hochkritisch; Remote-Biometrie in öffentlich zugänglichen Räumen ist für private Zwecke faktisch nicht zulässig. Transparente Beschilderung und enge Löschfristen sind Pflicht.

• Verhaltensanalyse und Produktivitätsmonitoring von Mitarbeitenden

  • Hochrisiko-Bereich mit substanziellen Grundrechtseingriffen; vermeiden Sie dauerhafte lückenlose Überwachung. Setzen Sie auf punktuelle, zweckgebundene Kontrollen und klar geregelte Einsichtnahmen unter Mitbestimmung.
  • Emotionserkennung oder Profiling anhand nonverbaler Signale ist ethisch und rechtlich äußerst problematisch und in sensiblen Kontexten weitgehend untersagt bzw. unzumutbar.

• Abgleich mit Social-Media-Daten

  • Der Einsatz biometrischer oder verhaltensbezogener Abgleiche gegen Social-Media-Inhalte ist in der Regel mit DSGVO, Urheberrecht, Plattform-AGB und AI-Act-Verbotstatbeständen unvereinbar (ungezieltes Scraping, sensible Merkmale, mangelnde Rechtsgrundlage).
  • Nutzen Sie stattdessen rechtssichere, kontextbezogene Signale und vermeiden Sie Personenbezug, wo immer möglich.

• Sicherheit und Arbeitsschutz in der Produktion

  • KI kann Gefahren erkennen (z. B. Personen im Gefahrenbereich) ohne Identifikation. Setzen Sie auf Edge-Processing, sofortige Alarmierung und unverzügliche Löschung. Dokumentieren Sie, warum Identifizierung nicht erforderlich ist.

Technische und organisatorische Schutzmaßnahmen

• Privacy by Design/Default
  • On-Device-/Edge-Verarbeitung, Pseudonymisierung, selektive Speicherung (keine Rohvideos, wenn nicht nötig), Datensparsamkeit, strikte Retention.
• Zugriffs- und Rollenmanagement
  • Need-to-know-Prinzip, Vier-Augen-Freigaben für Sensitivzugriffe, getrennte Datenräume für Trainings-, Test- und Betriebsdaten.
• Qualitätssicherung und Testing
  • Vorab-Benchmarking mit repräsentativen Datensätzen, Bias- und Robustheitstests, Stress- und Adversarial-Tests, regelmäßige Re-Validierung bei Modellupdates.
• Protokollierung und Audit
  • Lückenlose Logs, Nachvollziehbarkeit von Entscheidungen, externe Audits für Hochrisiko-Systeme, klare KPI- und Fehlalarmmetriken.
• Vorfallmanagement
  • Melde- und Abstellprozesse für Fehlerkennungen, Missbrauch oder Sicherheitsvorfälle; Kommunikationspläne für Betroffene und Aufsichtsbehörden.
• Nachhaltigkeit
  • Effiziente Modellarchitekturen, sparsames Speichern, Green-IT-Kriterien. Berücksichtigen Sie soziale Auswirkungen (Chilling Effects) in der Gesamtrisikobetrachtung.

Branchenspezifische Hinweise für die DACH-Zielgruppe

• Finanzdienstleister
  • Betrugserkennung ist legitim, doch kombinierte Profile aus Transaktions- und Bewegungsdaten mit externer Biometrie sind heikel. Erstellen Sie trennscharfe Use-Case-Grenzen und starke menschliche Kontrolle bei Negativentscheidungen.
• Gesundheitswesen
  • Patientenrechte und Berufsgeheimnisse verlangen besonders restriktive Designs. Bevorzugen Sie nicht-identifizierende Sicherheitsanalysen in Kliniken; biometrische Zutritte nur, wenn unabdingbar.
• Industrie/Herstellung
  • Sicherheits- und Qualitätsanwendungen sind oft ohne Identifikation realisierbar. Nutzen Sie technische Mittel zur Personenlokalisierung ohne eindeutige Identität, sofern der Zweck es erlaubt.
• Handel
  • Loss-Prevention mit Anomalieerkennung ist praktikabel, aber personenbezogene Verdachtsprofile bergen erhebliche Risiken. Arbeiten Sie mit Aggregationen, klaren Löschregeln und sensibler Intervention.

Balance zwischen Effizienz und Grundrechten: Entscheidungsprinzipien für Führungsteams

• Nutzenbeleg und Alternativen: Dokumentieren Sie, warum die Maßnahme notwendig ist und welche weniger eingriffsintensiven Optionen geprüft wurden.
• Schwellen für Eingriffe: Legen Sie konservative Schwellen fest; algorithmische Treffer initiieren Prüfungen, keine Sanktionen.
• Rechte der Betroffenen: Einfache Auskunftsprozesse, Widerspruchsrechte (soweit möglich), transparente Hinweise vor Ort und in Richtlinien.
• Governance-Gremien: Ein unabhängiges KI-/Ethikboard mit interdisziplinärer Besetzung (Recht, Datenschutz, IT, HR, Betrieb, Arbeitnehmervertretung) trifft Abwägungsentscheidungen.
• „Kill Switch“ und Off-Ramps: Beenden Sie Piloten, wenn Fehlalarme, Bias oder Grundrechtsrisiken die Nutzenhypothese überwiegen.
• Kontinuierliches Lernen: Nutzen Sie Monitoring-Daten zur Verbesserung oder Reduktion der Eingriffstiefe.

Von der Theorie zur Umsetzung: Ein pragmatischer Fahrplan

• Erstellen Sie ein KI-Inventar und klassifizieren Sie alle Überwachungs-/Analyseanwendungen.
• Führen Sie für relevante Vorhaben DPIA und AI-Act-Risikobewertungen durch; dokumentieren Sie Verhältnismäßigkeit und Entscheidungsgrundlagen.
• Richten Sie ein AIMS nach ISO/IEC 42001 ein und verknüpfen Sie es mit Datenschutz- und Informationssicherheits-Managementsystemen.
• Entwickeln Sie Richtlinien zu biometrischen und verhaltensbezogenen Daten (Datenherkunft, Speicherdauer, Zugriff, Weitergabe, Löschung).
• Vereinbaren Sie mit Lieferanten Compliance-Zusicherungen (kein unzulässiges Scraping, Transparenz zu Trainingsdaten, Auditrechte, Support für Betroffenenrechte).
• Schulen Sie Führungskräfte und Fachabteilungen zu rechtlichen, technischen und ethischen Aspekten – inklusive Szenario-Übungen für Vorfälle.
• Starten Sie mit klar abgegrenzten Piloten; skalieren Sie erst nach erfolgreichem, auditierbarem Nachweis von Nutzen und Rechtmäßigkeit.

Als Beratung mit Fokus auf KI-Strategie, Compliance (u. a. EU AI Act, ISO/IEC 42001) und nachhaltiger Wirkung unterstützen wir Sie bei der Entwicklung tragfähiger Roadmaps, der Umsetzung von Governance-Strukturen und der verantwortlichen Integration von KI-gestützten Überwachungstechnologien – mit dem Ziel, Effizienzgewinne zu realisieren und Grundrechte konsequent zu schützen.