KI-Anwendungen ziehen in Apotheken ein: von Chatbots in der Kundenkommunikation über Preisgestaltungsunterstützung bis hin zu Algorithmen im Medikationsmanagement. Doch technisch Machbares ist nicht automatisch rechtlich zulässig. Im Gesundheitswesen gilt ein dichtes Normengeflecht – jeder Use Case muss einzeln geprüft werden. Ebenso gilt: KI ist ein Werkzeug; die Letztverantwortung und Entscheidungsbefugnis verbleiben beim pharmazeutischen Personal. Dieser Leitfaden zeigt, wie Sie Use Cases systematisch bewerten, regulatorische Vorgaben erfüllen und den Mehrwert von KI sicher heben.
Rechtsrahmen im Überblick: Was Apotheken kennen und zuordnen müssen
- EU‑KI‑Verordnung (EU 2024/1689): Regelt die Entwicklung, Bereitstellung und Nutzung von KI-Systemen in der EU risikobasiert. Relevanz: Transparenzpflichten, mögliche Hochrisiko‑Einstufung, Governance- und Dokumentationsanforderungen.
- Datenschutzrecht (DSGVO): Strenge Anforderungen bei der Verarbeitung personenbezogener und besonders schützenswerter Gesundheitsdaten (Art. 9 DSGVO). Zentrale Prinzipien: Rechtsgrundlage, Zweckbindung, Datenminimierung, Sicherheit, Betroffenenrechte.
- Apotheken- und Berufsrecht: Apothekengesetz (ApoG), Apothekenbetriebsordnung (ApBetrO) sowie berufsrechtliche Pflichten der Apothekerkammern. Kernelemente: Sorgfaltspflichten, persönliche Verantwortung, Dokumentation, Beratungspflicht.
- Medizinprodukterecht: Wenn ein KI‑System eine medizinische Zweckbestimmung hat (z. B. Unterstützung bei Therapieentscheidungen), kann es als Medizinprodukt nach der MDR (EU 2017/745) gelten. Folge: CE‑Kennzeichnung, klinische Bewertung, Vigilanz.
- Produkthaftung: Fehlerhafte KI‑Systeme können Haftungsrisiken auslösen. Vertragsgestaltung, Gewährleistung, Hersteller‑ und Nutzerpflichten sind zu klären.
Wichtig ist die saubere Zuordnung: Nicht jede KI in der Apotheke ist automatisch ein Medizinprodukt oder Hochrisiko‑System. Die konkrete Funktion im jeweiligen Use Case entscheidet.
Einstufung nach EU‑KI‑Verordnung: Transparenz, Hochrisiko, Basismodelle
- Transparenzpflichten: Bei KI‑gestützter Interaktion mit Kundinnen und Kunden ist kenntlich zu machen, dass es sich um eine KI handelt – sofern dies nicht offensichtlich ist. Dies gilt etwa für Chatbots in der Erstansprache. Die Information muss klar, rechtzeitig und verständlich erfolgen.
- Hochrisiko‑Einstufung: Übernimmt die KI sicherheitsrelevante Funktionen in klinischen oder pharmazeutischen Abläufen (z. B. automatisierte Interaktionschecks, Dosierungsempfehlungen, Priorisierung risikobehafteter Fälle), ist eine Hochrisiko‑Einstufung möglich. Daraus folgen u. a.:
- Risikomanagement über den gesamten Lebenszyklus
- Anforderungen an Datenqualität und Repräsentativität
- Protokollierung und Nachvollziehbarkeit der Systementscheidungen
- Menschliche Aufsicht (Human Oversight) mit klaren Eingriffsrechten
- Robustheit, Genauigkeit und Cybersicherheit
- Allzweck‑KI/Basismodelle: Nutzen Sie Basismodelle (z. B. generative Modelle) oder Allzweck‑KI, sollten vertragliche Absicherungen, technische Schutzmaßnahmen und belastbare Dokumentation eingefordert werden:
- Zulieferdokumente (z. B. Model Cards, System Cards, Use‑Case‑Cards)
- Zusicherungen zu Trainingsdaten, Urheberrechten, Sicherheitsniveau
- Mechanismen zur Begrenzung des Modells auf zulässige Zwecke (Guardrails, Content‑Filter, Zugriffsbeschränkungen)
Datenschutz und Datennutzung: Rechtsgrundlage, Minimierung, DPIA
- Rechtsgrundlagen: Prüfen Sie je Use Case die passende Rechtsgrundlage (z. B. Einwilligung, gesetzliche Pflichten, Gesundheitsversorgung). Gesundheitsdaten erfordern besondere Schutzmaßnahmen.
- Zweckbindung und Datenminimierung: Erheben und verarbeiten Sie nur die Daten, die für den konkreten Zweck notwendig sind. Pseudonymisierung/Anonymisierung prüfen, wo möglich.
- Datenschutz-Folgenabschätzung (DPIA): Bei risikoreichen Szenarien (etwa Verarbeitung sensibler Daten in KI‑gestützten Analysen) ist regelmäßig eine DPIA erforderlich. Dokumentieren Sie Risiken, Abhilfemaßnahmen und Restrestrisiken.
- Auftragsverarbeitung: Schließen Sie mit Anbietern belastbare Auftragsverarbeitungsverträge (Art. 28 DSGVO). Prüfen Sie Subunternehmerketten, Datenstandorte, internationale Datenübermittlungen.
- Lösch- und Aufbewahrungskonzepte: Definieren Sie klare Fristen und Prozesse für Löschung/Archivierung. Achten Sie auf Protokollierung und Nachvollziehbarkeit von Zugriffen.
- Betroffenenrechte: Stellen Sie sicher, dass Auskunfts-, Berichtigungs- und Widerspruchsrechte effizient bedient werden können – auch bei KI‑gestützten Prozessen.
Berufs- und Haftungsfragen: KI bleibt Werkzeug, der Mensch entscheidet
- Letztverantwortung: Entscheidungen mit pharmazeutischer Relevanz liegen bei approbiertem Personal. KI liefert Vorschläge, keine endgültigen Feststellungen.
- Dokumentation: Halten Sie die menschliche Prüfung von KI‑Vorschlägen fest – insbesondere bei Medikationsanalysen, Interaktionschecks oder Beratungsempfehlungen. Dokumentationsstandards der Apotheke sollten KI‑Elemente explizit berücksichtigen.
- Rollen und Zuständigkeiten: Legen Sie fest, wer Use Cases freigibt, wer Ergebnisse prüft und wer bei Abweichungen entscheidet. Ein klares RACI‑Modell (Responsible, Accountable, Consulted, Informed) hilft.
- Notfall- und Eskalationspläne: Definieren Sie Abläufe bei Ausfällen, Fehlfunktionen oder fehlerhaften Empfehlungen. Dazu gehören Abschaltkriterien, manuelle Fallback‑Prozesse, Kundeninformation und Meldewege (z. B. an Hersteller oder Behörden bei Medizinprodukten).
Use Cases sauber bewerten: Von der Idee zur rechtssicheren Umsetzung
Führen Sie ein Use‑Case‑Inventar und klassifizieren Sie die Risiken. Für typische Szenarien:
- Chatbot in der Kundenkommunikation:
- Transparenzhinweis erforderlich; Opt‑out und Übergabe an menschliche Beratung anbieten.
- Datenschutz: Eingaben beschränken, sensible Angaben vermeiden/filtern; kurze Speicherfristen; klare Einwilligungs- oder Informationskonzepte.
- Kein automatisiertes Erteilen verbindlicher pharmazeutischer Auskünfte ohne menschliche Freigabe.
- Unterstützung der Preisgestaltung:
- Häufig geringeres Personenbezug‑Risiko, aber auf Datenquellen, Fairness und Wettbewerbsrecht achten.
- Dokumentation der Logik, Testen auf Verzerrungen und Preisfehler; menschliche Freigabeschwellen definieren.
- Medikationsmanagement/Interaktionscheck:
- Potenziell Hochrisiko/Medizinprodukt, je nach Zweckbestimmung und Einfluss auf Entscheidungen.
- Erfordernisse: CE‑Nachweis (falls Medizinprodukt), qualitätsgesicherte Datenbasis, ausführliche Protokollierung, Human‑in‑the‑Loop, validierte Workflows, klare Abbruchkriterien.
Leiten Sie pro Szenario die rechtlichen und technischen Anforderungen ab und dokumentieren Sie Entscheidungen inkl. Ablehnungen von Use Cases.
Anbieterprüfung und Governance: Nachweise, Standards und laufendes Monitoring
- Anbieterprüfung:
- Konformitätsnachweise: CE‑Kennzeichnung/Klinische Bewertung (falls Medizinprodukt), KI‑Konformitätsangaben, Security‑Zertifikate.
- Sicherheits- und Qualitätsdokumente: Pen‑Tests, Software‑BOM, Update‑ und Supportprozesse, SLA.
- Daten- und Modellinformationen: Trainingsdatenquellen, Bias‑Analysen, Modellversionierung, Release‑Notes.
- Vertragliche Absicherung: Haftung, Gewährleistung, Audit‑Rechte, Incident‑Meldepflichten, Subprocessor‑Transparenz.
- KI‑Governance (z. B. nach ISO/IEC 42001):
- Rollen und Gremien (KI‑Beauftragte, Datenschutz, IT‑Sicherheit, Fachbereich).
- Policies: Zulässige Use Cases, Datenrichtlinien, menschliche Aufsicht, Transparenz, Lieferantenmanagement.
- Kontrollpunkte: Gateways vor Produktionseinsatz, regelmäßige Reviews, Audit‑Trail, Key Risk Indicators.
- Monitoring: Leistungskennzahlen, Drift‑Erkennung, Reklamations- und Incident‑Management.
- Technische Maßnahmen:
- Zugriffskontrollen (Least Privilege, MFA), Protokollierung, Versions- und Änderungsmanagement.
- Test- und Freigabeprozesse (Sandboxing, Staging, Validierung gegen Gold‑Standards).
- Datenqualitäts- und Bias‑Checks, robuste Prompt‑ und Output‑Filter bei generativer KI.
- Security by Design: Verschlüsselung, Härtung, Backup, Notfallwiederherstellung.
- Menschliche Aufsicht:
- Kundenkommunikation:
- Transparente Hinweise auf KI‑Einsatz, leicht verständliche Erklärungen der Funktionsweise und Grenzen.
- Einfache Opt‑out‑Möglichkeiten und direkter Zugang zu menschlicher Beratung.
Mehrwert sicher heben: Effizienz und Beratungsqualität ohne Reputations- oder Regulierungsrisiken
Richtig implementiert, beschleunigt KI Routineaufgaben (z. B. Vorprüfung von Anfragen, Priorisierung), hebt Muster in Daten (z. B. wiederkehrende Interaktionsrisiken) und unterstützt konsistente, dokumentierte Beratungsprozesse. Apotheken steigern so Effizienz und Beratungsqualität – ohne ihren fachlichen Anspruch oder ihre rechtliche Sicherheit zu gefährden. Der Schlüssel ist ein nüchterner, Governance‑gestützter Ansatz mit klaren Freigaben, lückenloser Dokumentation und wirksamer menschlicher Aufsicht.
Kompakte Checkliste für Apotheken
- Strategie und Inventory:
- Use‑Case‑Inventar mit Risiko‑Klassifizierung (niedrig/mittel/hoch)
- Festlegung von Ausschlusskriterien (No‑Go‑Use‑Cases)
- Recht und Compliance:
- Prüfung EU‑KI‑Verordnung: Transparenz, Hochrisiko, Basismodelle
- DSGVO‑Check: Rechtsgrundlage, DPIA, AVV, Löschkonzept, Betroffenenrechte
- Apotheken-/Berufsrecht: Sorgfalt, Dokumentation, Beratungspflicht
- Medizinprodukt/Produktauslegung prüfen, ggf. CE‑Nachweis verlangen
- Lieferanten und Verträge:
- Konformitäts- und Sicherheitsnachweise, Audit‑Rechte, Incident‑Meldungen
- Zusicherungen zu Trainingsdaten, IP‑Rechten, Support/Updates
- Technik und Betrieb:
- Zugriff, Logging, Test/Freigabe, Drift‑Monitoring
- Datenqualität, Bias‑Checks, Output‑Filter
- Notfall- und Abschaltpläne
- Mensch und Kommunikation:
- Schulungen, Vier‑Augen‑Prinzip, Freigabeschwellen
- Transparenzhinweis, Opt‑out, Eskalationspfade zum Menschen
Kurzes Bewertungsraster für Use Cases
- Zweck und Risiko:
- Personenbezug: keine personenbezogenen Daten / personenbezogene Daten / Gesundheitsdaten
- Einflussgrad: rein unterstützend / empfehlend mit Freigabe / (teil‑)automatisierte Entscheidung
- Schadenspotenzial: gering (Service) / mittel (operative Fehler) / hoch (Patientensicherheit)
- Rechtliche Einordnung:
- EU‑KI‑Transparenz nötig? ja/nein
- Hochrisiko‑Indizien gegeben? ja/nein
- Medizinproduktzweckbestimmung gegeben? ja/nein
- DSGVO‑DPIA erforderlich? ja/nein
- Governance und Kontrolle:
- Menschliche Aufsicht: Stichprobe / systematisch / verpflichtende Freigabe
- Dokumentation: Basisprotokoll / erweiterte Logik‑ und Datenlogs / auditfähiger Audit‑Trail
- Lieferantennachweise: Basisinfos / umfassende Konformität / inkl. Audit‑Rechten
- Go/No‑Go und Auflagen:
- Go mit Standardauflagen (Transparenz, Logging)
- Go mit erhöhten Auflagen (Freigabe, CE‑Nachweis, DPIA)
- No‑Go (fehlende Rechtsgrundlage, unvertretbares Risiko)
Mit diesem strukturierten Vorgehen bewerten Sie jeden KI‑Einsatz in der Apotheke nachvollziehbar, minimieren Compliance‑ und Haftungsrisiken und schaffen die Grundlage, um KI als wirksames Werkzeug im Sinne Ihrer Patientinnen und Patienten sowie Ihrer betrieblichen Effizienz einzusetzen.
