ISO/IEC TR 24028 — Vertrauenswürdigkeit von KI (Zuverlässigkeit, Robustheit, Transparenz und Verantwortlichkeit)

Dieses Thema ist Teil des SG Systems Global Glossar zu Vorschriften und Betrieb.

Aktualisiert im November 2025 • ISO/IEC 22989, ISO/IEC 42001, ISO/IEC 23894 • Qualität, IT, Datenwissenschaft, Regulierung, Fertigung

ISO/IEC TR 24028 ist der zentrale technische Bericht, der definiert, was Vertrauenswürdigkeit von künstlicher Intelligenz (KI) bedeutet . Er katalogisiert die wichtigsten Eigenschaften – Zuverlässigkeit, Robustheit, Sicherheit, Datenschutz, Transparenz, Fairness und Verantwortlichkeit – und erläutert deren Zusammenspiel im gesamten KI-Lebenszyklus. TR 24028 zertifiziert keine Systeme und schreibt keine bestimmte Architektur vor; vielmehr bietet er Organisationen, Auditoren und Aufsichtsbehörden eine gemeinsame Sprache, um zu beurteilen, ob ein KI-gestützter Prozess vertrauenswürdig ist. In regulierten Branchen (Pharma, Medizinprodukte, Lebensmittel, Kosmetik, Chemie) trennt diese Sprache „experimentelle Werkzeuge“ von KI, die sich für den Einsatz in einem validierten Qualitätsmanagementsystem (QMS) , Management-Engineering- System (MES ) oder Laborinformationsmanagementsystem (LIMS) eignet.

„Vertrauenswürdige KI bedeutet nicht, dass einem das Ergebnis gefällt. Es geht darum, vorhersagen zu können, wie sich das System verhält, warum, warum es Missbrauch standhält und einen Nachweis erbringen zu können, wenn jemand fragt, wer die Freigabe erteilt hat.“

1) Wo TR 24028 im Laufe des Lebenszyklus vorkommt

TR 24028 ist von der ersten KI-Idee bis zur Außerbetriebnahme des Modells relevant. Bei der Konzept- und Anwendungsfallentwicklung hilft es zu entscheiden, ob KI überhaupt angebracht ist und welche Vertrauenseigenschaften am wichtigsten sind (z. B. Sicherheit vs. Fairness). Bei der Daten- und Modellentwicklung definiert es Erwartungen an Diversität, Ausgewogenheit und Robustheit gegenüber Störungen oder Angriffen. Bei Training und Validierung fördert es die Abdeckung normaler und abnormaler Bedingungen, die Leistung von Teilpopulationen und Stressszenarien. Bei Implementierung und Integration liefert es Informationen für die Einbindung des Menschen in den Entscheidungsprozess und für Ausweichstrategien. Im Betrieb und Monitoring beschreibt es, wie Abweichungen, Verzerrungen und Leistungseinbußen erkannt werden. Und bei der Außerbetriebnahme gibt es Hinweise für eine sichere Abschaltung und die Aufbewahrung von Nachweisen, sodass KI-basierte Entscheidungen auch Jahre später noch nachvollziehbar sind.

2) Regulatorische Anker und Systemkontrollen

Obwohl TR 24028 selbst kein zertifizierbarer Standard ist, findet sich seine Terminologie zur Vertrauenswürdigkeit in Gesetzen und Richtlinien wieder. Der EU-KI-Gesetzentwurf kodiert viele Eigenschaften von TR 24028 – Robustheit, Cybersicherheit, Transparenz, Vermeidung von Verzerrungen und menschliche Aufsicht – in verbindliche Anforderungen für KI-Systeme mit hohem Risiko. Regulierungsbehörden in der Pharma-, Medizinprodukte- und Lebensmittelbranche fragen zunehmend, ob KI zuverlässig, nachvollziehbar und menschlich kontrollierbar ist. Gemäß 21 CFR Part 11 und Annex 11 muss jede KI, die auf elektronische Datensätze zugreift, durch sichere Zugriffskontrolle, elektronische Signaturen mit definierter Bedeutung und umfassende GxP-Prüfprotokolle abgesichert sein . TR 24028 bildet die konzeptionelle Brücke zwischen diesen regulatorischen Erwartungen und dem konkreten Verhalten Ihrer KI-gestützten Arbeitsabläufe.

3) Vertrauenswürdigkeitsdimensionen in TR 24028

TR 24028 gliedert die Vertrauenswürdigkeit von KI in eine Reihe wiederkehrender Themen. Zuverlässigkeit – die KI verhält sich unter erwarteten Bedingungen konsistent. Robustheit – sie bewältigt Störungen, Schwankungen und bestimmte schädliche Eingaben ohne katastrophale Ausfälle. Sicherheit – sie birgt kein inakzeptables Risiko für Menschen, Produkte oder die Umwelt. Schutz – sie ist resistent gegen Manipulation, Betrug und unbefugten Zugriff. Datenschutz – sie respektiert Datenschutzgrundsätze und minimiert die Offenlegung persönlicher oder sensibler Daten. Transparenz und Erklärbarkeit – Stakeholder können nachvollziehen, was das System tut, warum und innerhalb welcher Grenzen. Fairness – sie vermeidet ungerechte Voreingenommenheit und diskriminierende Auswirkungen. Verantwortlichkeit – es gibt klare Verantwortlichkeiten mit Nachweisen für Entscheidungen und Genehmigungen. Jeder ernsthafte KI-Einsatz in einem regulierten Umfeld erfordert eine Stellungnahme zu jeder dieser Dimensionen und nicht nur eine vage Aussage wie „Wir haben es getestet“.

4) Lebenszyklusansicht – Zuordnung von Vertrauen zu KI-Aktivitäten

TR 24028 betont, dass Vertrauenswürdigkeit keine einmalige Prüfung, sondern eine Eigenschaft über den gesamten Lebenszyklus hinweg ist. In der Anforderungs- und Designphase dokumentieren Sie Vertrauensziele und -beschränkungen (z. B. „Kein einzelner KI-Fehler darf ohne menschliche Freigabe zur Batch-Freigabe führen“). Bei der Datenerfassung und -aufbereitung stellen Sie sicher, dass Datensätze den Anforderungen an Integrität, Diversität und Datenschutz entsprechen. Beim Modellaufbau bevorzugen Sie Architekturen und Funktionsumfänge, die – wo erforderlich – Erklärbarkeit und Robustheit ermöglichen. In der Verifizierung und Validierung führen Sie maßgeschneiderte Tests durch, um Sicherheit, Fairness, Robustheit und Schutz zu prüfen. Bei der Implementierung integrieren Sie KI in MES, LIMS, WMS und ERP so, dass bestehende Kontrollen und menschliche Rollen berücksichtigt werden. Im Betrieb überwachen Sie die Leistung, korrigieren Muster und Vorfälle; und bei der Außerbetriebnahme deaktivieren oder beschränken Sie die KI sicher, während Sie Protokolle, Zusammenfassungen der Trainingsdaten und die Dokumentation für eine spätere Überprüfung aufbewahren.

5) Vertrauenskriterien und Akzeptanz – Regeln statt Marketing

Die Aussage, KI sei „vertrauenswürdig“, ist ohne klare Kriterien bedeutungslos. TR 24028 setzt voraus, dass Sie für jeden Anwendungsfall Akzeptanzschwellenwerte definieren – Genauigkeitsbereiche, Robustheitsmargen, zulässige Abweichungen, maximal akzeptable Falsch-Positiv-/Falsch-Negativ-Raten, Datenschutzgarantien und Erklärbarkeitsanforderungen. Risikoreichere Anwendungsfälle (z. B. KI-Beratung zur Chargenfreigabe, Ausnahmebehandlung in eBR oder Qualitätsüberschreibungen) erfordern strengere Schwellenwerte, stärkere Ausweichmechanismen und eine konservativere menschliche Aufsicht. Diese Vertrauenskriterien sollten in QMS-Dokumenten und Risikoregistern festgehalten und nicht von Entwicklern unter Zeitdruck improvisiert oder als unverbindliche Marketingaussage in Präsentationen verwendet werden.

6) Vertrauenswürdige Eigenschaften – Kontrollmechanismen, die tatsächlich Wirkung zeigen

Für jede Vertrauensdimension fordert TR 24028 konkrete Kontrollmechanismen. Zuverlässigkeit wird durch fundierte Tests, Änderungsmanagement und überwachte Service-Level-Metriken sichergestellt. Robustheit wird durch Stresstests, Adversarial Probes, Eingabevalidierung und sichere Ausweichmodi gewährleistet, wenn die Bedingungen außerhalb des trainierten Bereichs liegen. Sicherheit wird durch Schutzmechanismen in der MES/HMI-Logik, Prozessbeschränkungen und die Freigabe kritischer Aktionen durch einen Mitarbeiter gewährleistet. Sicherheit wird durch gehärtete APIs, Funktionstrennung und die sichere Konfiguration von Cloud- und On-Premise-Komponenten gewährleistet. Datenschutz wird durch Datenminimierung, Anonymisierung/Pseudonymisierung und strenge Zugriffskontrolle gewährleistet. Transparenz wird durch Modelldokumentation, Erläuterungen von Funktionen/Entscheidungen und Benutzeroberflächen, die Kontext und Vertrauen vermitteln, gewährleistet. Fairness wird durch Datenprüfung, Subgruppentests und Nutzungsbeschränkungen gewährleistet, wenn Verzerrungen nicht ausreichend minimiert werden können. Verantwortlichkeit wird durch Rollen, Genehmigungen und Audit-Trails gewährleistet , die spezifisches KI-Verhalten mit einem verantwortlichen Eigentümer und einer Version verknüpfen.

7) Typische Vertrauensbrüche – und wie man sie nachweisen kann

Stille Leistungsverschlechterung: Die Modellgenauigkeit nimmt mit der Änderung von Prozessen, Materialien oder Populationen ab; dies zeigt sich in Trends bei falsch-positiven/falsch-negativen Raten und Korrekturen. Versteckte Verzerrung: Die Leistung ist bei bestimmten Gruppen, Standorten oder Produktfamilien schlechter; dies zeigt sich in einer Untergruppenanalyse, die entweder gar nicht oder zu spät durchgeführt wurde. Sicherheitslücken: ungeschützte Endpunkte, schwache Authentifizierung oder Angriffspfade; dies zeigt sich in Penetrationstests und Vorfallsprotokollen. Mangelnde Transparenz: Niemand kann erklären, was das Modell tut oder warum; dies zeigt sich in fehlender Dokumentation, undurchsichtigen Funktionen und Verwirrung bei den Nutzern. Überautomatisierung: Bediener behandeln KI als unfehlbar; dies zeigt sich in niedrigen Korrekturraten, selbst wenn Vorfälle belegen, dass die KI falsch lag. TR 24028 erwartet, dass diese Fehlermodi explizit in Ihren Vertrauensbewertungen zusammen mit Kontrollen und Überwachungsmaßnahmen aufgeführt werden und nicht erst in Vorfallsberichten auftauchen.

8) Umgang mit Vertrauensfragen – Risiko steht an erster Stelle, nicht Kosmetik

Treten Vertrauensprobleme im Zusammenhang mit KI auf, schreibt TR 24028 vor, dass Organisationen diese wie andere kritische Risiken behandeln müssen. Zu den technischen Maßnahmen gehören das erneute Training mit besseren Daten, die Anpassung der Architektur, die Verschärfung von Schwellenwerten, die Verstärkung der Eingabevalidierung oder die Einschränkung des Entscheidungsbereichs der KI. Verfahrenstechnische Maßnahmen umfassen neue Standardarbeitsanweisungen (SOPs), aktualisierte Trainingsmatrizen , klarere Eskalationswege und überarbeitete Anwendungsfallgrenzen. Governance-Maßnahmen beinhalten das Aussetzen bestimmter KI-Funktionen, die Neuklassifizierung von Risikostufen oder die Durchführung einer zusätzlichen Systemprüfung vor der Wiederaufnahme der Nutzung. Kosmetische Änderungen – ein neues Dashboard, eine umformulierte Benutzermeldung – reichen nicht aus; TR 24028 fordert, dass Vertrauensprobleme wie jedes andere bedeutende Qualitäts- oder Sicherheitsrisiko behandelt werden, mit dauerhaften Lösungen und dokumentierten Ergebnissen.

9) CAPA, Änderungsmanagement und KI-Lebenszyklusverwaltung

In regulierten Umgebungen gehören relevante Vertrauenslücken in den Bereich der Korrektur- und Vorbeugemaßnahmen (CAPA) und des Änderungsmanagements , nicht nur in den Bereich der Datenanalyse. CAPA kann darauf abzielen, Verzerrungen zu reduzieren, die Robustheit zu verbessern, die Transparenz zu erhöhen oder die Fehlerraten zu senken. Die Wirksamkeit wird anhand von Kennzahlen überprüft. Das Änderungsmanagement sollte neue Modelle, umfangreiche Nachschulungen, Architekturänderungen und Integrationsmodifikationen regeln, die den Einfluss von KI auf MES/eBMR-, LIMS- oder WMS-Entscheidungen beeinflussen. TR 24028 fordert Organisationen im Wesentlichen auf: Behandeln Sie KI-Systeme als langlebige Vermögenswerte mit entsprechenden Verantwortlichkeiten – nicht als Einwegexperimente, die nach Projektende verschwinden.

10) Prävention durch Design – Anwendungsfall, UX und menschliche Faktoren

TR 24028 fordert Organisationen auf, Vertrauen von Anfang an in die Entwicklung von KI-Systemen zu integrieren, anstatt es erst nach Vorfällen hinzuzufügen. Auf Anwendungsebene bedeutet dies, KI abzulehnen, wenn Datenqualität, Kontrollierbarkeit oder Aufsicht die Vertrauensschwellen nicht erfüllen. Auf Benutzerebene bedeutet es, KI-Ausgaben klar zu kennzeichnen, gegebenenfalls Vertrauen und Begründungen aufzuzeigen und es zu ermöglichen, KI-Empfehlungen einfach anzufechten oder zu überschreiben. Auf der Ebene der menschlichen Faktoren bedeutet es, sicherzustellen, dass Bediener, Prüfer und Genehmiger die Fähigkeiten und Grenzen der KI verstehen, wissen, wann sie ihr misstrauen sollten, und nicht mit undurchsichtigen Warnmeldungen überflutet werden. Vertrauenswürdige KI ist oft weniger auffällig und konservativer als KI in Demoversionen – aber sie besteht Audits und den Belastungen im realen Einsatz.

11) Überwachung und Frühwarnung – Vertrauen durch SPC und OOT

Vertrauen ist nicht von Dauer; es wird durch Überwachung erneuert. TR 24028 deckt sich optimal mit den Kontrollgrenzen der statistischen Prozesskontrolle (SPC) und den Konzepten für Abweichungen vom Trend (OOT), die in der Prozess- und Qualitätsüberwachung Anwendung finden. Unternehmen sollten KI-Kennzahlen im Zeitverlauf analysieren: Modellgenauigkeit, Fehlertypen, Leistung von Untergruppen, Überschreibungsraten, Latenz, Anzahl von Vorfällen und Sicherheitsereignisse. Die Erkennung von Abweichungen von diesem Trend kann Untersuchungen und eine erneute Validierung auslösen, bevor das KI-Verhalten zu einem Qualitäts- oder Sicherheitsproblem wird. In gut geführten Umgebungen werden die meisten KI-Probleme intern durch solche Überwachung erkannt, nicht durch Kundenbeschwerden oder Inspektionsergebnisse.

12) Kennzahlen, die belegen, dass die Vertrauenswürdigkeit unter Kontrolle ist

Konkrete Kennzahlen machen TR 24028 greifbar. Erfassen Sie die Anzahl der eingesetzten KI-Systeme, inklusive Risikoklassifizierung und zugeordneten Verantwortlichen. Messen Sie, welcher Anteil dieser Systeme über aktuelle Vertrauensbewertungen und Überwachungspläne verfügt. Verfolgen Sie KI-bezogene Abweichungen/Nichtkonformitätsberichte (NCR) , Beschwerden und Beinaheunfälle sowie deren Häufigkeit, die zu Korrektur- und Vorbeugemaßnahmen (CAPA) oder Änderungskontrollen führen. Überwachen Sie die Leistung von Untergruppen, um die Einhaltung der Fairnessverpflichtungen sicherzustellen. Verfolgen Sie die Schulungsabschlüsse anhand der Schulungsmatrix für Rollen, die KI-Ergebnisse nutzen oder genehmigen. Beobachten Sie außerdem Überschreibungsmuster: Sowohl „keine Überschreibungen“ als auch „ständige Überschreibungen“ können auf Vertrauensprobleme hinweisen. Zusammengenommen machen diese Kennzahlen „Vertrauenswürdigkeit“ von einem Ideal zu einer messbaren Realität.

13) Validierung KI-gestützter Arbeitsabläufe

Für KI, die in GxP-relevante Arbeitsabläufe eingebettet ist, müssen die Vertrauenskonzepte von TR 24028 in der Validierung berücksichtigt werden. Die Anforderungen sollten neben der Funktionalität auch Vertrauensattribute wie Robustheitsbereiche, Transparenzerwartungen, Datenschutzbestimmungen und akzeptable Fehlerprofile spezifizieren. CSV- und IQ/OQ/PQ -Testpläne sollten das KI-Verhalten unter verschiedenen Bedingungen (Normalbetrieb, Randbedingungen, Fehler, Sicherheitsaspekte) explizit prüfen. Die Validierungsnachweise sollten dokumentieren, welche Modell- und Datenversionen getestet wurden und wie die Überwachung nach der Inbetriebnahme konfiguriert ist. Aufbewahrungs- und Archivierungsregeln müssen gewährleisten, dass KI-bezogene Protokolle, Modellmetadaten und wichtige Datensätze auch Jahre später noch für die Rekonstruktion von Ereignissen zugänglich sind. Wenn Ihre Validierung Vertrauensdimensionen ignoriert, entspricht sie nicht den Anforderungen von TR 24028 und den sich entwickelnden Erwartungen.

14) Wie TR 24028 sich operativ in verschiedene Systeme einfügt

Ausführung (MES, WMS, Automatisierung). Die Vertrauenskonzepte von TR 24028 gelten für KI in den Bereichen Planung, Routenplanung, Anomalieerkennung, Sollwertvorschläge und Qualitätskontrollen. Systeme sollten KI gegebenenfalls auf beratende Funktionen beschränken, bei risikoreichen Entscheidungen eine menschliche Überprüfung vorschreiben und den Bedienern Kontext und Erläuterungen bereitstellen. KI-Änderungen an Chargen, Etiketten oder Gerätezuständen müssen denselben Kontrollen unterliegen wie nicht-KI-Logik.

Qualität und Qualitätsmanagement. Qualitätsteams nutzen TR 24028 als konzeptionelle Grundlage für KI-bezogene Einträge im Risikoregister , in Abweichungen/NCRs und CAPAs . Es dient auch als Grundlage für die Kriterien zur Annahme oder Ablehnung von KI-Funktionen von Anbietern in Geräten, Laborinstrumenten oder SaaS-Tools.

Daten- und IT-Plattformen. Daten- und IT-Teams nutzen TR 24028, um KI-Plattformen zu strukturieren: ein gemeinsames Muster für Protokollierung, Sicherheit, Modellregister, Überwachung und Rollback, sodass jeder KI-Anwendungsfall grundlegende Vertrauenswürdigkeitskontrollen erbt, anstatt jedes Mal individuelle Muster zu erstellen.

Governance- und Managementprüfung. KI-Lenkungsausschüsse und Managementprüfungen verwenden die Formulierungen von TR 24028, um Risiken, Leistung und Vorfälle so zu beschreiben, dass sie für Führungskräfte und Aufsichtsbehörden verständlich sind. Anstatt zu sagen „Unsere KI funktioniert“, sprechen sie – untermauert durch Belege – von Zuverlässigkeit, Robustheit, Transparenz, Fairness und Verantwortlichkeit.

15) Häufig gestellte Fragen

Frage 1: Ist ISO/IEC TR 24028 ein zertifizierbarer Standard?
Nein. TR 24028 ist ein technischer Bericht, kein zertifizierbarer Managementsystemstandard. Organisationen können nicht nach TR 24028 „zertifiziert“ werden, aber sie können ihre KI-Governance, ihr Risikomanagement und ihre Validierungspraktiken an den darin enthaltenen Vertrauenswürdigkeitskonzepten ausrichten und diese zur Unterstützung von Zertifizierungen wie beispielsweise … nutzen. ISO/IEC 42001.

Frage 2: In welchem ​​Verhältnis steht TR 24028 zu ISO/IEC 23894?
TR 24028 definiert, wie Vertrauenswürdigkeit in KI aussieht – Zuverlässigkeit, Robustheit, Sicherheit, Fairness, Transparenz usw. ISO/IEC 23894 beschreibt, wie KI-Risiken mithilfe eines strukturierten Risikomanagementprozesses gesteuert werden können. Zusammen bieten sie beides: immobilien du willst und das Prozessdefinierung um diese zu erreichen und aufrechtzuerhalten.

Frage 3: Beinhaltet TR 24028 generative KI und große Sprachmodelle?
Prinzipiell ja. TR 24028 ist technologieunabhängig; seine Vertrauenswürdigkeitseigenschaften gelten für jedes KI-System, dessen Ergebnisse Entscheidungen oder Resultate beeinflussen. Generative KI und große Sprachmodelle stellen spezifische Herausforderungen hinsichtlich Robustheit, Sicherheit, Transparenz und Missbrauch dar – sie werden jedoch weiterhin anhand derselben Vertrauensdimensionen bewertet.

Frage 4: In welchem ​​Zusammenhang steht TR 24028 mit dem EU-KI-Gesetz?
Der EU-KI-Gesetzentwurf definiert rechtliche Verpflichtungen und Risikokategorien für KI; die Richtlinie TR 24028 bietet eine strukturierte Methode, um die Vertrauenswürdigkeit eines Systems anhand relevanter Dimensionen zu beurteilen. Die Anwendung der Konzepte der TR 24028 unterstützt Organisationen bei der Entwicklung und Dokumentation von Kontrollen zur Einhaltung des KI-Gesetzentwurfs, insbesondere für Systeme mit hohem Risiko. Die TR 24028 allein stellt jedoch keinen vollständigen Rechtsrahmen dar.

Frage 5: Wer sollte in einem regulierten Unternehmen für die Umsetzung von TR 24028 verantwortlich sein?
Die Verantwortung sollte geteilt werden: Qualität und Risikomanagement/Compliance sind für Governance und Dokumentation zuständig; IT/Daten für Plattform und Sicherheitskontrollen; der operative Bereich für die Integration von KI in MES/WMS/Automatisierung; und die Abteilung Regulatory Affairs gewährleistet die Einhaltung externer Vorgaben. Wenn das Vertrauen in KI allein bei den Data Scientists liegt, wird es Audits, Vorfällen oder organisatorischen Veränderungen nicht standhalten.

Weiterführende Literatur
• KI-Governance und Risikomanagement:
ISO/IEC 42001 | ISO/IEC 23894 | GxP-Freigaben
• Integrität und Validierung:
Datenintegrität | ALCOA + | CSV |VMP | Prüfpfad (GxP)
• Ausführung und Aufzeichnungen:
MES | eBR | eMMR | CPV | Abweichung/NCR | CAPA