ISO/IEC TR 24028 — AI-pålidelighed (pålidelighed, robusthed, gennemsigtighed og ansvarlighed)

Dette emne er en del af SG Systems Global Ordliste over regulatoriske og driftsmæssige forhold.

Opdateret november 2025 • ISO/IEC 22989, ISO/IEC 42001, ISO/IEC 23894 • Kvalitet, IT, Datavidenskab, Regulering, Produktion

ISO/IEC TR 24028 er den centrale tekniske rapport, der definerer, hvad det vil sige, at kunstig intelligens er troværdig . Den katalogiserer de vigtigste egenskaber - pålidelighed, robusthed, sikkerhed, tryghed, privatliv, gennemsigtighed, retfærdighed og ansvarlighed - og forklarer, hvordan de interagerer på tværs af AI's livscyklus. TR 24028 certificerer ikke systemer eller foreskriver én arkitektur; i stedet giver den organisationer, revisorer og regulatorer et fælles sprog til at bedømme, om en AI-aktiveret proces kan stoles på. I regulerede operationer (lægemidler, medicinsk udstyr, fødevarer, kosmetik, kemikalier) er det dette sprog, der adskiller "eksperimentelle værktøjer" fra AI, der er egnet til at sidde i et valideret QMS , MES eller LIMS.

"Pålidelig AI handler ikke om at kunne lide resultatet. Det handler om at være i stand til at forudsige, hvordan systemet opfører sig, forklare hvorfor, modstå misbrug og vise et papirspor, når nogen spørger, hvem der har underskrevet."

1) Hvor TR 24028 findes i løbet af livscyklussen

TR 24028 er relevant fra den første AI-idé til modeludfasning. I koncept- og use-case-design hjælper den med at afgøre, om AI overhovedet er passende, og hvilke tillidsegenskaber der er mest kritiske (f.eks. sikkerhed vs. retfærdighed). I data- og modeldesign sætter den forventninger til diversitet, balance og robusthed over for støj eller angreb. I træning og validering driver den dækning af normale og unormale forhold, delpopulationers ydeevne og stressscenarier. I implementering og integration informerer den human-in-the-loop-design og fallback-strategier. I drift og overvågning indrammer den, hvordan du registrerer afdrift, bias og forringelse. Og ved udfasning styrer den sikker solnedgang og evidensretention, så beslutninger, der er påvirket af AI, forbliver sporbare år senere.

2) Reguleringsankre og systemkontroller

Selvom TR 24028 i sig selv ikke er en certificerbar standard, fremgår dens pålidelighedsterminologi af lovgivning og vejledning. EU's AI-lovgivning indkoder mange TR 24028-egenskaber - robusthed, cybersikkerhed, gennemsigtighed, biaskontrol, menneskeligt tilsyn - i obligatoriske krav til højrisiko-AI-systemer. Regulatorer inden for medicinalindustrien, udstyr og fødevarer spørger i stigende grad, om AI er pålidelig, forklarlig og underlagt menneskelig kontrol. I henhold til 21 CFR del 11 og bilag 11 skal enhver AI, der berører elektroniske registre, understøttes af sikker adgangskontrol, e-signaturer med defineret betydning og omfattende GxP-revisionsspor . TR 24028 er den konceptuelle bro mellem disse lovgivningsmæssige forventninger og den konkrete adfærd i dine AI-aktiverede arbejdsgange.

3) Dimensioner af troværdighed i TR 24028

TR 24028 organiserer AI-troværdighed i et sæt tilbagevendende temaer. Pålidelighed – AI'en opfører sig ensartet under forventede forhold. Robusthed – den håndterer støj, variabilitet og visse ondsindede input på en elegant måde uden katastrofale fejl. Sikkerhed – den skaber ikke en uacceptabel risiko for skade på mennesker, produkter eller miljø. Sikkerhed – den modstår manipulation, bedrageri og uautoriseret adgang. Privatliv – den respekterer databeskyttelsesprincipper og minimerer eksponering af personlige eller følsomme oplysninger. Gennemsigtighed og forklarlighed – interessenter kan forstå, hvad systemet gør, hvorfor og inden for hvilke grænser. Retfærdighed – den undgår uretfærdig bias og diskriminerende påvirkning. Ansvarlighed – der er klare ansvarslinjer med dokumentation for beslutninger og godkendelser. Enhver seriøs AI-implementering i et reguleret miljø kræver en position i forhold til hver af disse dimensioner, ikke blot en vag "vi testede det"-erklæring.

4) Livscyklusvisning – Kortlægning af tillid til AI-aktiviteter

TR 24028 understreger, at troværdighed ikke er en engangstest; det er en livscyklusegenskab. I krav og design dokumenterer du tillidsmål og begrænsninger (f.eks. "ingen enkeltpunkts AI-fejl må forårsage batchfrigivelse uden menneskelig godkendelse"). I dataindsamling og -forberedelse sikrer du, at datasæt opfylder behovene for integritet, diversitet og privatliv. I modelkonstruktion foretrækker du arkitekturer og funktionssæt, der muliggør forklarlighed og robusthed, hvor det er nødvendigt. I verifikation og validering kører du skræddersyede tests for at undersøge sikkerhed, retfærdighed, robusthed og tryghed. I implementering integrerer du AI i MES, LIMS, WMS og ERP på måder, der respekterer eksisterende kontroller og menneskelige roller. I drift overvåger du ydeevne, tilsidesætter mønstre og hændelser; og i tilbagetrækning deaktiverer eller begrænser du AI sikkert, mens du bevarer logfiler, træningsdataresuméer og dokumentation til senere gennemgang.

5) Tillidskriterier og -appetit – regler, ikke markedsføring

At erklære AI for "troværdig" betyder ingenting uden klare kriterier. TR 24028 antager, at du definerer accepttærskler - nøjagtighedsintervaller, robusthedsmargener, tilladte biasdeltaer, maksimalt acceptable falsk-positive/negative rater, privatlivsgarantier og forklaringskrav - for hver use case. Mere risikable use cases (f.eks. AI-rådgivning om batchfrigivelse, undtagelseshåndtering i eBR eller kvalitetsoverstyringer) kræver strammere tærskler, stærkere fallbacks og mere konservativt menneskeligt tilsyn. Disse tillidskriterier bør skrives ind i QMS-dokumenter og risikoregistre , ikke improviseres af udviklere under tidspres eller behandles som bløde marketingpåstande i slide decks.

6) Tillidsegenskaber – Kontroller, der rent faktisk bider

For hver tillidsdimension forventer TR 24028 konkrete kontroller. Pålidelighed håndhæves af solid testning, ændringskontrol og overvågede serviceniveaumålinger. Robusthed håndhæves af stresstestning, kontradiktoriske sonder, inputvalidering og sikre fallback-tilstande, når forholdene afviger fra den trænede ramme. Sikkerhed håndhæves af vagter i MES/HMI-logik, procesbegrænsninger og menneskelig godkendelse af handlinger med stor effekt. Sikkerhed håndhæves af hærdede API'er, funktionsadskillelse og sikker konfiguration af cloud- og on-prem-komponenter. Privatliv håndhæves af minimering, anonymisering/pseudonymisering og stram adgangskontrol. Gennemsigtighed håndhæves af modeldokumentation, forklaringer af funktioner/beslutninger og brugergrænseflader, der viser kontekst og tillid. Retfærdighed håndhæves af datakontrol, undergruppetestning og begrænsninger i brug, hvor bias ikke kan afbødes tilstrækkeligt. Ansvarlighed håndhæves af roller, godkendelser og revisionsspor , der forbinder specifik AI-adfærd til en ansvarlig ejer og version.

7) Typiske tillidssvigt – og hvordan man kan dokumentere dem

Stille ydeevneforskydning: Modelnøjagtigheden forringes, når processer, materialer eller populationer ændrer sig; påvist af tendenser i falsk-positive/negative rater og tilsidesættelser. Skjult bias: dårligere ydeevne på bestemte grupper, steder eller produktfamilier; påvist af undergruppeanalyse, der aldrig blev udført – eller udført for sent. Sikkerhedssvagheder: eksponerede slutpunkter, svag autentificering eller prompt-injection-stier; påvist af penetrationstests og hændelseslogfiler. Manglende gennemsigtighed: ingen kan forklare, hvad modellen gør, eller hvorfor; påvist af manglende dokumentation, uigennemsigtige funktioner og brugerforvirring. Overautomatisering: Operatører behandler AI som ufejlbarlig; påvist af lave tilsidesættelsesrater, selv når hændelser viser, at AI'en var forkert. TR 24028 forventer, at disse fejltilstande eksplicit vises i dine tillidsvurderinger sammen med kontroller og overvågning, ikke som overraskelser i rapporter efter hændelser.

8) Håndtering af tillidsproblemer – Risiko først, ikke kosmetik

Når der opstår problemer med AI-tillid, indebærer TR 24028, at organisationer skal håndtere dem, som de ville håndtere andre kritiske risici. Tekniske afhjælpninger omfatter omskoling i bedre data, ændring af arkitekturer, stramme tærskler, skærpning af inputvalidering eller begrænsning af AI-beslutningsomfang. Proceduremæssige foranstaltninger omfatter nye SOP'er, opdaterede træningsmatricer , præciserede eskaleringsstier og reviderede grænser for use cases. Governance-tiltag omfatter pausering af visse AI-funktioner, omklassificering af risikoniveauer eller yderligere gennemgang af systemet, før brugen genoptages. Kosmetiske ændringer - et nyt dashboard, en omformuleret brugerbesked - er ikke nok; TR 24028 kræver, at tillidsproblemer behandles som enhver anden væsentlig kvalitets- eller sikkerhedsproblem med varige løsninger og dokumenterede resultater.

9) CAPA, forandringskontrol og AI-livscyklusforvaltning

I regulerede miljøer hører betydningsfulde tillidshuller hjemme inden for CAPA og Change Control , ikke kun i datavidenskabelige efterslæb. CAPA kan målrettes mod reduceret bias, forbedret robusthed, højere gennemsigtighed eller lavere hændelsesrater, med effektivitetstjek knyttet til metrikker. Change Control bør styre nye modeller, betydelig omskoling, arkitekturændringer og integrationsmodifikationer, der påvirker, hvordan AI påvirker MES/eBMR-, LIMS- eller WMS-beslutninger. TR 24028 fortæller i bund og grund organisationer: Behandl AI-systemer som langlivede aktiver med forvaltningsansvar - ikke som engangseksperimenter, der forsvinder, efter det oprindelige projekt er afsluttet.

10) Forebyggelse gennem design – brugsscenarier, brugeroplevelse og menneskelige faktorer

TR 24028 opfordrer organisationer til at opbygge tillid til AI-design, ikke at tilføje det efter hændelser. På use-case-niveau betyder det at afvise AI, hvor datakvalitet, kontrollerbarhed eller tilsyn ikke kan opfylde tillidsgrænserne. På brugergrænsefladeniveau betyder det tydeligt at mærke AI-output, vise tillid og begrundelse, hvor det er relevant, og gøre det nemt at udfordre eller tilsidesætte AI-anbefalinger. På det menneskelige faktorniveau betyder det at sikre, at operatører, anmeldere og godkendere forstår AI's muligheder og begrænsninger, ved, hvornår de skal have mistillid til den, og ikke overbelastes med uigennemsigtige advarsler. Pålidelig AI er ofte mindre prangende og mere konservativ end "demo-grade" AI - men den overlever revisioner og stress i den virkelige verden.

11) Overvågning og tidlig advarsel – Tillid via SPC og OOT

Tillid er ikke permanent; den fornyes gennem overvågning. TR 24028 stemmer naturligt overens med SPC-kontrolgrænser og Out-of-Trend (OOT) -koncepter, der anvendes i proces- og kvalitetsovervågning. Organisationer bør udvikle tendenser for AI-målinger over tid: modelnøjagtighed, fejltyper, undergruppeydelse, overstyringsrater, latenstid, antal hændelser og sikkerhedshændelser. OOT-detektion på disse målinger kan udløse undersøgelser og revalidering, før AI-adfærd bliver et kvalitets- eller sikkerhedsproblem. I veldrevne miljøer opdages de fleste AI-problemer internt via sådan overvågning, ikke via kundeklager eller inspektionsresultater.

12) Målinger, der viser, at troværdighed er under kontrol

Konkrete metrikker gør TR 24028 håndgribelig. Spor, hvor mange AI-systemer der er i brug, med risikoklassificering og tildelte ejere. Mål, hvor stor en procentdel af dem der har aktuelle tillidsvurderinger og overvågningsplaner. Spor AI-forbundne afvigelser/NCR , klager og næsten-uheld, og hvor mange der resulterer i CAPA eller ændringskontrol. Overvåg undergruppers ydeevne for at sikre, at fairness-forpligtelser overholdes. Spor træningsfuldførelsen fra træningsmatricen for roller, der bruger eller godkender AI-output. Og overvåg tilsidesættelsesmønstre: både "nul tilsidesættelser" og "konstante tilsidesættelser" kan indikere tillidsproblemer. Samlet set flytter disse metrikker "troværdighed" fra aspiration til målbar virkelighed.

13) Validering af AI-aktiverede arbejdsgange

For AI, der er indlejret i GxP-relevante arbejdsgange, skal TR 24028-tillidskoncepter fremgå af valideringen. Kravene bør ikke blot specificere funktionalitet, men også tillidsattributter: robusthedsintervaller, forventninger til gennemsigtighed, privatlivsbegrænsninger og acceptable fejlprofiler. CSV- og IQ/OQ/PQ -testplaner bør eksplicit udfordre AI-adfærd under forskellige forhold (nominel, kant, fejl, sikkerhed). Valideringsbeviser bør dokumentere, hvilken version af modellen og dataene der blev testet, og hvordan overvågning er konfigureret efter idriftsættelse. Regler for opbevaring og arkivering skal sikre, at AI-relaterede logfiler, modelmetadata og nøgledatasæt forbliver tilgængelige til rekonstruktion af hændelser år senere. Hvis din validering ignorerer tillidsdimensioner, er den ude af trit med TR 24028 og nye forventninger.

14) Hvordan TR 24028 passer operationelt på tværs af systemer

Udførelse (MES, WMS, automatisering). TR 24028-tillidskoncepter gælder for AI i planlægning, routing, anomalidetektion, sætpunktsforslag og kvalitetsporte. Systemer bør begrænse AI til rådgivende roller, hvor det er relevant, håndhæve menneskelig gennemgang af højrisikobeslutninger og give operatører kontekst og forklaringer. AI-ændringer af batcher, etiketter eller udstyrstilstande skal passere gennem de samme kontroller som ikke-AI-logik.

Kvalitet og QRM. Kvalitetsteams bruger TR 24028 som det konceptuelle grundlag for AI-relaterede poster i risikoregisteret , afvigelser/NCR og CAPA . Det informerer også kriterier for at acceptere eller afvise leverandørers AI-funktioner i udstyr, laboratorieinstrumenter eller SaaS-værktøjer.

Data- og IT-platforme. Data- og IT-teams bruger TR 24028 til at strukturere AI-platforme: fælles mønster for logføring, sikkerhed, modelregistre, overvågning og rollback, så hver AI-use case arver grundlæggende pålidelighedskontroller i stedet for at oprette skræddersyede mønstre hver gang.

Gennemgang af ledelse og styring. Styringsudvalg og ledelsesgennemgang for kunstig intelligens bruger TR 24028-sprog til at diskutere risici, præstationer og hændelser på en måde, der giver mening for ledelsen og myndighederne. I stedet for "vores kunstig intelligens fungerer" taler de om pålidelighed, robusthed, gennemsigtighed, retfærdighed og ansvarlighed, understøttet af evidens.

15) Ofte stillede spørgsmål

Q1. Er ISO/IEC TR 24028 en certificerbar standard?
Nej. TR 24028 er en teknisk rapport, ikke en certificerbar ledelsessystemstandard. Organisationer kan ikke "certificeres i henhold til" TR 24028, men de kan tilpasse deres AI-styring, risikostyring og valideringspraksis til dens pålidelighedskoncepter og bruge den til at understøtte certificeringer såsom ISO/IEC 42001.

Q2. Hvordan hænger TR 24028 sammen med ISO/IEC 23894?
TR 24028 definerer, hvad troværdighed i AI ser ud – pålidelighed, robusthed, sikkerhed, retfærdighed, gennemsigtighed osv. ISO/IEC 23894 beskriver, hvordan man håndterer AI-risici ved hjælp af en struktureret risikoproces. Sammen giver de både egenskaber du ønsker, og behandle at opnå og vedligeholde dem.

Q3. Dækker TR 24028 generativ AI og store sprogmodeller?
Ja, i princippet. TR 24028 er teknologiuafhængig; dens pålidelighedsegenskaber gælder for ethvert AI-system, hvis output påvirker beslutninger eller resultater. Generativ AI og store sprogmodeller rejser specifikke udfordringer med hensyn til robusthed, sikkerhed, gennemsigtighed og misbrug – men de evalueres stadig ud fra de samme tillidsdimensioner.

Q4. Hvordan er TR 24028 forbundet med EU's AI-lovgivning?
EU's AI-lov definerer juridiske forpligtelser og risikokategorier for AI; TR 24028 giver en struktureret måde at overveje, om et system er troværdigt ud fra relevante dimensioner. Brugen af ​​TR 24028-koncepter hjælper organisationer med at designe og dokumentere kontroller, der understøtter overholdelse af AI-loven, især for højrisikosystemer, men TR 24028 i sig selv er ikke en juridisk overholdelsesramme.

Q5. Hvem bør eje implementeringen af ​​TR 24028 i en reguleret virksomhed?
Ejerskabet bør deles: Kvalitet og risiko/compliance skal være ansvarlige for styring og dokumentation; IT/data skal være ansvarlige for platform- og sikkerhedskontroller; Driften skal være ansvarlig for, hvordan AI integreres i MES/WMS/automatisering; og Regulatory Affairs sikrer overensstemmelse med eksterne forventninger. Hvis "AI-tillid" kun ligger hos data scientists, vil den ikke overleve revisioner, hændelser eller organisatoriske ændringer.

Beslægtet læsning
• AI-styring og -risiko:
ISO/IEC 42001 | ISO/IEC 23894 | GxP
• Integritet og validering:
Dataintegritet | ALCOA + | CSV |VMP | Revisionsspor (GxP)
• Udførelse og optegnelser:
MES | eBR | eMMR | CPV | Afvigelse/NCR | KASKET