ISO/IEC TR 24028 — Důvěryhodnost umělé inteligence (spolehlivost, robustnost, transparentnost a odpovědnost)

Toto téma je součástí SG Systems Global Slovník regulačních a provozních pojmů.

Aktualizováno v listopadu 2025 • ISO/IEC 22989, ISO/IEC 42001, ISO/IEC 23894 • Kvalita, IT, datová věda, regulace, výroba

Norma ISO/IEC TR 24028 je klíčová technická zpráva, která definuje, co znamená být důvěryhodná pro umělou inteligenci . Kataloguje klíčové vlastnosti – spolehlivost, robustnost, bezpečnost, ochranu, soukromí, transparentnost, spravedlnost a odpovědnost – a vysvětluje, jak se vzájemně ovlivňují v celém životním cyklu umělé inteligence. Norma TR 24028 necertifikuje systémy ani nepředepisuje jednu architekturu; místo toho poskytuje organizacím, auditorům a regulačním orgánům sdílený jazyk pro posouzení, zda lze procesu využívajícímu umělou inteligenci důvěřovat. V regulovaných provozech (farmacie, zdravotnické prostředky, potraviny, kosmetika, chemikálie) je tento jazyk tím, co odlišuje „experimentální nástroje“ od umělé inteligence, která je vhodná pro použití v validovaném systému managementu kvality ( QMS) , systému MES ( systémy pro správu zásob) nebo systému LIMS ( Limiting Management).

„Důvěryhodná umělá inteligence nespočívá v tom, že se vám výsledek líbí. Jde o to, aby byla schopna předvídat, jak se systém chová, vysvětlovat proč, odolávat zneužívání a ukázat papírovou stopu, když se někdo zeptá, kdo se přihlásil.“

1) Kde TR 24028 žije v průběhu životního cyklu

Norma TR 24028 je relevantní od prvního nápadu na umělou inteligenci až po vyřazení modelu z provozu. V konceptuálním a uživatelském návrhu pomáhá rozhodnout, zda je umělá inteligence vůbec vhodná a které vlastnosti důvěryhodnosti jsou nejdůležitější (např. bezpečnost vs. spravedlnost). V návrhu dat a modelů stanovuje očekávání ohledně diverzity, vyváženosti a robustnosti vůči šumu nebo útokům. V trénování a validaci řídí pokrytí normálních a abnormálních podmínek, výkonu subpopulace a stresových scénářů. V nasazení a integraci informuje o designu „člověk v cyklu“ a záložních strategiích. V provozu a monitorování rámuje, jak detekovat drift, zkreslení a degradaci. A v vyřazení z provozu vede k bezpečnému ukončení používání a uchovávání důkazů, aby rozhodnutí ovlivněná umělou inteligencí zůstala sledovatelná i po letech.

2) Regulační kotvy a systémové kontroly

Ačkoli samotná norma TR 24028 není certifikovatelnou normou, její terminologie důvěryhodnosti se objevuje v zákonech a pokynech. Zákon EU o umělé inteligenci (AI Act) kóduje mnoho vlastností normy TR 24028 – robustnost, kybernetickou bezpečnost, transparentnost, kontrolu zkreslení a lidský dohled – do povinných požadavků na vysoce rizikové systémy umělé inteligence. Regulační orgány ve farmaceutickém průmyslu, zařízeních a potravinářství se stále častěji ptají, zda je umělá inteligence spolehlivá, vysvětlitelná a zda podléhá lidské kontrole. Podle 21 CFR části 11 a přílohy 11 musí být jakákoli umělá inteligence, která se dotýká elektronických záznamů, podpořena bezpečnou kontrolou přístupu, elektronickými podpisy s definovaným významem a komplexními auditními záznamy GxP . Norma TR 24028 je koncepčním mostem mezi těmito regulačními očekáváními a konkrétním chováním vašich pracovních postupů s využitím umělé inteligence.

3) Rozměry důvěryhodnosti v TR 24028

Norma TR 24028 organizuje důvěryhodnost umělé inteligence do souboru opakujících se témat. Spolehlivost – umělá inteligence se za očekávaných podmínek chová konzistentně. Robustnost – elegantně zvládá šum, variabilitu a určité škodlivé vstupy bez katastrofického selhání. Bezpečnost – nevytváří nepřijatelné riziko poškození lidí, produktu nebo životního prostředí. Zabezpečení – odolává neoprávněným zásahům, podvodům a neoprávněnému přístupu. Soukromí – respektuje zásady ochrany údajů a minimalizuje vystavení osobních nebo citlivých informací. Transparentnost a vysvětlitelnost – zúčastněné strany chápou, co systém dělá, proč a v jakých mezích. Spravedlnost – vyhýbá se nespravedlivému zaujatosti a diskriminačnímu dopadu. Odpovědnost – existují jasné hranice odpovědnosti s důkazy o rozhodnutích a schváleních. Každé seriózní nasazení umělé inteligence v regulovaném prostředí potřebuje postoj ke každému z těchto aspektů, nejen vágní prohlášení „testovali jsme to“.

4) Pohled životního cyklu – Mapování důvěryhodnosti na aktivity umělé inteligence

Norma TR 24028 zdůrazňuje, že důvěryhodnost není jednorázový test, ale vlastnost životního cyklu. V požadavcích a návrhu dokumentujete cíle a omezení důvěryhodnosti (např. „žádné selhání AI v jednom bodě nemůže způsobit dávkové uvolnění bez lidského souhlasu“). Při sběru a přípravě dat zajišťujete, aby datové sady splňovaly požadavky na integritu, rozmanitost a soukromí. Při konstrukci modelů preferujete architektury a sady funkcí, které umožňují vysvětlitelnost a robustnost, kde je to nutné. Při ověřování a validaci spouštíte testy na míru, abyste ověřili bezpečnost, férovost, robustnost a zabezpečení. Při nasazení integrujete AI do systémů MES, LIMS, WMS a ERP způsobem, který respektuje stávající kontroly a lidské role. V provozu monitorujete výkon, potlačujete vzory a incidenty; a při vyřazování z provozu bezpečně deaktivujete nebo omezujete AI a zároveň uchováváte protokoly, souhrny trénovacích dat a dokumentaci pro pozdější kontrolu.

5) Kritéria důvěry a chuť k jídlu – pravidla, ne marketing

Prohlášení umělé inteligence za „důvěryhodnou“ neznamená nic bez jasných kritérií. Norma TR 24028 předpokládá, že pro každý případ užití definujete prahové hodnoty akceptace – rozsahy přesnosti, marže robustnosti, povolené delty zkreslení, maximální akceptovatelné míry falešně pozitivních/negativních výsledků, záruky soukromí a požadavky na vysvětlitelnost. Rizikovější případy užití (např. poradenství umělé inteligence ohledně uvolňování šarží, zpracování výjimek v eBR nebo přepsání kvality) vyžadují přísnější prahové hodnoty, silnější záložní mechanismy a konzervativnější lidský dohled. Tato kritéria důvěryhodnosti by měla být zapsána do dokumentů QMS a registrů rizik , nikoli by měla být improvizována vývojáři pod časovým tlakem nebo považována za nenápadná marketingová tvrzení v prezentaci.

6) Důvěra v nemovitosti – kontroly, které skutečně koušou

Pro každou dimenzi důvěryhodnosti očekává norma TR 24028 konkrétní kontrolní mechanismy. Spolehlivost je vynucována spolehlivým testováním, kontrolou změn a monitorovanými metrikami úrovně služeb. Robustnost je vynucována zátěžovým testováním, adversarialními sondami, ověřováním vstupů a bezpečnými záložními režimy, když se podmínky vychýlí mimo trénovanou obálku. Bezpečnost je vynucována ochrannými prvky v logice MES/HMI, procesními omezeními a lidským schvalováním akcí s vysokým dopadem. Zabezpečení je vynucováno zesílenými API, oddělením povinností a bezpečnou konfigurací cloudových a on-premise komponent. Soukromí je vynucováno minimalizací, anonymizací/pseudonymizací a přísnou kontrolou přístupu. Transparentnost je vynucována dokumentací modelu, vysvětleními funkcí/rozhodnutí a uživatelskými rozhraními, která ukazují kontext a důvěryhodnost. Spravedlnost je vynucována kontrolou dat, testováním podskupin a omezeními použití tam, kde nelze adekvátně zmírnit zkreslení. Odpovědnost je vynucována rolemi, schvalováním a auditními záznamy , které propojují specifické chování AI s odpovědným vlastníkem a verzí.

7) Typická selhání důvěry – a jak je doložit

Tichý posun výkonu: přesnost modelu se snižuje se změnami procesů, materiálů nebo populací; o tom svědčí trendy v míře falešně pozitivních/negativních výsledků a přepsání. Skryté zkreslení: horší výkon u konkrétních skupin, pracovišť nebo produktových rodin; o tom svědčí analýza podskupin, která nebyla nikdy provedena – nebo byla provedena příliš pozdě. Bezpečnostní slabiny: odhalené koncové body, slabá autentizace nebo cesty k promptnímu vstřikování; o tom svědčí penetrační testy a protokoly incidentů. Nedostatek transparentnosti: nikdo nedokáže vysvětlit, co model dělá nebo proč; o tom svědčí chybějící dokumentace, neprůhledné funkce a zmatek uživatelů. Nadměrná automatizace: operátoři považují umělou inteligenci za neomylnou; o tom svědčí nízká míra přepsání, i když incidenty ukážou, že se umělá inteligence mýlila. TR 24028 očekává, že se tyto režimy selhání explicitně objeví ve vašich hodnoceních důvěryhodnosti, spolu s kontrolními prvky a monitorováním, nikoli jako překvapení v hlášeních po incidentu.

8) Nakládání s otázkami důvěry – riziko na prvním místě, ne kosmetika

Pokud se objeví problémy s důvěrou v AI, norma TR 24028 naznačuje, že organizace se s nimi musí zacházet stejně jako s jinými kritickými riziky. Technická řešení zahrnují přeškolení na lepší data, změnu architektur, zpřísnění prahových hodnot, posílení validace vstupů nebo omezení rozsahu rozhodování AI. Procedurální opatření zahrnují nové standardní operační postupy (SOP), aktualizované školicí matice , vyjasněné eskalační cesty a revidované hranice případů použití. Reakce správy a řízení zahrnují pozastavení určitých funkcí AI, reklasifikaci úrovní rizik nebo podrobení systému další kontrole před obnovením používání. Kosmetické změny – nový dashboard, přeformulovaná uživatelská zpráva – nestačí; norma TR 24028 vyžaduje, aby se s problémy s důvěrou zacházelo jako s jakýmikoli jinými významnými problémy s kvalitou nebo bezpečností, s trvalými řešeními a zdokumentovanými výsledky.

9) CAPA, řízení změn a správa životního cyklu umělé inteligence

V regulovaných prostředích patří smysluplné mezery v důvěře do CAPA a Change Control , nejen do nevyřízených záležitostí v datové vědě. CAPA se může zaměřit na snížení zkreslení, zlepšení robustnosti, vyšší transparentnost nebo nižší míru incidentů, s kontrolami efektivity vázanými na metriky. Change Control by měl upravovat nové modely, významná přeškolení, změny architektury a modifikace integrace, které ovlivňují, jak umělá inteligence ovlivňuje rozhodnutí MES/eBMR, LIMS nebo WMS. Norma TR 24028 v podstatě organizacím říká: zacházejte se systémy umělé inteligence jako s dlouhodobými aktivy s odpovědností za správu – ne jako s jednorázovými experimenty, které zmizí po skončení původního projektu.

10) Prevence již od návrhu – případy užití, uživatelská zkušenost a lidské faktory

Norma TR 24028 vede organizace k tomu, aby do návrhu umělé inteligence budovaly důvěru, nikoli aby ji po incidentech připevňovaly. Na úrovni případů užití to znamená odmítnutí umělé inteligence v případech, kdy kvalita dat, ovladatelnost nebo dohled nemohou splnit prahové hodnoty důvěryhodnosti. Na úrovni uživatelského rozhraní to znamená jasné označení výstupů umělé inteligence, prokázání důvěryhodnosti a zdůvodnění, kde je to vhodné, a usnadnění zpochybnění nebo přepsání doporučení umělé inteligence. Na úrovni lidských faktorů to znamená zajistit, aby operátoři, kontroloři a schvalovatelé rozuměli možnostem a omezením umělé inteligence, věděli, kdy jí nedůvěřovat, a nebyli zahlceni neprůhlednými upozorněními. Důvěryhodná umělá inteligence je často méně okázalá a konzervativnější než „demoverzální“ umělá inteligence – ale přežije audity a stres v reálném světě.

11) Monitorování a včasné varování – důvěra prostřednictvím SPC a OOT

Důvěra není trvalá; obnovuje se monitorováním. Norma TR 24028 je přirozeně v souladu s kontrolními limity SPC a koncepty Out-of-Trend (OOT) používanými při monitorování procesů a kvality. Organizace by měly v průběhu času sledovat trendy v metrikách AI: přesnost modelu, typy chyb, výkon podskupin, míry přepsání, latence, počty incidentů a bezpečnostní události. Detekce OOT u těchto metrik může spustit vyšetřování a opětovné ověření dříve, než se chování AI stane problémem s kvalitou nebo bezpečností. V dobře řízených prostředích je většina problémů s AI zachycena interně prostřednictvím takového monitorování, nikoli prostřednictvím stížností zákazníků nebo zjištění z inspekcí.

12) Metriky, které prokazují důvěryhodnost, jsou pod kontrolou

Konkrétní metriky činí TR 24028 hmatatelným. Sledujte, kolik systémů umělé inteligence je používáno, s klasifikací rizik a přiřazenými vlastníky. Změřte, jaké procento z nich má aktuální posouzení důvěryhodnosti a plány monitorování. Sledujte odchylky/nepřítomnost v systému (NCR) , stížnosti a téměř neúspěchy spojené s umělou inteligencí a kolik z nich vede k CAPA nebo kontrole změn. Monitorujte výkon podskupin, abyste zajistili plnění závazků spravedlnosti. Sledujte dokončení školení z matice školení pro role používající nebo schvalující výstupy umělé inteligence. A monitorujte vzorce přepisování: jak „nulové přepisování“, tak „konstantní přepisování“ mohou naznačovat problémy s důvěrou. Dohromady tyto metriky posouvají „důvěryhodnost“ z aspirace do měřitelné reality.

13) Ověřování pracovních postupů s využitím umělé inteligence

Pro umělou inteligenci zabudovanou do pracovních postupů relevantních pro GxP se musí koncepty důvěryhodnosti dle TR 24028 objevit v validaci. Požadavky by měly specifikovat nejen funkčnost, ale také atributy důvěryhodnosti: rozsahy robustnosti, očekávání transparentnosti, omezení soukromí a přijatelné profily chyb. Testovací plány CSV a IQ/OQ/PQ by měly explicitně zpochybňovat chování umělé inteligence za různých podmínek (nominální, okrajové, selhání, zabezpečení). Validační důkazy by měly dokumentovat, která verze modelu a dat byla testována a jak je monitorování konfigurováno po spuštění. Pravidla pro uchovávání a archivaci musí zajistit, aby protokoly, metadata modelu a klíčové datové sady související s umělou inteligencí zůstaly přístupné pro rekonstrukci událostí i po letech. Pokud vaše validace ignoruje dimenze důvěryhodnosti, je v rozporu s TR 24028 a nově vznikajícími očekáváními.

14) Jak TR 24028 zapadá do operačního systému

Provádění (MES, WMS, automatizace). Koncepty důvěryhodnosti dle TR 24028 se vztahují na umělou inteligenci v plánování, směrování, detekci anomálií, návrzích nastavených hodnot a ukazatelích kvality. Systémy by měly omezit umělou inteligenci na poradní role, kde je to vhodné, vynucovat lidskou kontrolu u vysoce rizikových rozhodnutí a poskytovat operátorům kontext a vysvětlení. Změny dávek, štítků nebo stavů zařízení provedené umělou inteligencí musí projít stejnými kontrolami jako logika bez umělé inteligence.

Kvalita a řízení kvality (QRM). Týmy pro kvalitu používají normu TR 24028 jako koncepční základ pro záznamy související s umělou inteligencí v registru rizik , odchylkách/NCR a CAPA . Tato norma také informuje o kritériích pro přijetí nebo odmítnutí funkcí umělé inteligence od dodavatelů v zařízeních, laboratorních přístrojích nebo nástrojích SaaS.

Datové a IT platformy. Datové a IT týmy používají normu TR 24028 ke strukturování platforem umělé inteligence: společný vzor pro protokolování, zabezpečení, registry modelů, monitorování a vrácení zpět, takže každý případ použití umělé inteligence dědí základní kontroly důvěryhodnosti, spíše než aby se pokaždé vytvářely zakázkové vzory.

Řízení a přezkoumání managementu. Řídící výbory pro umělou inteligenci a přezkoumání managementu používají terminologii TR 24028 k diskusi o rizicích, výkonnosti a incidentech způsobem, který je srozumitelný pro výkonné a regulační orgány. Místo „naše umělá inteligence funguje“ hovoří o spolehlivosti, robustnosti, transparentnosti, spravedlnosti a odpovědnosti, a to na základě důkazů.

15) Časté dotazy

Otázka 1. Je norma ISO/IEC TR 24028 certifikovatelnou normou?
Ne. Norma TR 24028 je technická zpráva, nikoli certifikovatelná norma systému řízení. Organizace nemohou být „certifikovány“ podle normy TR 24028, ale mohou sladit své postupy správy, řízení rizik a validace umělé inteligence s jejími koncepty důvěryhodnosti a používat ji k podpoře certifikací, jako je ISO/IEC 42001.

Otázka 2. Jak se norma TR 24028 vztahuje k normě ISO/IEC 23894?
Norma TR 24028 definuje, jak vypadá důvěryhodnost v oblasti umělé inteligence – spolehlivost, robustnost, bezpečnost, spravedlnost, transparentnost atd. ISO/IEC 23894 popisuje, jak řídit rizika umělé inteligence pomocí strukturovaného procesu řízení rizik. Společně poskytují jak vlastnosti chcete a proces jich dosáhnout a udržet.

Otázka 3. Zahrnuje TR 24028 generativní umělou inteligenci a modely rozsáhlých jazyků?
V zásadě ano. Norma TR 24028 je technologicky agnostická; její vlastnosti důvěryhodnosti platí pro jakýkoli systém umělé inteligence, jehož výstupy ovlivňují rozhodnutí nebo výsledky. Generativní umělá inteligence a modely s velkými jazyky představují specifické výzvy ohledně robustnosti, bezpečnosti, transparentnosti a zneužití – ale stále jsou hodnoceny podle stejných dimenzí důvěryhodnosti.

Otázka 4. Jak souvisí TR 24028 se zákonem EU o umělé inteligenci?
Zákon EU o umělé inteligenci definuje právní povinnosti a kategorie rizik pro umělou inteligenci; norma TR 24028 poskytuje strukturovaný způsob, jak zhodnotit, zda je systém důvěryhodný z hlediska relevantních aspektů. Používání konceptů TR 24028 pomáhá organizacím navrhovat a dokumentovat kontrolní mechanismy, které podporují dodržování zákona o umělé inteligenci, zejména u vysoce rizikových systémů, ale sama o sobě norma TR 24028 nepředstavuje rámec pro dodržování právních předpisů.

Otázka 5. Kdo by měl být v regulované společnosti zodpovědný za implementaci TR 24028?
Odpovědnost by měla být sdílená: Vedení pro kvalitu a rizika/dodržování předpisů v oblasti správy a dokumentace; Vedení IT/dat v oblasti platformy a bezpečnostních kontrol; Provozní oddělení odpovídá za to, jak je umělá inteligence začleněna do systémů MES/WMS/automatizace; a Regulatorní záležitosti zajišťují soulad s externími očekáváními. Pokud „důvěra“ v umělou inteligenci spočívá pouze v rukou datových vědců, nepřežije audity, incidenty ani organizační změny.

Související čtení
• Řízení a řízení rizik umělé inteligence:
ISO/IEC 42001 | ISO/IEC 23894 | GxP
• Integrita a validace:
Integrita dat | ALCOA + | CSV |VMP | Auditní záznam (GxP)
• Provedení a záznamy:
MES | eBR | eMMR | CPV | Odchylka/NCR | CAPA