ISO/IEC TR 24028 — Confiabilidade da IA ​​(Confiabilidade, Robustez, Transparência e Responsabilidade)

Este tópico faz parte do SG Systems Global glossário regulatório e operacional.

Atualizado em novembro de 2025 • ISO/IEC 22989, ISO/IEC 42001, ISO/IEC 23894 • Qualidade, TI, Ciência de Dados, Regulamentação, Manufatura

A norma ISO/IEC TR 24028 é o principal relatório técnico que define o que significa inteligência artificial confiável . Ela cataloga as propriedades essenciais — confiabilidade, robustez, segurança, proteção, privacidade, transparência, imparcialidade e responsabilidade — e explica como elas interagem ao longo do ciclo de vida da IA. A TR 24028 não certifica sistemas nem prescreve uma arquitetura específica; em vez disso, fornece às organizações, auditores e órgãos reguladores uma linguagem comum para avaliar se um processo habilitado por IA é confiável. Em operações regulamentadas (farmacêutica, dispositivos médicos, alimentos, cosméticos, produtos químicos), essa linguagem é o que diferencia as “ferramentas experimentais” da IA ​​adequada para operar dentro de um SGQ , MES ou LIMS validado.

“A IA confiável não se trata de gostar do resultado. Trata-se de ser capaz de prever como o sistema se comporta, explicar o porquê, resistir a abusos e mostrar um registro documental quando alguém perguntar quem aprovou o processo.”

1) Onde a TR 24028 se aplica ao longo do ciclo de vida

A TR 24028 é relevante desde a concepção inicial de IA até a desativação do modelo. No design conceitual e de casos de uso , ela ajuda a decidir se a IA é apropriada e quais propriedades de confiança são mais críticas (por exemplo, segurança versus imparcialidade). No design de dados e modelos , ela define expectativas de diversidade, equilíbrio e robustez a ruídos ou ataques. No treinamento e validação , ela orienta a cobertura de condições normais e anormais, o desempenho de subpopulações e cenários de estresse. Na implantação e integração , ela informa o design com intervenção humana e estratégias de contingência. Na operação e monitoramento , ela define como detectar desvios, vieses e degradação. E na desativação , ela orienta o encerramento seguro e a retenção de evidências para que as decisões influenciadas por IA permaneçam rastreáveis ​​anos depois.

2) Âncoras regulatórias e controles do sistema

Embora a TR 24028 em si não seja uma norma certificável, sua terminologia de confiabilidade aparece em leis e diretrizes. A Lei de IA da UE incorpora muitas propriedades da TR 24028 — robustez, cibersegurança, transparência, controle de viés, supervisão humana — em requisitos obrigatórios para sistemas de IA de alto risco. Órgãos reguladores nas áreas farmacêutica, de dispositivos médicos e de alimentos questionam cada vez mais se a IA é confiável, explicável e sujeita a controle humano. De acordo com o Título 21 do Código de Regulamentações Federais (21 CFR), Parte 11 e Anexo 11 , qualquer IA que interaja com registros eletrônicos deve ser suportada por controle de acesso seguro, assinaturas eletrônicas com significado definido e trilhas de auditoria GxP abrangentes . A TR 24028 é a ponte conceitual entre essas expectativas regulatórias e o comportamento concreto de seus fluxos de trabalho habilitados por IA.

3) Dimensões de confiabilidade na TR 24028

A TR 24028 organiza a confiabilidade da IA ​​em um conjunto de temas recorrentes. Confiabilidade — a IA se comporta de forma consistente sob as condições esperadas. Robustez — ela lida de forma eficiente com ruídos, variabilidade e certas entradas maliciosas sem falhas catastróficas. Segurança — ela não cria riscos inaceitáveis ​​de danos a pessoas, produtos ou ao meio ambiente. Proteção — ela resiste a adulterações, fraudes e acessos não autorizados. Privacidade — ela respeita os princípios de proteção de dados e minimiza a exposição de informações pessoais ou sensíveis. Transparência e explicabilidade — as partes interessadas podem entender o que o sistema faz, por que e dentro de quais limites. Imparcialidade — ela evita vieses injustos e impactos discriminatórios. Responsabilidade — existem linhas claras de responsabilidade, com evidências de decisões e aprovações. Toda implementação séria de IA em um ambiente regulamentado precisa de um posicionamento em relação a cada uma dessas dimensões, e não apenas uma vaga declaração de "nós testamos".

4) Visão do Ciclo de Vida – Mapeando a Confiança para Atividades de IA

A TR 24028 enfatiza que a confiabilidade não é um teste pontual; trata-se de uma propriedade que permeia todo o ciclo de vida. Na fase de requisitos e projeto , você documenta os objetivos e restrições de confiança (por exemplo, “nenhuma falha pontual da IA ​​pode causar a liberação em lote sem aprovação humana”). Na aquisição e preparação de dados , você garante que os conjuntos de dados atendam aos requisitos de integridade, diversidade e privacidade. Na construção do modelo , você prioriza arquiteturas e conjuntos de recursos que permitam explicabilidade e robustez quando necessário. Na verificação e validação , você executa testes personalizados para avaliar segurança, imparcialidade, robustez e proteção. Na implantação , você integra a IA em sistemas MES, LIMS, WMS e ERP de forma a respeitar os controles existentes e as funções humanas. Na operação , você monitora o desempenho, substitui padrões e incidentes; e na desativação , você desabilita ou restringe a IA com segurança, preservando registros, resumos de dados de treinamento e documentação para revisão posterior.

5) Critérios de confiança e apetite — regras, não marketing

Declarar a IA "confiável" não significa nada sem critérios claros. A TR 24028 pressupõe que você definirá limites de aceitação — faixas de precisão, margens de robustez, deltas de viés permitidos, taxas máximas aceitáveis ​​de falsos positivos/negativos, garantias de privacidade e requisitos de explicabilidade — para cada caso de uso. Casos de uso mais arriscados (por exemplo, IA aconselhando sobre a liberação em lote, tratamento de exceções em eBR ou substituições de qualidade) exigem limites mais rigorosos, mecanismos de contingência mais robustos e supervisão humana mais conservadora. Esses critérios de confiança devem ser documentados nos registros do SGQ e nos registros de riscos , e não improvisados ​​por desenvolvedores sob pressão de tempo ou tratados como meras alegações de marketing em apresentações de slides.

6) Propriedades de confiança – Controles que realmente funcionam

Para cada dimensão de confiança, a TR 24028 exige controles concretos. A confiabilidade é garantida por testes rigorosos, controle de mudanças e métricas de nível de serviço monitoradas. A robustez é garantida por testes de estresse, sondagens adversárias, validação de entrada e modos de contingência seguros quando as condições se desviam do padrão de treinamento. A segurança é garantida por proteções na lógica do MES/HMI, restrições de processo e aprovação humana para ações de alto impacto. A segurança da informação é garantida por APIs reforçadas, segregação de funções e configuração segura de componentes em nuvem e locais. A privacidade é garantida por minimização, anonimização/pseudonimização e controle de acesso rigoroso. A transparência é garantida por documentação do modelo, explicações de recursos/decisões e interfaces de usuário que demonstram contexto e confiabilidade. A imparcialidade é garantida por análise criteriosa de dados, testes com subgrupos e restrições de uso onde o viés não pode ser adequadamente mitigado. A responsabilidade é garantida por funções, aprovações e trilhas de auditoria que vinculam comportamentos específicos de IA a um proprietário e versão responsáveis.

7) Falhas típicas de confiança — e como comprová-las

Desvio silencioso de desempenho: a precisão do modelo se degrada à medida que os processos, materiais ou populações mudam; evidenciado por tendências nas taxas de falsos positivos/negativos e sobreposições. Viés oculto: desempenho inferior em grupos, locais ou famílias de produtos específicos; evidenciado por análises de subgrupos que nunca foram realizadas — ou realizadas tarde demais. Vulnerabilidades de segurança: endpoints expostos, autenticação fraca ou caminhos de injeção de código; evidenciadas por testes de penetração e registros de incidentes. Falta de transparência: ninguém consegue explicar o que o modelo está fazendo ou por quê; evidenciado pela falta de documentação, recursos opacos e confusão do usuário. Automação excessiva: os operadores tratam a IA como infalível; evidenciado por baixas taxas de sobreposição, mesmo quando os incidentes mostram que a IA estava errada. A TR 24028 espera que esses modos de falha apareçam explicitamente em suas avaliações de confiança, juntamente com controles e monitoramento, e não como surpresas em relatórios pós-incidente.

8) Resolução de questões fiduciárias — Priorize o risco, não a aparência

Quando surgem problemas de confiança em IA, a TR 24028 implica que as organizações devem abordá-los da mesma forma que abordariam outros riscos críticos. As soluções técnicas incluem o retreinamento com dados melhores, a alteração de arquiteturas, o ajuste de limites, o fortalecimento da validação de entrada ou a limitação do escopo de decisão da IA. As medidas processuais incluem novos Procedimentos Operacionais Padrão (POPs), matrizes de treinamento atualizadas , caminhos de escalonamento mais claros e limites de casos de uso revisados. As respostas de governança incluem a suspensão de certas funções de IA, a reclassificação dos níveis de risco ou a submissão do sistema a uma revisão adicional antes de retomar o uso. Mudanças cosméticas — um novo painel de controle, uma mensagem ao usuário reformulada — não são suficientes; a TR 24028 exige que os problemas de confiança sejam tratados como qualquer outra preocupação significativa de qualidade ou segurança, com soluções duradouras e resultados documentados.

9) CAPA, Controle de Mudanças e Gestão do Ciclo de Vida da IA

Em ambientes regulamentados, as lacunas de confiança significativas devem ser abordadas em CAPA e Controle de Mudanças , e não apenas em pendências de ciência de dados. O CAPA pode visar a redução de vieses, o aumento da robustez, a maior transparência ou a redução das taxas de incidentes, com verificações de eficácia vinculadas a métricas. O controle de mudanças deve governar novos modelos, retreinamento significativo, alterações de arquitetura e modificações de integração que afetam a forma como a IA influencia as decisões de MES/eBMR, LIMS ou WMS. A TR 24028 está essencialmente dizendo às organizações: tratem os sistemas de IA como ativos de longa duração com responsabilidades de gestão — e não como experimentos descartáveis ​​que desaparecem após o término do projeto inicial.

10) Prevenção por Design — Casos de Uso, UX e Fatores Humanos

A TR 24028 incentiva as organizações a incorporarem a confiança no design da IA, em vez de a implementarem posteriormente, após incidentes. No nível dos casos de uso, isso significa recusar a IA quando a qualidade dos dados, a controlabilidade ou a supervisão não atenderem aos níveis de confiança. No nível da interface do usuário, significa rotular claramente a saída da IA, demonstrando confiança e justificativa quando apropriado e facilitando o questionamento ou a substituição das recomendações da IA. No nível dos fatores humanos, significa garantir que os operadores, revisores e aprovadores compreendam as capacidades e limitações da IA, saibam quando desconfiar dela e não sejam sobrecarregados com alertas obscuros. A IA confiável costuma ser menos chamativa e mais conservadora do que a IA de "nível de demonstração" — mas sobrevive a auditorias e ao estresse do mundo real.

11) Monitoramento e Alerta Precoce — Confiança via SPC e OOT

A confiança não é permanente; ela é renovada pelo monitoramento. A TR 24028 alinha-se naturalmente com os limites de controle de CEP ( Controle Estatístico de Processo) e os conceitos de "fora da tendência" (OOT) usados ​​no monitoramento de processos e qualidade. As organizações devem monitorar as métricas de IA ao longo do tempo: precisão do modelo, tipos de erros, desempenho de subgrupos, taxas de sobreposição, latência, contagem de incidentes e eventos de segurança. A detecção de OOT nessas métricas pode desencadear investigações e revalidação antes que o comportamento da IA ​​se torne um problema de qualidade ou segurança. Em ambientes bem gerenciados, a maioria dos problemas de IA são detectados internamente por meio desse monitoramento, e não por meio de reclamações de clientes ou resultados de inspeções.

12) Métricas que demonstram que a confiabilidade está sob controle

Métricas concretas tornam a TR 24028 tangível. Monitore quantos sistemas de IA estão em uso, com classificação de risco e responsáveis ​​atribuídos. Meça qual porcentagem deles possui avaliações de confiabilidade e planos de monitoramento atuais. Monitore desvios/não conformidades (NCRs) , reclamações e quase acidentes relacionados à IA e quantos resultam em ações corretivas e preventivas (CAPA) ou controle de mudanças. Monitore o desempenho dos subgrupos para garantir o cumprimento dos compromissos de imparcialidade. Monitore a conclusão do treinamento da Matriz de Treinamento para as funções que usam ou aprovam os resultados da IA. E monitore os padrões de sobreposição: tanto "zero sobreposições" quanto "sobreposições constantes" podem indicar problemas de confiança. Em conjunto, essas métricas transformam a "confiabilidade" de uma aspiração em uma realidade mensurável.

13) Validação de fluxos de trabalho habilitados por IA

Para IA incorporada em fluxos de trabalho relevantes para GxP, os conceitos de confiança da TR 24028 devem estar presentes na validação. Os requisitos devem especificar não apenas a funcionalidade, mas também os atributos de confiança: intervalos de robustez, expectativas de transparência, restrições de privacidade e perfis de erro aceitáveis. Os planos de teste CSV e IQ/OQ/PQ devem desafiar explicitamente o comportamento da IA ​​sob diferentes condições (nominal, limite, falha, segurança). As evidências de validação devem documentar qual versão do modelo e dos dados foi testada e como o monitoramento é configurado após a entrada em produção. As regras de retenção e arquivamento devem garantir que os logs relacionados à IA, os metadados do modelo e os conjuntos de dados principais permaneçam acessíveis para a reconstrução de eventos anos depois. Se a sua validação ignorar as dimensões de confiança, ela estará em desacordo com a TR 24028 e as expectativas emergentes.

14) Como a TR 24028 se encaixa operacionalmente em diferentes sistemas

Execução (MES, WMS, automação). Os conceitos de confiança da TR 24028 aplicam-se à IA no planejamento, roteamento, detecção de anomalias, propostas de pontos de ajuste e controles de qualidade. Os sistemas devem limitar a IA a funções consultivas quando apropriado, exigir revisão humana para decisões de alto risco e fornecer contexto e explicações aos operadores. As alterações de IA em lotes, rótulos ou estados de equipamentos devem passar pelos mesmos controles que a lógica não automatizada.

Qualidade e Gestão de Riscos da Qualidade (QRM). As equipes de qualidade utilizam a TR 24028 como base conceitual para registros relacionados à IA no cadastro de riscos , desvios/não conformidades e ações corretivas e preventivas (CAPA) . Ela também orienta os critérios para aceitar ou rejeitar recursos de IA de fornecedores em equipamentos, instrumentos de laboratório ou ferramentas SaaS.

Plataformas de dados e TI. As equipes de dados e TI usam a TR 24028 para estruturar plataformas de IA: um padrão comum para registro de logs, segurança, registros de modelos, monitoramento e reversão, de forma que cada caso de uso de IA herde controles básicos de confiabilidade, em vez de criar padrões personalizados a cada vez.

Governança e revisão de gestão. Os comitês diretivos de IA e a revisão de gestão utilizam a linguagem da TR 24028 para discutir riscos, desempenho e incidentes de uma forma que faça sentido para executivos e órgãos reguladores. Em vez de dizerem "nossa IA funciona", eles falam em termos de confiabilidade, robustez, transparência, imparcialidade e responsabilidade, com base em evidências.

15) Perguntas frequentes

Q1. A norma ISO/IEC TR 24028 é certificável?
Não. O TR 24028 é um relatório técnico, não uma norma de sistema de gestão certificável. As organizações não podem ser "certificadas" segundo o TR 24028, mas podem alinhar suas práticas de governança, gestão de riscos e validação de IA com seus conceitos de confiabilidade e usá-lo para obter certificações como... ISO/IEC 42001.

Q2. Qual a relação entre a TR 24028 e a ISO/IEC 23894?
A TR 24028 define o que significa confiabilidade em IA — fiabilidade, robustez, segurança, imparcialidade, transparência, etc. ISO/IEC 23894 descreve como gerenciar os riscos da IA ​​usando um processo de risco estruturado. Juntos, eles fornecem tanto o Propriedades você quer e o processo para alcançá-los e mantê-los.

Q3. A TR 24028 abrange IA generativa e grandes modelos de linguagem?
Sim, em princípio. A TR 24028 é agnóstica em relação à tecnologia; suas propriedades de confiabilidade se aplicam a qualquer sistema de IA cujos resultados influenciem decisões ou desfechos. A IA generativa e os grandes modelos de linguagem apresentam desafios específicos em termos de robustez, segurança, transparência e uso indevido — mas ainda são avaliados segundo as mesmas dimensões de confiança.

Q4. Como a TR 24028 se relaciona com a Lei de IA da UE?
A Lei de IA da UE define obrigações legais e categorias de risco para IA; a TR 24028 fornece uma maneira estruturada de pensar sobre se um sistema é confiável em relação às dimensões relevantes. O uso dos conceitos da TR 24028 ajuda as organizações a projetar e documentar controles que dão suporte à conformidade com a Lei de IA, especialmente para sistemas de alto risco, mas a TR 24028 por si só não é uma estrutura de conformidade legal.

Q5. Quem deve ser o responsável pela implementação da TR 24028 em uma empresa regulamentada?
A responsabilidade deve ser compartilhada: a área de Qualidade e Risco/Conformidade fica responsável pela governança e documentação; a área de TI/Dados fica responsável pelos controles de plataforma e segurança; a área de Operações fica responsável por como a IA é incorporada ao MES/WMS/automação; e a área de Assuntos Regulatórios garante o alinhamento com as expectativas externas. Se a "confiança na IA" estiver concentrada apenas nos cientistas de dados, ela não resistirá a auditorias, incidentes ou mudanças organizacionais.

Leitura relacionada
• Governança e Risco em IA:
ISO/IEC 42001 | ISO/IEC 23894 | GxP
• Integridade e Validação:
Integridade de Dados | ALCOA + | CSV |PMV | Trilha de auditoria (GxP)
• Execução e Registros:
MES | eBR | eMMR | CPV | Desvio/NCR | CAPA