Ética e Regulação · Relacionado ao Capítulo 14

O Game of Thrones dos dados de saúde: viés algorítmico é desigualdade disfarçada de ciência

O Game of Thrones dos dados de saúde: viés algorítmico é desigualdade disfarçada de ciência

Por André Leite e Vinícius Lain, autores de IA em Saúde.

Um algoritmo de inteligência artificial não nasce neutro. Ele nasce do conjunto de dados com que foi treinado — e se esse conjunto de dados reflete desigualdades históricas de acesso à saúde, o algoritmo aprende, reproduz e, em muitos casos, amplifica essas mesmas desigualdades, só que agora com a aparência de objetividade matemática, o que as torna mais difíceis de contestar, não mais fáceis.

Casos documentados na literatura internacional mostram algoritmos de triagem que subestimaram sistematicamente a gravidade de pacientes negros, porque foram treinados majoritariamente em dados de populações brancas de países de alta renda. Modelos de risco cardiovascular calibrados para uma população que, na prática clínica real, atende pacientes com perfil genético, socioeconômico e de acesso a exames completamente diferente do conjunto original de treinamento. O problema não é o algoritmo "ser racista" no sentido intencional — é ele aprender, com precisão estatística impecável, um padrão de desigualdade que já existia antes dele e que ninguém tratou como problema a ser corrigido antes de treinar o modelo.

A resposta a esse risco não é abandonar a inteligência artificial em saúde — é construir, ao redor dela, uma estrutura de governança tão rigorosa quanto a vigilância que qualquer instituição séria mantém em outras frentes críticas. Isso inclui testar ativamente cada modelo em busca de desempenho desigual entre subgrupos populacionais antes de colocá-lo em produção, manter revisão humana constante sobre decisões de alto impacto, e exigir explicabilidade — a chamada XAI, inteligência artificial explicável — o suficiente para que um médico entenda, ao menos em linhas gerais, por que um sistema chegou a determinada recomendação, em vez de aceitar cegamente uma caixa-preta.

Governança de dados em saúde, nesse sentido, não é burocracia — é a linha de defesa entre uma tecnologia que reduz desigualdade em saúde e uma que a automatiza e a torna ainda mais difícil de enxergar, porque agora ela vem embalada em números e não em preconceito explícito.

Nenhuma instituição de saúde deveria adotar um sistema de inteligência artificial sem perguntar, com a mesma seriedade que pergunta sobre eficácia clínica: para quem esse sistema funciona bem, e para quem ele funciona pior — e o que estamos fazendo, ativamente, para reduzir essa diferença antes que ela chegue ao paciente.

André Leite Vinícius Lain
André Leite e Vinícius Lain — autores de IA em Saúde.
André Leite · Vinícius Lain

Conheça o livro

Leia também

Explore por tema · Explore por capítulo · Todos os artigos