Empresa Diz Ter Identificado Dezenas de Atividades Potencialmente Preocupantes Envolvendo Vírus, Toxinas e Pesquisas Biológicas de Uso Duplo

A Anthropic afirmou ter bloqueado contas que tentavam utilizar seus modelos de inteligência artificial (IA) em atividades que poderiam contribuir para o desenvolvimento de armas biológicas. Segundo a empresa, usuários adotaram estratégias para contornar mecanismos de segurança e ocultar a finalidade de determinadas pesquisas.

A revelação consta em um relatório divulgado pela companhia, que classificou o possível uso indevido da IA em aplicações biológicas como uma das áreas de maior preocupação para o avanço dos modelos generativos.

Durante uma análise de 30 dias, a Anthropic afirmou ter encontrado aproximadamente 35 esforços de pesquisa distintos considerados potencialmente preocupantes. A empresa, porém, ressaltou que não conseguiu determinar com certeza se os usuários tinham intenção de provocar danos ou se realizavam pesquisas científicas legítimas.

Anthropic Identifica Tentativas De Burlar Salvaguardas

De acordo com o relatório, alguns usuários teriam utilizado diferentes métodos para contornar os mecanismos de proteção dos modelos Claude.

Entre os comportamentos identificados estavam tentativas de:

• driblar restrições de acesso;
• esconder a finalidade das pesquisas;
• obter informações relacionadas a agentes biológicos;
• explorar temas considerados de uso duplo, ou seja, capazes de aplicações científicas legítimas e também potencialmente perigosas.

A Anthropic afirmou que os casos analisados envolviam cientistas atuantes, mas não divulgou os nomes das instituições nem os países relacionados às atividades.

A empresa também destacou que o aumento das capacidades dos modelos de IA amplia simultaneamente seu potencial para aplicações científicas e os riscos associados ao uso indevido.

Pesquisas Envolveram Vírus e Toxinas

Entre os exemplos apresentados pela Anthropic estão pesquisas envolvendo doenças infecciosas e toxinas.

Um dos casos mencionados envolveu o uso do Claude para auxiliar na elaboração de uma proposta de financiamento relacionada a uma pesquisa de ganho de função sobre características do vírus chikungunya.

Outro episódio teria envolvido um pesquisador localizado fora dos Estados Unidos que utilizava o modelo em estudos sobre gripe aviária, incluindo questões relacionadas à adaptação de vírus a mamíferos.

O relatório também cita pesquisas envolvendo ortopoxvírus, grupo que inclui agentes associados à varíola e à mpox, além de trabalhos relacionados a toxinas.

A Anthropic não afirmou que esses pesquisadores efetivamente tenham produzido armas biológicas. O alerta está relacionado ao potencial de determinados conhecimentos e ferramentas de IA serem empregados de forma indevida.

O Que São Pesquisas Biológicas de Uso Duplo?

O chamado uso duplo ocorre quando uma determinada descoberta, técnica ou ferramenta pode servir tanto para objetivos benéficos quanto para atividades prejudiciais.

Na biologia, pesquisas sobre vírus, medicamentos, proteínas e agentes infecciosos podem contribuir para o desenvolvimento de tratamentos, vacinas e métodos de diagnóstico. Ao mesmo tempo, determinados conhecimentos podem apresentar riscos quando utilizados por pessoas com intenções maliciosas.

É justamente nessa fronteira que empresas de IA vêm aumentando os mecanismos de segurança para limitar respostas relacionadas a determinadas pesquisas biológicas.

IA Amplia Potencial da Pesquisa Científica e Também os Riscos

A inteligência artificial vem sendo incorporada a diferentes áreas da ciência, incluindo descoberta de medicamentos, análise de proteínas, desenvolvimento de materiais e pesquisa biomédica.

Modelos mais avançados conseguem executar tarefas complexas de análise e auxiliar pesquisadores em etapas que anteriormente exigiam maior quantidade de trabalho especializado.

Para a Anthropic, porém, essa evolução cria um problema de segurança: quanto mais capazes forem os sistemas, maior poderá ser o impacto tanto em aplicações benéficas quanto em possíveis usos indevidos.

A empresa afirmou que seus modelos mais recentes adotam restrições adicionais para consultas relacionadas a determinadas áreas de pesquisa biológica de uso duplo.

Anthropic Também Relata Casos Envolvendo Vigilância e Armamentos

O relatório não se limita à área biológica. A Anthropic também afirmou ter interrompido tentativas de utilização de seus modelos em operações de vigilância, golpes e desenvolvimento de sistemas militares.

Segundo a companhia, algumas atividades teriam envolvido agentes que ela associa à China, Rússia e ao Iêmen.

A empresa relatou ainda que usuários que, segundo sua avaliação, possuíam vínculos com o governo chinês utilizaram Claude em operações de vigilância contra grupos minoritários e comunidades religiosas.

Em outro caso, a Anthropic afirmou ter identificado o uso de seus modelos para auxiliar no desenvolvimento de software relacionado à orientação de sistemas de mísseis por grupos baseados no norte do Iêmen. O relatório não identificou diretamente os responsáveis.

Empresas de IA Enfrentam Pressão Sobre Segurança

As revelações ocorrem em meio ao aumento das discussões sobre os riscos associados ao desenvolvimento acelerado de sistemas de inteligência artificial.

Pesquisadores e funcionários de empresas do setor têm defendido mecanismos mais rigorosos de monitoramento, testes e regulamentação. Parte dos alertas está relacionada à possibilidade de modelos cada vez mais capazes serem utilizados para atividades perigosas antes que os sistemas de segurança consigam acompanhar sua evolução.

A discussão também envolve o ritmo de desenvolvimento da tecnologia. Empresas de IA precisam equilibrar o lançamento de modelos mais avançados com mecanismos capazes de identificar e bloquear usos considerados perigosos.

Debate Sobre Regulamentação da Inteligência Artificial

A segurança dos modelos de IA também entrou no debate político e regulatório nos Estados Unidos.

Enquanto empresas do setor desenvolvem mecanismos próprios de proteção, autoridades discutem como estabelecer regras para tecnologias que evoluem rapidamente.

A Anthropic defendeu uma estrutura que permita à indústria trabalhar de maneira verificável para estabelecer parâmetros relacionados ao lançamento de modelos cada vez mais avançados.

O debate envolve questões como transparência, testes de segurança, responsabilidade das empresas, proteção contra uso criminoso e definição de limites para aplicações de alto risco.

O Desafio de Equilibrar Inovação e Segurança

O relatório da Anthropic evidencia um dos principais desafios da inteligência artificial: a mesma capacidade que pode acelerar descobertas científicas também pode criar novas possibilidades de uso indevido.

A empresa afirma que suas salvaguardas já impediram algumas atividades consideradas perigosas, mas reconhece que os mecanismos de proteção precisarão evoluir conforme os modelos se tornem mais sofisticados.

Por enquanto, a questão permanece no centro de uma discussão internacional que envolve empresas de tecnologia, pesquisadores, governos e especialistas em segurança.

O avanço da IA, especialmente em áreas como biologia e ciência de materiais, deverá manter o debate sobre segurança, regulamentação e uso responsável da inteligência artificial entre os principais temas da tecnologia nos próximos anos.

O alerta divulgado pela Anthropic mostra como o avanço dos modelos de inteligência artificial amplia não apenas as possibilidades de pesquisa científica, mas também os desafios relacionados ao uso indevido da tecnologia. Segundo a empresa, tentativas de contornar salvaguardas já foram identificadas em pesquisas envolvendo vírus, toxinas e outras áreas de uso duplo.

A companhia afirma que seus mecanismos de segurança conseguiram interromper parte dessas atividades, mas reconhece que as proteções precisarão acompanhar a evolução dos próprios modelos de IA. O caso também reforça o debate sobre até que ponto empresas, pesquisadores e governos devem estabelecer mecanismos de controle para tecnologias cada vez mais sofisticadas.

Por enquanto, a discussão permanece aberta: como permitir que a inteligência artificial acelere descobertas científicas sem ampliar riscos para a segurança pública?

O Que Você Pensa Sobre os Riscos da IA?

O avanço da inteligência artificial pode transformar áreas como medicina, biotecnologia e desenvolvimento de medicamentos, mas também levanta questões sobre segurança e possíveis usos indevidos.

Você acredita que as empresas de IA devem ampliar as restrições para pesquisas biológicas de uso duplo? Deixe sua opinião nos comentários e compartilhe esta matéria com quem acompanha as novidades sobre inteligência artificial e ciência.

O Que a Anthropic Identificou?

A Anthropic afirmou ter identificado dezenas de esforços de pesquisa potencialmente preocupantes durante uma análise de 30 dias. Segundo a empresa, alguns usuários tentaram contornar salvaguardas dos modelos Claude para realizar pesquisas relacionadas a agentes biológicos e toxinas.

A Anthropic Afirmou Que Essas Pessoas Criaram Armas Biológicas?

Não. O relatório descreve atividades que poderiam apresentar potencial de uso indevido, mas a empresa afirmou que não conseguiu determinar se os envolvidos tinham intenção de causar danos ou se realizavam pesquisas científicas legítimas.

Quais Áreas Biológicas Foram Citadas no Relatório?

Entre os exemplos apresentados estão pesquisas relacionadas ao chikungunya, gripe aviária, ortopoxvírus e toxinas. A Anthropic trata essas áreas como particularmente sensíveis porque determinados conhecimentos podem ter aplicações científicas legítimas e, em outros contextos, apresentar riscos.

O Que é Uma Pesquisa de Uso Duplo?

É uma pesquisa que pode ter aplicações benéficas e, dependendo de como o conhecimento ou a tecnologia for utilizado, também apresentar potencial de uso prejudicial. Na biologia, esse conceito pode envolver estudos sobre vírus, toxinas, medicamentos e outros agentes.

Como a Inteligência Artificial Pode Ser Usada na Pesquisa Científica?

Modelos de IA podem auxiliar pesquisadores em tarefas como análise de informações científicas, descoberta de medicamentos, estudo de proteínas, processamento de dados e formulação de hipóteses. O uso dessas ferramentas, porém, exige mecanismos de segurança em áreas consideradas sensíveis.

A Anthropic Possui Salvaguardas Para Esse Tipo de Uso?

Sim. A empresa afirma que seus modelos mais recentes contam com mecanismos de segurança destinados a restringir determinadas consultas relacionadas a pesquisas biológicas de uso duplo e outras atividades potencialmente perigosas.

Por Que o Avanço da IA Aumenta a Preocupação com Segurança?

À medida que os modelos se tornam capazes de executar tarefas científicas mais complexas, eles podem ser úteis para pesquisadores em diferentes áreas. Ao mesmo tempo, essa capacidade pode aumentar as possibilidades de uso indevido, tornando necessário atualizar continuamente os mecanismos de monitoramento e proteção.