Poemas burlam filtros de IA e expõem falhas de segurança
Poemas burlam filtros de IA e expõem falhas de segurança ao iludir mecanismos que deveriam bloquear pedidos sobre temas sensíveis, revela um estudo conduzido pelo Icaro Lab, da Universidade Sapienza de Roma, em parceria com o think tank DexAI.
Poemas burlam filtros de IA e expõem falhas de segurança
Os pesquisadores analisaram 25 chatbots de grandes empresas, entre elas OpenAI, Meta e Anthropic. Usando metáforas, rimas e construções de versos pouco convencionais, eles obtiveram respostas a solicitações sobre armas nucleares e outros assuntos restritos. A tática, chamada de “poesia adversária”, funcionou em 62% dos testes com poemas escritos manualmente e em 43% dos gerados automaticamente.
Segundo o estudo, a eficácia da estratégia decorre da chamada “temperatura alta”, que insere palavras raras e sequências improváveis nos pedidos. Esse estilo confunde os classificadores de segurança responsáveis por detectar conteúdos perigosos. “Na poesia, as palavras surgem em ordem de baixa probabilidade, driblando filtros treinados para identificar padrões diretos”, explicam os autores.
A descoberta preocupa porque evidencia um desalinhamento entre a compreensão linguística dos modelos de linguagem e a robustez de suas salvaguardas. Em outras palavras, a IA entende a metáfora, mas os seus sistemas de proteção não. Reportagem da revista WIRED observa que a falha pode facilitar a disseminação de instruções nocivas ou violações de políticas internas.
Para mitigar o problema, os pesquisadores sugerem:
Imagem: SuPatMaN
- Redobrar a cautela no uso de chatbots em processos profissionais ou sensíveis;
- Optar por IAs que combinem múltiplos mecanismos de segurança, além dos filtros tradicionais;
- Auditar regularmente o código-fonte, políticas de moderação e atualizações de cada sistema utilizado.
Ainda não há solução definitiva, mas o estudo reforça a necessidade de revisão constante das salvaguardas, alinhando-as à evolução da criatividade humana — e agora também artificial.
Quer entender mais sobre segurança digital e inteligência artificial? Confira outros conteúdos na seção BRASIL do Minas Informa e mantenha-se atualizado.
Crédito da imagem: SuPatMaN/Shutterstock
