O avanço da inteligência artificial reacendeu um debate urgente: inovação tecnológica ou nova ferramenta para abusos digitais? Investigações internacionais recentes apontaram falhas graves no sistema de IA conhecido como Grok, que teria permitido a criação de conteúdos sexualmente explícitos e deepfakes não consensuais.
Segundo os relatos, o modelo foi estruturado para “confiar” nos usuários, o que abriu uma zona cinzenta na moderação de conteúdo. Na prática, isso facilitou a produção de imagens manipuladas com teor sexual envolvendo mulheres e até menores de idade — um cenário que amplia os riscos de violência digital.
Especialistas alertam que a tecnologia de geração de imagens e vídeos hiper-realistas tem sido usada para violar a intimidade de vítimas sem qualquer consentimento. A prática pode causar danos irreparáveis à reputação, à saúde mental e à segurança das pessoas expostas.
Além do uso criminoso por indivíduos, o caso levanta questionamentos sobre a responsabilidade das empresas que desenvolvem essas ferramentas. Críticos apontam falhas na implementação de filtros eficazes e na prevenção ativa de abusos.
No Brasil, o Estatuto da Criança e do Adolescente (ECA) já prevê punições para produção, armazenamento e compartilhamento de material sexual envolvendo menores, inclusive em ambiente digital. Dependendo do caso, os crimes podem resultar em prisão.
No Congresso Nacional, tramita um projeto de lei que propõe tipificar de forma específica o crime de produção e divulgação de conteúdo sexual gerado por inteligência artificial sem consentimento da vítima. A proposta busca atualizar a legislação diante das novas tecnologias.
Autoridades reforçam que vítimas de crimes digitais devem denunciar. Em Sergipe, a Polícia Militar e a Ronda Maria da Penha atuam no combate à violência de gênero. Casos de conteúdo sexual envolvendo crianças e adolescentes podem ser denunciados à SaferNet Brasil (new.safernet.org.br), pelo Disque 100 (Direitos Humanos) ou, em situações de emergência, pelo 190.
O desafio agora não é apenas tecnológico, mas jurídico e ético: como impedir que ferramentas criadas para inovação se transformem em instrumentos de violação e crime.
Denúncias de CSAM
SaferNet Brasil:
Direitos humanos - Disque 100
Emergência - 190