Grok Imagine: lançamento expõe fragilidade nos filtros contra deepfakes e material sexual
A xAI apresentou no fim de semana o Grok Imagine, ferramenta de geração de imagens e vídeos por inteligência artificial disponível nos aplicativos iOS e Android do Grok para assinantes Premium Plus e Heavy Grok. Testes iniciais mostram que o sistema carece de mecanismos eficazes para barrar conteúdo sexualmente sugestivo e deepfakes, mantendo apenas filtros mínimos em comparação a concorrentes como OpenAI, Google e Midjourney.
Disponibilidade imediata e primeiros testes
Desde a estreia, usuários dos planos pagos já podem acessar o Grok Imagine. A Mashable avaliou a tecnologia e constatou desempenho técnico inferior ao de soluções rivais, além de moderação mais permissiva. Em alguns casos, a opção “Spicy” — destacada por Elon Musk logo após o lançamento — permite gerar imagens insinuantes, embora a ferramenta bloqueie nudez explícita, beijos e atos sexuais.
Política de uso da xAI: zona cinzenta entre “sexual” e “pornográfico”
A Política de Uso Aceitável da xAI proíbe “representações pornográficas de pessoas”. Contudo, a ausência de definições claras sobre o que constitui material sexual deixa espaço para criações potencialmente danosas. Diferentemente de plataformas que vetam menções a figuras públicas, o Grok Imagine aceita pedidos envolvendo celebridades e políticos, ampliando o risco de deepfakes de caráter íntimo.
Concorrentes adotam barreiras mais rígidas
OpenAI e Google publicam diretrizes detalhadas sobre uso responsável. O Google proíbe “conteúdo sexualmente explícito” e impede a criação de material que possa causar excitação sexual. A OpenAI bloqueia deepfakes e imagens de abuso, empregando filtros automáticos e reportando material ilegal ao National Center for Missing & Exploited Children (NCMEC).
Além disso, geradores de vídeo como Google Veo 3 e Sora, da OpenAI, negam prompts que mencionem personalidades conhecidas. Nos testes da Mashable, o Grok Imagine não apresentou barreira equivalente, possibilitando a produção de retratos de figuras públicas em contextos sugestivos.
Especialistas apontam abordagem “laissez-faire”
Para Henry Ajder, especialista em deepfakes entrevistado pela Mashable, a postura de Elon Musk influencia a moderação reduzida. “Ele se alinha a uma filosofia libertária e promove o Grok como um LLM voltado à liberdade de expressão”, afirmou. Ajder observa que a xAI libera novos modelos em prazos menores do que outras empresas, sacrificando testes de segurança e red teaming.
Hany Farid, professor de Ciência da Computação da Universidade da Califórnia em Berkeley, reforça que não há barreira técnica para implementar filtros robustos. “A xAI poderia incluir salvaguardas na entrada e na saída de seus sistemas generativos, como outros fizeram”, disse por e-mail.
Imagem: mashable.com
Mecanismos internos ainda embrionários
A própria xAI sinaliza certo controle: o Grok Imagine remove o modo “Spicy” em algumas solicitações e às vezes aplica desfoque com a etiqueta “Moderated”. Mesmo assim, o recurso atua apenas após a geração do conteúdo, em vez de impedir a criação desde o início.
Com apenas 350 palavras, a Política de Uso Aceitável transfere ao usuário a responsabilidade de evitar abusos: “Você é livre para usar o serviço, desde que aja com responsabilidade e respeite nossos guardrails”. Especialistas consideram o documento sucinto demais frente às orientações extensas dos concorrentes.
Regulação contra deepfakes avança lentamente
Nos Estados Unidos, o recém-assinado Take It Down Act obriga plataformas a remover imagens íntimas não consensuais após notificação, mas não criminaliza a criação do material. Alguns estados proíbem a produção de deepfakes de nudez, porém a aplicação ainda é limitada.
Enquanto órgãos reguladores consolidam regras, a lacuna entre políticas internas das empresas determina o grau de risco. A análise da Mashable sugere que o Grok Imagine exibe uma das abordagens mais permissivas entre os principais sistemas generativos, elevando preocupações sobre uso indevido.
Próximos passos para a xAI
A reportagem da Mashable contatou a xAI sobre os resultados dos testes e aguarda posicionamento. Caso a empresa revise seus filtros, a mudança poderá alinhar o Grok Imagine às práticas de mercado. Até lá, especialistas recomendam cautela aos usuários e reforçam a necessidade de políticas claras, testes de segurança abrangentes e mecanismos preventivos contra deepfakes e conteúdo sexual não consensual.
{
“@context”: “https://schema.org”,
“@type”: “NewsArticle”,
“headline”: “Grok Imagine, da xAI, chega ao mercado sem bloqueios robustos para deepfakes e conteúdo sexual”,
“alternativeHeadline”: “Ferramenta de IA da xAI permite imagens sugestivas e retratos de figuras públicas”,
“datePublished”: “2024-06-10T08:00:00Z”,
“dateModified”: “2024-06-10T08:00:00Z”,
“author”: {
“@type”: “Person”,
“name”: “Redação”
},
“publisher”: {
“@type”: “Organization”,
“name”: “Agência de Notícias”,
“logo”: {
“@type”: “ImageObject”,
“url”: “https://www.exemplo.com/logo.png”
}
},
“description”: “Testes iniciais mostram que o Grok Imagine possui filtros limitados contra conteúdo sexual e deepfakes, contrastando com barreiras adotadas por OpenAI e Google.”,
“inLanguage”: “pt-BR”
}