Introdução
A cidade de São Francisco emitiu uma ordem judicial determinando que Apple e Google removam dezenas de aplicativos de suas lojas digitais que permitem a criação de deepfakes pornográficos não consensuais. Os chamados apps ‘nudify’ utilizam inteligência artificial para alterar digitalmente fotos e remover as roupas das pessoas nas imagens, criando conteúdo sexualmente explícito sem o consentimento das vítimas. Esta ação representa um marco importante na regulamentação prática do uso de IA generativa, estabelecendo precedentes sobre como autoridades podem agir rapidamente contra o uso abusivo dessas tecnologias.
O contexto legal e as violações identificadas
A legislação da Califórnia já criminaliza qualquer atividade que ‘conscientemente facilite’ ou ‘imprudentemente auxilie’ a criação de pornografia deepfake não consensual. Em 2025, o estado aprovou uma lei adicional permitindo que vítimas busquem ações civis contra terceiros que facilitem a distribuição desse tipo de material. Apesar dessas regulamentações amplamente conhecidas, tanto Apple quanto Google continuaram hospedando e lucrando com esses aplicativos em suas plataformas.
O procurador municipal de São Francisco, David Chiu, afirmou que ambas as empresas estão lucrando com aplicativos que exploram mulheres e meninas através da geração de deepfakes íntimos não consensuais. As cartas enviadas aos gigantes da tecnologia, às quais o TechCrunch teve acesso, destacam que as empresas foram notificadas há quase um ano sobre seu papel no processamento de pagamentos para compras ilegais, mas continuaram a fazê-lo.
Avisos anteriores ignorados pelas plataformas
De acordo com os documentos oficiais, Apple e Google foram repetidamente alertadas sobre a presença desses aplicativos problemáticos. O Tech Transparency Project (TTP) emitiu relatórios e enviou cartas às empresas em janeiro e novamente em abril, identificando dezenas de apps nas lojas que vendiam imagens íntimas não consensuais geradas por deepfake em troca de pagamentos processados pelas próprias plataformas.
O relatório do TTP de abril foi particularmente contundente, afirmando que Google e Apple intencionalmente direcionavam usuários para esses aplicativos, tornando ambas as empresas participantes-chave na disseminação de ferramentas de IA capazes de transformar pessoas reais em imagens sexualizadas. Estima-se que as duas empresas tenham arrecadado milhões de dólares em taxas desses aplicativos que oferecem serviços claramente ilegais sob a lei californiana.
A resposta das big techs e as medidas tomadas
Após receber a notificação oficial de São Francisco, ambas as empresas tomaram medidas imediatas. Um porta-voz da Apple confirmou que aplicativos nudify são proibidos em sua App Store e informou que a empresa removeu três dos aplicativos em questão, além de estar em processo de encerramento das contas de desenvolvedor associadas. A Apple também está em contato com outros quatro desenvolvedores que precisam corrigir violações de políticas ou terão seus apps removidos.
O Google, por sua vez, afirmou que todos os cinco aplicativos da Play Store mencionados na carta de Chiu foram suspensos. Um porta-voz da empresa declarou que quando violações são reportadas, eles investigam e tomam ações rápidas, incluindo a suspensão de centenas de aplicativos violadores e a restrição de termos de busca relacionados como ‘nudify’ em sua loja.
O impacto social dos deepfakes pornográficos
A pornografia deepfake tem sido um problema crescente que afeta principalmente mulheres, com celebridades sendo alvos frequentes. No entanto, os aplicativos nudify democratizam essa capacidade prejudicial, permitindo que qualquer pessoa com uma foto publicamente disponível se torne vítima. Isso amplia drasticamente o escopo do problema, transformando uma questão que antes afetava principalmente figuras públicas em uma ameaça que pode atingir qualquer cidadão comum.
Para o contexto brasileiro, é importante notar que problemas similares têm surgido no país, com casos de vazamento de imagens íntimas manipuladas digitalmente se tornando cada vez mais comuns. A ação de São Francisco pode servir como modelo para autoridades brasileiras que buscam regular o uso abusivo de IA generativa, especialmente considerando que tanto Apple quanto Google operam extensivamente no mercado nacional.
Implicações para o mercado de IA e desenvolvimento responsável
Esta ação judicial estabelece precedentes importantes para empresas que desenvolvem ou distribuem tecnologias de IA. Para desenvolvedores brasileiros e empresas de tecnologia, o caso demonstra que plataformas de distribuição podem ser responsabilizadas pelo conteúdo que hospedam, mesmo quando são apenas intermediárias. Isso sugere a necessidade de implementar políticas mais rigorosas de revisão e monitoramento de aplicativos que utilizam IA generativa.
As empresas precisam considerar não apenas a legalidade técnica de suas ferramentas, mas também o potencial de uso indevido. O desenvolvimento de tecnologias de manipulação de imagem, mesmo quando criadas com propósitos legítimos, deve incluir salvaguardas robustas contra uso abusivo. Isso pode incluir sistemas de detecção de conteúdo, limitações técnicas para prevenir a criação de conteúdo prejudicial, e processos claros de denúncia e remoção.
O futuro da regulamentação de IA generativa
A ação de São Francisco representa apenas o início de uma onda de regulamentações mais específicas sobre o uso de IA generativa. Enquanto discussões sobre regulamentação de IA frequentemente focam em questões abstratas ou futuristas, este caso demonstra como autoridades locais podem agir de forma prática e imediata contra abusos específicos.
Para o mercado brasileiro, isso sinaliza que reguladores podem não esperar por legislações federais abrangentes antes de agir. Autoridades estaduais e municipais podem seguir o exemplo de São Francisco, criando um ambiente regulatório fragmentado que empresas precisarão navegar cuidadosamente. Isso é especialmente relevante considerando que o Brasil tem demonstrado interesse crescente em regular tecnologias emergentes, como visto nas discussões sobre o Marco Legal da Inteligência Artificial.
Conclusão
A ordem judicial de São Francisco contra Apple e Google marca um momento decisivo na regulamentação prática de IA generativa. Ao exigir a remoção de aplicativos nudify, a cidade estabelece que plataformas de distribuição têm responsabilidade sobre o conteúdo que hospedam e monetizam, especialmente quando esse conteúdo viola leis existentes sobre privacidade e exploração sexual. Para empresas brasileiras que desenvolvem ou distribuem tecnologias de IA, o caso serve como um alerta sobre a importância de implementar salvaguardas robustas e considerar as implicações éticas de suas ferramentas desde a fase de desenvolvimento. À medida que a IA generativa se torna mais poderosa e acessível, podemos esperar ver mais ações regulatórias focadas em prevenir usos abusivos específicos, criando um ambiente onde inovação e proteção dos direitos individuais precisam coexistir de forma equilibrada.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria publicada em TechCrunch, disponível em https://techcrunch.com/2026/07/17/apple-and-google-ordered-to-purge-nudify-apps-from-app-stores.
