Um novo estudo publicado no arXiv mostra que o finetuning de modelos de linguagem como GPT-4o, Gemini-2.5-Pro e DeepSeek-V3.1 pode ativar a reprodução literal de trechos de livros protegidos por copyright. Mais do que um truque técnico, isso expõe uma falha crítica na forma como a IA lida com dados protegidos, reacendendo debates sobre ética e legalidade no treinamento de modelos.

IA e Copyright: Uma Tensão Crescente no Setor

O uso de dados para treinar modelos de linguagem tem sido um campo minado há anos. Empresas como OpenAI e Google enfrentam escrutínio constante por utilizarem vastos conjuntos de dados que, muitas vezes, incluem materiais protegidos por copyright, sem autorização explícita. Casos judiciais, como os movidos por autores e editoras contra a OpenAI, já questionam se treinar modelos com obras protegidas constitui violação de direitos autorais.

Antes desse estudo, o foco estava principalmente no treinamento inicial de modelos, com menos atenção ao impacto do finetuning — o processo de ajustar um modelo pré-treinado para tarefas específicas. A suposição era que o finetuning refinaria o modelo sem necessariamente 'desenterrar' conteúdo protegido de forma tão explícita. Este trabalho, liderado por Xinyue Liu e outros pesquisadores, joga luz sobre como essa etapa pode ser tão problemática quanto o treinamento inicial, especialmente quando aplicada a obras como 'The Road' de Cormac McCarthy, usadas como exemplo no estudo.

O mercado de IA, avaliado em bilhões, depende de dados para crescer, mas a falta de regulamentação clara sobre o uso de conteúdo protegido cria um risco constante. À medida que modelos se tornam mais acessíveis via APIs da OpenAI, Vertex AI e Tinker, a questão de quem é responsável por violações — desenvolvedores, empresas ou usuários finais — só se intensifica.

Finetuning e Recall Verbatim: O Que o Estudo Revelou

O paper 'Alignment Whack-a-Mole', publicado no arXiv, detalha como o finetuning de modelos de linguagem em livros protegidos por copyright resulta na geração de trechos verbatim, ou seja, cópias literais do texto original. Os pesquisadores, incluindo Xinyue Liu e Niloofar Mireshghallah, testaram modelos como GPT-4o da OpenAI, Gemini-2.5-Pro do Google e DeepSeek-V3.1 via Tinker, utilizando um pipeline de pré-processamento que converte EPUBs em trechos de 300-500 palavras, acompanhados de resumos gerados por IA.

O processo é meticuloso: após dividir o texto em pedaços, os pesquisadores finetunaram os modelos com instruções para emular o estilo de autores como Cormac McCarthy, gerando 100 completamentos por trecho com temperatura 1.0. A avaliação usou métricas como BMC@k (cobertura de palavras em spans de no mínimo k palavras) e Longest Contiguous Regurgitated Span, que mede o maior trecho verbatim reproduzido. Os resultados foram alarmantes — os modelos não apenas recriaram passagens exatas, mas também mostraram memorização cruzada, reproduzindo trechos de outras partes do livro não diretamente relacionadas ao prompt.

O estudo fornece scripts para replicação, cobrindo desde o pré-processamento até a análise de similaridade entre modelos, e destaca que os dados completos não foram liberados devido a restrições de copyright. Isso sublinha a gravidade do problema: mesmo em um ambiente controlado de pesquisa, os modelos 'vazam' conteúdo protegido, o que poderia ser explorado de forma maliciosa em cenários comerciais.

Além da Tecnologia: O Risco Legal e Ético

Este estudo não é apenas uma curiosidade técnica; ele sinaliza um problema sistêmico na indústria de IA. Se o finetuning — uma prática comum para personalizar modelos para tarefas específicas — pode desbloquear conteúdo protegido, isso cria um campo minado legal para empresas como OpenAI e Google, que já enfrentam processos por uso de dados sem permissão, e para desenvolvedores que utilizam essas ferramentas sem plena consciência dos riscos.

Quem perde são os criadores originais, como autores e editoras, cujas obras podem ser replicadas sem compensação. Quem ganha, pelo menos no curto prazo, são empresas que podem explorar essas capacidades para gerar conteúdo 'gratuito'. No longo prazo, porém, a falta de confiança no uso ético de IA pode frear a adoção de tecnologias de linguagem, enquanto regulamentações mais duras, como as que estão sendo discutidas na UE e nos EUA, podem limitar a inovação ou impor multas pesadas.

Próximos Passos: Mitigação ou Confronto Legal?

O estudo sugere que mitigar a memorização verbatim exigirá novas abordagens no design de modelos e no uso de dados para finetuning, como filtros mais robustos ou técnicas de 'esquecimento' de conteúdo protegido. Enquanto isso, a pressão por regulamentação deve crescer, e empresas como OpenAI e Google podem enfrentar mais escrutínio sobre como suas APIs (como a OpenAI Batch API e Vertex AI) lidam com dados sensíveis, potencialmente levando a mudanças forçadas em suas políticas de uso.

Fonte: Hacker News