Hendrik Macedo
05/05/2017
As imagens impressionistas do filme foram inspiradas numa pintura de autoria da própria diretora. Mais do que inspiradas, elas são aplicação de um processo particularmente novo e bastante interessante, a Transferência de Estilo Neuronal (Neural Style Transfer) [2]. A técnica consiste no uso de redes neuronais convolucionais para aplicar o estilo visual/artístico de uma imagem fonte na imagem alvo. Ou seja, o objetivo é deixar qualquer fotografia de interesse com o mesmo aspecto visual (cor, textura, sombras, etc..) de uma obra de arte. O trabalho envolve a difícil tarefa de separar “conteúdo” do “estilo” de imagens. No artigo, os pesquisadores mostraram como representações de características genéricas aprendidas por redes neuronais convolucionais profundas treinadas com quantidade suficiente de dados rotulados em tarefas diversas de processamento de imagens, incluindo reconhecimento de texturas e classificação de estilo artístico, podem ser utilizadas para manipular o conteúdo e estilo de imagens. Os autores então propuseram um novo algoritmo denominado Neural Algorithm of Artistic Style capaz de realizar essa transferência de estilo. Atualmente, ao menos duas implementações do algoritmo estão disponíveis gratuitamente [3], [4]. Estas implementações utilizam respectivamente a biblioteca TensorFlow™ (Google) e a biblioteca Torch7. Estas bibliotecas são muito conhecidas e utilizadas pela comunidade científica para criação de soluções com redes neuronais profundas e uso de GPUs em computadores convencionais.
O controle criativo dessas implementações são conseguidas através de ajuste de parâmetros. O uso da técnica de transferência a partir de um pequeno e bem selecionado conjunto de imagens de estilo funciona como otimização natural do processo. Entretanto, para uso da técnica em um set de filmagem, faz-se necessário um maior controle criativo para aperfeiçoar o resultado que irá para as telonas dos cinemas. Este é o argumento que fundamentou o trabalho descrito em [5]. Os autores examinam este espaço de parametrização de alto nível da técnica Neural Style Transfer com o objetivo de encontrar um conjunto reduzido mas significativo de controles criativos para aplicar em “Come Swim”. Ou seja, o artigo é um ótimo estudo de caso de como aplicar a técnica de transferência de estilos nos filmes.
Tanto nos artigos científicos quanto no repositório de implementação citados aqui existem ilustrações resultantes da aplicação da técnica em fotografias quaisquer utilizando o estilo de obras de arte bem conhecidas. Vale bastante à pena dar uma conferida.
É fato que retratar e especular sobre impactos da Inteligência Artificial na sociedade sempre foi um dos principais motes do cinema hollywoodiano. O que “Come Swim” mostra é que a pesquisa (de fronteira, é bom ressaltar) em Inteligência Artificial parece começar a querer “invadir” o lado da produção cinematográfica e, nesse caso, como grande aliada, felizmente. Um aspecto em particular da produção do curta parece mostrar que a “invasão” da IA chegou a níveis interessantíssimos: a diretora e roteirista do filme é coautora do artigo que descreve a aplicação da técnica de transferência no filme. O nome dela? Kristen Stewart; sim, ela mesma, a Bella da trilogia Crepúsculo: atriz, roteirista, diretora, pintora e, agora, cientista. Clap, clap!
[1] Crédito da imagem: J Johnson. URL: https://github.com/jcjohnson/neural-style.
[2] L Gatys et al. Image style transfer using convolutional neural networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2414-2423, (2016).
[3] A Athalye. Neural style. URL: https://github.com/anishathalye/neural-style. Acesso em 05 de maio (2017).
[4] J Johnson. Neural style. URL: https://github.com/jcjohnson/neural-style/blob/master/. Acesso em 05 de maio (2017).
[5] B Joshi et al. Bringing Impressionism to Life with Neural Style Transfer in Come Swim. arXiv preprint arXiv:1701.04928 (2017).
Como citar este artigo: Hendrik Macedo. A arte imita a vida …e o computador imita a arte. Saense. URL: http://www.saense.com.br/2017/05/a-arte-imita-a-vida-e-o-computador-imita-a-arte/. Publicado em 05 de maio (2017).
Excelente artigo!
Obrigado, Fábio! Continue nos acompanhando.