O site da Fundação Barnes oferece um recurso visual sofisticado para pesquisa em seu acervo. O algoritmo de visão computacional implementado foi treinado de modo muito particular e a partir dos elementos visuais que o próprio fundador, Albert Barnes, usava para relacionar as obras no espaço expositivo.
Barnes organizava as obras com base nos elementos formais—luz, linha, cor, espaço e, ao destacar as relações visuais, muitas vezes fazia conexões entre os objetos de forma surpreendente. Ele expôs conjuntos de obras visualmente relacionadas que também apresentavam diferenças substanciais em termos de suporte, período e origem histórica. No website da instituição o resultado é um novo modo de explorar o acervo por meio de linhas: horizontais, verticais, diagonais e curvas. Por luz: concentrada e difusa. Por espaço: profundo e raso.
O projeto de reorganização das obras no espaço digital usou seis serviços de visão computacional— Microsoft Azure, IBM Watson, Google, AWS Rekognition, TensorFlow, Clarifai — para “olhar” as pinturas e dizer o que havia nelas. Esses modelos, em sua maioria, foram treinados principalmente a partir de fotografias, portanto, os desenvolvedores do projeto sabiam que haveria erros. Para equilibrar os resultados de visão computacional com o objetivo do projeto houve a colaboração entre a equipe do museu e o time de tecnologia. Ao divulgar o código e publicar em blogs sobre o processo, a Barnes buscou fomentar a discussão e o compartilhamento de informações, tanto para identificar possíveis soluções para o site da Barnes quanto para apoiar o trabalho de colegas da área.
Valendo-se dessas análises formais, toda a navegação do site se dá por meio de algoritmo de visão computacional que oferece resultados visualmente semelhantes e foi desenvolvido pela ferramenta de pesquisa Elasticsearch — usada para projetar a pesquisa de informações relacionadas a cada obra da coleção.
Sobre o processo de transformar elementos formais em dados numéricos, Lev Manovich (2020) afirma que essa dinâmica oferece uma nova e melhor linguagem para descrever artefatos em comparação com as linguagens naturais humanas. O autor embasa sua afirmação indicando que não podemos perceber 1% de variação de brilho entre uma imagem e outra, mas softwares gráficos conseguem medir essa diferença. No caso de descrições de imagens com uso de linguagem natural, é como se esforçar para por em palavras uma experiência estética, nosso idioma (Português, Inglês ou Espanhol) tem limitações para capturar essas propriedades sensoriais.
A Análise formal de Barnes é uma proposta que se adapta ao digital por meio de inteligência artificial e oferece aos usuários uma maneira de interagir com a coleção online de forma acessível e criativa usando os elementos visuais das obras como forma de explorar o acervo.
Explore o site da Barnes Foundation:
https://collection.barnesfoundation.org
Referências:
Bernstein, Shelley. Using computer vision to tag the collection (2017). Disponível em:
https://medium.com/barnes-foundation/using-computer-vision-to-tag-the-collection-f467c4541034
Manovich, L. Computer vision, human senses, and language of art. AI & Soc 36, 1145–1152 (2021). https://doi.org/10.1007/s00146-020-01094-9.