Giselle Beiguelman
Arquivos digitais e Inteligências Artificiais possibilitam novas formas de organização dinâmica dos conteúdos culturais, abrindo possibilidades inéditas para o conhecimento crítico e colaborativo. Essas mesmas dinâmicas implicam desafios significativos, face à obsolescência programada e ao colonialismo dos dados. Nesse contexto, fabular arquivos mutantes, capazes de dar vazão a outras histórias das artes e das sociedades, implica pensar em modos de fomentar usos críticos das redes e outras culturas da memória.
[Conferência de abertura do 1o Seminário Sesi Lab. Brasília, 9 de novembro de 2023]
Arquivos digitais, arquivos mutantes
O avanço das tecnologias digitais têm proporcionado novas formas de arquivar e preservar obras de arte. No contexto contemporâneo, apresentam-se diferentes perfis de arquivamento digital. Grosso modo, podem-se diferenciar dois tipos de arquivos digitais: arquivos nativamente digitais e arquivos digitalizados. Arquivos nativamente digitais são aqueles que foram criados e existem em formato eletrônico desde sua concepção inicial. Esses arquivos são produzidos por meio de processos digitais e não têm uma contraparte física correspondente. São exemplos de arquivos nativamente digitais os documentos de texto, planilhas eletrônicas, apresentações de slides, imagens digitais, vídeos, áudios, entre outros. Esses arquivos são criados diretamente em formato eletrônico, sem a necessidade de serem convertidos ou digitalizados a partir de uma versão física.
Por outro lado, os arquivos digitalizados referem-se a documentos ou objetos que foram convertidos de seu formato físico original para um formato eletrônico. Nesse processo, utiliza-se um scanner, câmera ou outro dispositivo de digitalização para capturar uma imagem ou uma representação eletrônica da versão física do documento ou objeto. Os arquivos digitalizados são, essencialmente, cópias eletrônicas de documentos ou objetos físicos, podendo inclusive distorcer as informações principais do original (quanto a cores e escala, por exemplo).
Nesse sentido, é fundamental entendermos que ao falarmos de arquivos digitais (sejam eles nativos ou digitais), estamos nos referindo a arquivos mutantes. Isso diz respeito não apenas à descartabilidade que os processos de obsolêscencia implicam e à flexibilidade de manipulação dos arquivos digitais.
Falar em arquivos mutantes, no entanto, implica entender o arquivo para além de um espaço de armazenamento de documentos digitais, que não apenas guarda, mas cria arquiteturas para que o usuário possa performar e interagir com os conteúdos. Como deixa claro o Professor Dalton Martins, o modelo de catalogação dos museus foi levado sem questionamento para o meio digital. Isso é um equívoco, pois o objeto digital contem camadas de informações variadas, para além do assunto a que se refere, que se expandem no meio online, enredando-se aos conteúdos que se agregam por meio de comentários, links públicos e programas de buscas, entre outros.
Assim, documentar, hoje em dia, é questionar a lógica de um repositório digital estático e pensar em ecossistemas de organização dinâmicos que permitam, por exemplo, contar outras histórias da arte e da cultura, incorporando criticamente o manancial de conteúdos que são disponibilizados diariamente na internet.
A Wikipedia é um bom ponto de partida para abordarmos os usos críticos das redes. Para tanto, parto do caso de um Museu brasileiro para introduzir a questão. Mais especificamente, falo dos GLAMs da Wikipédia e do caso do Museu Paulista da USP.
Inteligência distribuída
Crowd Sourcing
As iniciativas GLAM (Galleries Libraries Archives and Museums), compreendem as parcerias e atividades realizadas pela Wikipédia com instituições culturais, a fim de levar o acervo dessas instituições ao público online, assegurando que as informações relacionadas a esses acervos (os metadados) estejam devidamente estruturados.
No caso do MP-USP, isso implicou: Disponibilização das imagens relacionadas ao acervo do museu (+ de 30 mil até o momento); 6 mil metadados estruturados referentes às imagens e outros itens do acervo; Melhoria de 2.500 verbetes na Wikipédia (Maratonas de edição), relacionados à mulher na História da Arte, à figuração dos indígenas no Museu, e à problematização das lutas pela Independência do Brasil (ALVES, 2020 p. 4) .
Outra iniciativa que vale menção aqui, em sua capacidade de trabalhar o potencial da inteligência distribuída das redes é o projeto By the People, da Library of Congress, dos EUA, um projeto de crow-sourcing que convida o público a transcrever, revisar e taguear páginas digitalizadas das coleções da Biblioteca. As transcrições criadas pelos voluntários melhoram a pesquisa, a legibilidade e o acesso a documentos manuscritos e digitados para todos, incluindo pessoas com deficiência visual.
Todas as transcrições são feitas e revisadas por voluntários antes de serem integradas ao site da Biblioteca. “By the People” é alimentado pela plataforma de transcrição colaborativa de código aberto Concordia, desenvolvida pela Biblioteca do Congresso. Inciado em 2018, o nome desse projeto vem da frase de encerramento do Discurso de Gettysburg de Abraham Lincoln, que afirma: “…governo do povo, pelo povo e para o povo, não perecerá da terra.” Ao delegar a melhoria das coleções digitais da Biblioteca do Congresso aos seus consulentes, a instituição segue um movimento que a Biblioteca Pública de Nova York vem realizando desdes 2012, como o Space/Time Directory.
O projeto, que recebeu uma bolsa de 380 mil dólares, foi anunciado como um “Google Maps do passado”, com uma função de controle deslizante de tempo construída ao juntar e sobrepor mapas históricos. Um recurso semelhante a “Foursquare ou Yelp do passado”, onde qualquer local histórico pode ser encontrado em qualquer ponto no tempo. Um catálogo histórico dos materiais culturais da cidade, como fotografias, artigos de jornal, diretórios de empresas, referências literárias e dados censitários.
Uma “máquina do tempo em forma de código” – uma base de código que outras cidades podem emular para criar interfaces semelhantes. Está fora do ar, comprometido pela obsolescência programada. Porém seu código continua aberto no Git Hub. A disponibilização das formas de fazer é fundamental para pensar no fomento à Inteligência distribuída.
Salvos pela cópia
É fato que a obsolescência programada é um dos desafios principais do armazenamento, conservação e publicação dos arquivos digitais. Contudo é preciso levar em consideração que a digitalização pode, tambem salvar o documento perdido pela sua cópia. Há obras físicas que, paradoxalmente, só tem sua existência preservada pelo processo de digitalização.
Um caso interessante nessa perspectiva, é o da restauração da obra “Formas Únicas da Continuidade no Espaço”, de Umberto Boccioni, que é considerada uma peça seminal da coleção do MAC-USP e possui importância internacional. Essa escultura marca o início do movimento futurista italiano no início do século XX e exerceu grande influência sobre o desenvolvimento da arte moderna posterior.
“O original em gesso, que hoje pertence ao acervo do MAC, é uma das 11 esculturas que Boccioni expôs na mostra de escultura futurista que fez em Paris, em 1913”, explica Ana Gonçalves Magalhães, atual diretora do Museu e pesquisadora à frente da pesquisa sobre a obra. “Com a morte prematura de Boccioni, em 1916, o destino de suas esculturas sofreu reveses, o que fez com que apenas três dos gessos que ele havia apresentado na exposição de 1913 sobrevivessem.”
A famosa figura abstrata, que se destaca pela nítida impressão de caminhar e se movimentar no espaço, acabou se popularizando através de uma série de tiragens em bronze realizadas, inicialmente, por encomenda do líder do movimento futurista, e amigo do artista, Filippo Tommaso Marinetti, nos anos 1930. “O fato de as tiragens em bronze terem ganhado coleções de museus no mundo inteiro, dentre os quais o Museu de Arte Moderna de Nova York, o MoMa, fez com que a historiografia da arte moderna desconsiderasse a importância do gesso para Boccioni na veiculação de seu conceito de escultura futurista” (MAGALHÃES; MCKEVER, 2022).
Com o apoio da Prefeitura de Milão e do Museo Del Novecento no exterior, e da atuação do FAB LAB Livre SP no município de São Paulo, além das parcerias com o Instituto de Física e a Escola Politécnica da Universidade de São Paulo, foi possível construir um molde 3D da escultura de Boccioni, permitindo que a obra seja preservada e difundida. O processo, que envolveu tecnologias de escaneamento, radiografia e análises de imageamento, consideradas não destrutivas, indica assim outras nuances na discussão de acervos digitais.
Mesmo não sendo nativamente digital, a construção desse novo molde funciona como um parâmetro relevante para refletir sobre o arquivamento digital de obras não nativamente digitais, mas que só podem circular atualmente devido à existência de sua cópia digital. É um equívoco, no entanto, identificar o arquivo 3D como a própria obra, pois ele é apenas uma representação virtual. Nesse sentido, abrem-se outras questões relacionadas aos arquivos digitais, como saber se esse arquivo pode ser disponibilizado, e se ele representa a obra em si ou se é considerado outra obra.
Afinal, as manipulações podem ser tamanhas que poderemos ter interferências tão grandes e impactantes a cada manipulação dos arquivos que os originais se tornarão irreconhecíveis.
Olhares maquínicos
Rijksmuseum (raiksmuseum)
Algoritmo MosAIc – desenvolvido pelo MIT e Microsoft – usa inteligência artificial para buscar semelhanças entre obras de arte em diferentes mídias e de diferentes origens culturais, identificando conexões visuais ao longo da história.
Metropolitan
Depois de lançar sua iniciativa de acesso aberto em 2017, o museu desenvolveu uma API permitindo que outra instituição integre a coleção do Met em seu site. A primeira parceria foi com o Google Arts & Culture. As obras inseridas na API atualizam, ao mesmo tempo, o site do museu e o GA&C.
Desenvolvimento do Art Explorer que usa a Pesquisa Cognitiva da Microsoft para enriquecer a experiência do usuário com as obras de arte de acesso aberto do The Met, fornecendo novos pontos de acesso à coleção.
Cleveland
Utiliza uma variedade de algoritmos de IA para enriquecer os metadados das obras de arte. Explora o mecanismo do Bing para adicionar dados às informações dos artistas.
- ArtLensAI: Share Your View é uma ferramenta de pesquisa reversa de imagens que usa IA para combinar imagens dos usuários com obras de arte da coleção do museu.
Barnes Foundation
Recurso de pesquisa baseado em formas e elementos visuais. É possível explorar a coleção fazendo conexões formais de acordo com as linhas, cores, luz e espaço.
Outras usabilidades:
pesquisa por semelhança visual; visão de conjunto (baseada na metodologia de Albert Barnes, um teólogo ).
Recursos do Art Explorer: descoberta cognitiva; tagging; enriquecimento de dados; conexões Visuais
A sabedoria das multidões
Neste ponto imagino que vocês devem estar se perguntando: mas esta palestra não contemplava o colonialismo dos dados? Todos os exemplos remetem a projetos milionários, associados às empresas de maior parte na atualidade e museus com boards de doadores superestruturados.
Ou já esqueceram o título e estão suspirando: no Brasil isso não aconteceria nunca…
É bem possível que sim. Mas isso nos abre a possibilidade de partir de outras matrizes.
As redes hoje escoam um manancial de dados que precisamos aprender a reconquistar. Afinal, somos nós os usuários que engrossamos aquele números robustos que adornam o infográgfico que mostrei sobre o que acontece na internet em 1 minuto. E se voltássemos a elas para pensar gradativamente: ou seja, criando dados a partir de outros dados.
Foi esse o norte do Artista Adam Harvey, ao decidir usar o YouTube como referência para criar arquivos que não existem no seu projeto VFRAME (Visual Forensics and Metadata Extraction) inciado com a ONG Syrian Archive, e hoje com a Mnemonic.org, uma organização dedicada a documentar crimes de guerra, que tem como foco a identificação, em vídeos captados nas zonas de guerra, de bombas de fragmentação. Conhecidas como armas-contêineres, bombas de fragmentação são bombas que carregam outros artefatos explosivos. São uma das criações mais horrendas da Alemanha nazista e que continuam sendo usadas nas guerras do Oriente Médio, especialmente na Síria.
Adam Harvey. VFRAME
O VFRAME é um instrumento para denunciar a presença dessas bombas, que são proibidas em 120 países. Antes que se pergunte, o Brasil não é signatário dos tratados internacionais que as proíbem. Produz e exporta esse tipo de armamento. Um dos maiores problemas por esse tipo de armamento é que as bombas podem permanecer intactas, enterradas por muitos anos, atingindo a população civil. Nos últimos cinco anos, 77% das mortes por bombas de fragmentação ocorreram na Síria. Em 2017, das 289 mortes ocorridas, 187 foram registradas ali.
O VFRAME usa modelagem 3D e fabricação digital, combinados a um software de processamento de imagem com ferramentas de visão computacional e Inteligência Artificial para detectá-las. Seus algoritmos são capazes de organizar, classificar e extrair metadados de 10 milhões de vídeos, feitos nas zonas de guerra e disponíveis on-line, em menos de 25 milissegundos, identificando, nesses vídeos, o uso das bombas de fragmentação.
O software realiza um trabalho em escala massiva impossível de se fazer manualmente. Apropriando-se de datasets e processos de machine learning, o VFRAME enuncia, assim, um contramodelo à vigilância algorítmica. Ao apostar no uso da IA e do Big Data como poderosos recursos na defesa dos direitos humanos, define também um campo nas práticas de descolonização dos dados que, no quadro de nosso projeto tem importância crucial.
O que esse estudo nos sugere?
Se quisermos entender como é a cozinha da favela brasileira, não obteremos esses dados no Museu da Casa Brasileira, mas teremos os objetos da Casa Grande… Criar estratégias para não falar por e sim deixar que os sujeitos dos processos históricos falem de si é importante. Mais ainda, compreender que a prioridade não é criar canais de fala, mas sim de escuta. Dito de outra forma: “Resistir ao assentamento do “não-lugar” é uma estratégia de subsistência”. E isto passa por descompreender a favela como lugar de abjetos ou objeto de estudo para entendê-la como lugar de sujeitos.
(De)Composite Collections
Desenvolvido no contexto da residência intelligent.museum (ZKM/ Deutsches Museum), seu ponto de partida são coleções de arte organizadas na primeira metade do século XX e suas questões são: Quais outras histórias da arte podem emergir das leituras de IA das imagens por uma Inteligência Artificial (IA) que lê essas imagens? Como elaborar metodologias baseadas em IA para mapear os elementos constitutivos das representações do colonialismo histórico? Os sistemas de IA podem contribuir para compreender o olhar como uma construção histórica?
Seguindo os estudos do pensamento pós-colonial, que têm questionado essa abordagem, o projeto incorporou metodologias desenvolvidas no projeto demonumenta e abordou as coleções do Museu Paulista da USP e do MAC-USP, compilando datasets, organizados de acordo com alguns temas recorrentes na pintura histórica e no Modernismo brasileiro: povos indígenas, pessoas pretas, pessoas brancas e natureza tropical. Processados algoritmicamente com GANs, esses datasets permitiram identificar alguns elementos comuns e diferenças entre as coleções do MP-USP e do MAC-USP, em obras produzidas entre 1920 e 1955, a despeito das categorias e tipologias da história tradicional da arte. Isso porque as tecnologias de IA leem imagens a partir de imagens, revelando padrões ocultos nos conjuntos iconográficos, incluindo pinturas, gravuras e desenhos, indo além das narrativas historiográficas e estilos formais.
Através das técnicas de aprendizado de máquina, pudemos compreender a persistência da imaginação colonialista nas obras de arte, contradizendo algumas afirmações canônicas sobre as rupturas estéticas e ideológicas do Modernismo brasileiro. Essas continuidades vão desde o corpo negro nu associado ao trabalho nas plantações, a semelhança patriarcal dos homens brancos, geralmente retratados sozinhos e com roupas formais, até os povos indígenas retratados como entidades genéricas sem características particulares. No entanto, as mudanças são evidentes na representação das mulheres brancas. Enquanto a pintura histórica se concentra exclusivamente em seus rostos, a pintura moderna enfatiza o corpo da mulher. No entanto, isso é sempre entendido a partir de um ponto de vista misógino, enfatizando seus seios e o ventre (signos relacionados à maternidade). No que diz respeito às mulheres negras, o estereótipo da escravizada sensual é dominante.
E como fizemos isso? Com uma força tarefa de mais de 100 alunos, trabalhando remotamente. Criamos categorias de análises e passamos a fazer marações, com softwrea livre nas fotos. A partir de uma planilha de excel coletiva, essas coordenadas foram importadas como marcadores, o que nos permitiu treinar uma rede neural para sistematizar essas categorias e chegar aos perfis, como os que vcs viram.
Precisamos reaprender com nossos mestres.
Glauber Rocha, que diza que nossa originalidade é nossa originalidade. Pois “a denúncia das misérias latino-americanas é um prato suculento para o humanismo colonizador.” Somos mais que isso. Até por que Helio Oitica nos ensinou há muito:
Museu é é o mundo.
Canibalizemos a tela.
Obrigada!