O experimento Tay da Microsoft foi um sucesso

Nós humanos sempre fomos narcisistas em nossa busca pelo progresso. De nossa fascinação por robôs-sexuais às viseiras antropocêntricas que guiam a busca por vida alienígena, nossas inovações são pouco mais que um espelho que reflete nossas próprias necessidades. E por que seria diferente? O objetivo é fazer do mundo um lugar melhor, mais interessante.

A grande pergunta, então, é se continuamos a levar a tecnologia e as descobertas cada vez mais além, por quem fazemos isso? É isso que Rose Eveleth questiona em seu texto sobre o preconceito inerente ao sistemas de reconhecimento facial: a tecnologia reflete quem a constrói e projeta. Isso significa que, caso os responsáveis não tenham perspectiva diversa, o mesmo acontecerá com seu produto final. Ao citar que esses sistemas esquecem ou não priorizam esses grupos já marginalizados, ela escreve que "o reconhecimento facial é um simples lembrete: mais uma vez, esta tecnologia não é pra você".

Tais tipos de predisposições não são necessariamente criadas por malícia, mas não é mais perdoável que a tecnologia seja excludente porque seus desenvolvedores não tiveram ciência de seus pontos cegos. Nosso futuro não é distribuído de forma igual e acesso e inclusão são os mais importantes problemas nas mais relevantes indústrias e áreas de desenvolvimento hoje.

Nessa semana, vimos um aspecto diferente deste futuro gradual: o que acontece quando, em vez da tecnologia ser criada à imagem de seus criadores, ela reflita cada usuário individual? Uma tecnologia distribuída aprenderia com todos nós. Será que gostaremos do resultado?

Uma série de blogs falou sobre Tay, o bot de chat da Microsoft que deveria imitar adolescentes a fim de "conduzir experimentos e pesquisas em compreensão conversacional" de acordo com seu site oficial. Por meio de "conversações divertidas e casuais" no Twitter, Tay foi criada com uma característica de IA para aprender como os seres humanos falam. Em outras palavras, criaria uma melhor conexão conosco – para que "você tenha uma experiência mais personalizada".

Quem é "você" aqui? Primeiramente, o "você" de Tay era um pai qualquer tentando se virar com o dialeto adolescente – nunca deixarei de achar graça na bio original de Tay no Twitter, "A IA boladona da Microsoft!", que parecia coisa de quem não sabe do que está falando – o que se esperaria de um projeto da Microsoft para adolescentes. Nenhum problema até aí, fora o estranhamento. Mas depois de milhares de tuítes, o que Tay se tornou? Uma racista virulenta, claro.

Tay foi criada para não refletir seus criadores, e sim quem interage com ela. Nesse sentido, foi mesmo um sucesso! É uma mudança considerável em termos de design: o "você" citado é quem usa Tay, o que, na teoria, não é nada excludente. Tay não tem pontos cegos porque sempre está aprendendo com seus usuários. O que contrasta com a Siri, que não sabia a reagir a perguntas sobre estupro ou violência doméstica porque nunca ocorreu aos seus programadores que poderiam pesquisar sobre isso.

Se a tecnologia é projetada para aprender e evoluir com seus usuários, não com seus criadores, qualquer predisposição no projeto seria um ponto controverso. Supõe-se que por isso a Microsoft criou Tay em primeiro lugar. Se a empresa reconhece que não manja muito de falar com adolescentes, por que perder tempo criando produtos para falar o que seus desenvolvedores mais velhos acham que adolescentes curtem? Por que não desenvolver algo que descubra e reaja por conta própria? Nesse cenário ideal, os desenvolvedores podem evitar excluir pessoas ao permitir que uma IA faça pesquisa de mercado, comunicação e trace estratégias em tempo real.

Hilariantemente, há toda uma predisposição implícita no que parece ser um ideal democrático: os programadores esperavam que Tay entrasse num mundo que fosse só flores na internet selvagem. Eles esqueceram que, ao desenvolver uma tecnologia que reflete uma base de usuários, implica que ela refletirá TODA aquela base. E, adivinha só, esta é a internet: muita gente cagada por aí que tende a amar fazer mais barulho que qualquer um.

É notável que diversos posts relembrando comentários racistas de Tay gastaram preciosos caracteres explicando que não era culpa da Tay ou da Microsoft que o bot houvesse aprendido um monte de expressões racistas e memes do 11 de setembro com seus usuários. É um algoritmo experimental, então não é hora de tacar fogo na sede da empresa.

É justo afirmar que não deveríamos culpar algoritmos e IA nascentes por burrices. Mas criamos aqui um dilema bem profundo: quem controla Tay? A Microsoft tem culpa de não ter noção de como o Twitter pode virar um monte de lixo em segundos. Ao passo em que a empresa mandou bem em reconhecer seus pontos cegos e tentou usar IA pra dar um jeito nisso – uma confissão óbvia de sua inaptidão em atrair usuários mais jovens – também mostrou uma falta de compreensão fundamental de quão cheio de trolladas o Twitter pode ser. O que é chocante ao levarmos em conta que quase todo projeto corporativo online sempre acaba em zoeira. Lembram daquele lance do Hitler com a Coca-Cola?

Isso importa não como desculpa para culpar a Microsoft ou Coca pelas ações de trolls, mas como prova de que a tecnologia democratizante mais importante no horizonte – IA verdadeiramente inteligente – ainda está sujeita aos pontos cegos de seus criadores. O sonho é que uma IA que possa conhecer você livre de qualquer predisposição ou preconceito. Ela aprenderá quem você é, existirá pra te ajudar e não ignorará suas necessidades ou dirá algo acidentalmente ofensivo.

A lição mais importante aqui é significativamente maior: ao passo em que todos nossos dispositivos entram na internet e dialogam entre si, tomando decisões e agindo por conta própria com base em nossos hábitos, a Internet das Coisas se transformará na sua própria rede proto-neural, uma espécie de IA terceirizada que, com o tempo, será preenchida com mais IA de verdade. O sonho é grande: tecnologia que aja pra você de acordo com o que sabe de você, leitor individual, e não o que uma empresa pensa que você, grupo-alvo genérico, precisa.

Mas como Tay mostra, os seres humanos não são educados como um perfil de marketing sugere. Isso significa que a tecnologia que reflita mesmo quem somos incluirá gente incômoda e terrível. A única forma de burlar isso é a mesma para os problemas que afetam a tecnologia agora: as equipes de desenvolvimento e engenharia precisam ser compostas de formas diversas o suficiente para identificar seus pontos cegos. Só assim poderão entender a realidade das experiências de seus usuários – por sua conta e risco.

Tradução: Thiago "Índio" Silva