A despeito dos incontáveis benefícios e avanços trazidos por tecnologias baseadas em inteligência artificial, como aperfeiçoamento da experiência de usuários online (com navegação guiada por gostos e preferências identificados) ou construção de versões simplificadas de textos jurídicos no contexto de Legal Design, vivemos uma época de grandes vieses nos algoritmos desenvolvidos (CEMRI, ÇUKUR, KOÇ, 2022). Por serem desenvolvidas à luz de princípios muitas vezes essencialistas ou biologizantes, essas soluções não costumam incluir as diversas manifestações de gênero – ou as percebem como imutáveis. Quando isto se dá em tecnologias de reconhecimento facial (introduzidas em câmeras de segurança, sistemas de pagamento digital, sensores e até login em mídias sociais), os impactos negativos são grandes para determinados “grupos algorítmicos” (WACHTER, 2022), como pessoas trans e não binárias. Por exemplo, a vigilância biométrica feita por um software embarcado numa câmera com tecnologia de reconhecimento facial irá capturar imagens de transeuntes e compará-los com classificações binárias e estáticas, que, por padrão, não levarão em conta os indivíduos transgêneros – cujos corpos podem estar em transição ou se ter “conformidade” com uma imagem estática e imutável de identidade de gênero (KATYAL e JUNG, 2021).
