Este é um dos muitos usos para Pixels Expressivos . A plataforma de desenvolvimento do Windows 10, que permite criar renderizações animadas, agora está disponível gratuitamente na Microsoft Store. Além do aplicativo, possui um conjunto de softwares, graças aos quais é possível utilizar displays de LED para comunicação por meio de efeitos visuais ou emoji.
Tudo isso expande as possibilidades de comunicação não verbal, abre novas maneiras para os desenvolvedores usarem de forma criativa por meio da API de código aberto e diminui a barreira de entrada para aspirantes a programadores, designers e pesquisadores.
Expressive Pixels também serve como um trampolim para amadores ou programadores mais experientes, permitindo-lhes criar novas criações sem ter que descobrir como programar animações e imagens em pequenos dispositivos - há uma biblioteca dedicada para isso.
Não importa onde você trabalhe, estude ou socialize, Expressive Pixels oferece uma forma animada de personalizar seu espaço e ampliar sua presença, assim como fazem imagens, lembranças e bugigangas diversas.
“Prestamos muita atenção às funções básicas do dia a dia, mas quando você pensa sobre o que nos torna humanos, são as emoções. Queremos expressar nossas emoções e manter contato uns com os outros ”, disse Bernice Yu, gerente geral de estratégia e projetos da Microsoft Small, Medium & Corporate Business. Ela faz parte da equipe do projeto Expressive Pixels e contribuiu muito para o lançamento de 2019 do Eyes First , que usa o Windows 10 Eye Control , um recurso chave de acessibilidade para pessoas com deficiências visuais e de mobilidade. “É ótimo ser produtivo, mas todos nós queremos ser humanos. Esta é uma necessidade inviolável. "
Expressive Pixels baseia-se em anos de colaboração profunda e frutífera entre a Microsoft e o Grupo Enable e pessoas com deficiência visual e mobilidade severa. O objetivo deste trabalho é tentar compreender as preferências dessas pessoas, suas necessidades e problemas decorrentes da comunicação e interação com outras pessoas, na autoexpressão criativa e autoidentificação, bem como expandir as capacidades dos tradicionais dispositivos de Comunicação Aumentativa e Alternativa (AAC) com novos funções para comunicação não verbal, autoexpressão, transmissão de sinais sociais e status do dispositivo.
Exemplos de Pixels Expressivos A


comunicação não é apenas o que você escreve e diz. Este é em grande parte um processo não verbal que inclui saber quando é sua vez de falar.
Harish Kulkarni
“A solução pode ser usada para casos graves ou como uma forma criativa e divertida de falar algo sobre você”, diz Harish Kulkarni, gerente técnico da equipe de estruturas de IA na computação em nuvem e no grupo Microsoft Cloud and AI. Ele é membro da equipe Enable há vários anos e fez muito para integrar o Eye Control no Windows 10.
Ao longo do caminho, a equipe adotou as inovações mais inesperadas, superando obstáculos com novas ideias, inspiradas pelos benefícios que a tecnologia pode trazer para as pessoas.
Quando os desenvolvedores perceberam que precisavam de um fator de forma que pudesse ser facilmente visto de qualquer lugar da sala e em qualquer iluminação, eles optaram por telas LED de fácil utilização oferecidas por fabricantes terceirizados, como Sparkfun, Adafruit e Monitores Quadrados de Silício (monitores mais recentes são dispositivos multifuncionais personalizados projetados para resolver problemas de resolução, comunicação, armazenamento e animação pelo único engenheiro da equipe Expressive Pixels, Gavin Jahnke). No entanto, Expressive Pixels pode ser usado sem um display LED ou outro dispositivo, simplesmente inserindo GIFs animados em e-mails.
Então surgiu outro problema: desenvolver um software que tornasse mais fácil exibir animações em monitores. Mais uma vez, a Jahnke aceitou o desafio e criou um firmware que, junto com um aplicativo de desenvolvimento, forma uma plataforma que pode ser executada em vários dispositivos. Com este firmware, os fabricantes podem usar certos aspectos ou estendê-los. Os criadores podem compartilhar suas animações originais na Cloud Gallery do aplicativo.
Jahnke foi fundamental no desenvolvimento desses elementos-chave do Expressive Pixels - tudo em seu tempo livre, fora do trabalho principal.
Tela quadrada de silício: protótipos e evolução da tela

A primeira versão do dispositivo era uma tela simples de 16 pixels dispostos em um círculo. Para a confecção desse protótipo, foi utilizado um cortador - recortaram-se peças circulares de material translúcido, que cobriram os displays para difundir a luz forte dos LEDs.
“Normalmente, quando estou fazendo algo, faço um prato real com isso”, brinca Jahnke, gerente geral de desenvolvimento da Microsoft Research. Mas fala sério e acrescenta: “Minha vocação é ajudar aqueles segmentos da população e comunidades que não recebem o atendimento adequado, dar o que não está disponível devido à sua capacidade técnica, mas que está dentro da minha capacidade técnica”.
Jahnke é um pau para toda obra, tendo adquirido novas habilidades, inclusive na área de engenharia elétrica, ao longo dos três anos dedicados ao projeto. Ao longo do caminho, ele criou uma nova categoria de dispositivos com uma tela de LED RGB de maior resolução do que estava disponível anteriormente. Ele também descobriu como fornecer aos usuários o máximo de mobilidade usando a tecnologia Bluetooth e vários mecanismos para acionar animações, como interruptores ou sinais de música MIDI.
“O que é realmente interessante são as consequências indesejadas de sair da sua zona de conforto e aprender algo novo”, diz ele. "Você obtém ideias e habilidades incríveis."

Reunião da equipe Expressive Pixels no Microsoft Teams no Modo Juntos. Fileira de trás (da esquerda para a direita): Anne Paradiso, Bernice Y. Segunda fileira de cima (da esquerda para a direita): Noel Sophie, Gavin Yanke, Jarnael Chaj. Terceira fila a partir do topo: Duane Lamb, Stacey Stutz. Fila inferior: Christopher O'Dowd.
A jornada do Expressive Pixels começou há mais de cinco anos com o interesse do Grupo Enable em melhorar os dispositivos de Comunicação Aumentativa e Alternativa (AAC), que geralmente são proibitivamente caros porque fazem parte do mercado médico.

Pixels expressivos entre dispositivos.
A diretora de desenvolvimento Anne Paradiso assumiu a liderança nesse esforço, querendo canalizar suas energias para servir aos outros. Ela trabalhou com a equipe de Jahnke na Microsoft Research antes de ingressar no Enable Group, e Jahnke não recusou sua ajuda, especialmente porque o projeto estava ganhando impulso.
Eles trabalharam primeiro com o ex-jogador da NFL Steve Gleason, que inspirou e estimulou a pesquisa depois que foi diagnosticado com ELA (esclerose lateral amiotrófica). Embora Gleason fosse adepto do uso da tecnologia de rastreamento ocular, ele ainda achava difícil se comunicar quando surgiam problemas técnicos e precisava olhar para a tela em vez de para a pessoa que tentava se comunicar com ele.
“Ao conversar com uma pessoa que controla um aparelho de voz apenas com os olhos, você notará que o ritmo da conversa é muito mais lento em comparação com a fala normal. Freqüentemente, as conversas pelo AAC são 12 a 25 vezes mais lentas, mesmo com maior precisão de previsão e reconhecimento do movimento dos olhos, diz Paradiso. “Por isso, muitas vezes observamos como o interlocutor ou não consegue suportar o silêncio prolongado, ou não consegue entender que está preparando uma resposta para ele e continua a falar, e a pessoa com deficiência de fala fica sem a oportunidade de falar.”
Isso levou a uma pesquisa centrada no usuário envolvendo pessoas com ELA e suas famílias. Paradiso e sua equipe se reuniam com eles regularmente, acompanhavam-nos nas consultas médicas, observavam suas interações com neurologistas, fonoaudiólogos, fisioterapeutas e muitos outros. As reuniões foram realizadas em casa e nos laboratórios da Microsoft. A confiança resultante permitiu aos pesquisadores conhecer verdadeiramente o ecossistema ao redor das pessoas com deficiência, aprender sobre os sistemas de apoio e as atitudes dos membros da família, examinar os equipamentos e descobrir o que funciona e o que não funciona.
Rapidamente percebemos que otimizar telas de LED para comunicação baseada em emoji era uma grande oportunidade.
Anne Paradiso
“Emoji já são onipresentes em plataformas de comunicação digital, incluindo mensagens de texto, e-mail e mídia social. Eles agem menos para transmitir a intenção, o contexto ou o humor. Um único ícone de emoji pode mudar drasticamente ou melhorar a percepção de uma mensagem. Achamos que podem ser usados como mediadores expressivos adicionais para pessoas que não conseguem falar ou controlar os músculos responsáveis pelas expressões faciais, diz Paradiso. - As pessoas com ALS que trabalham conosco são algumas das pessoas mais engraçadas, pensativas e criativas que conheço, mas as oportunidades disponíveis para expressarem seus pensamentos são limitadas devido às deficiências e imperfeições dos dispositivos de voz disponíveis e das tecnologias subjacentes. Nós sabemos,que as pessoas querem se expressar muito mais com seus dispositivos AAC, não apenas se comunicar em frases simples. Queríamos criar algo que ajudasse as pessoas a participarem mais ativamente nas conversas, fosse visível com pouca luz e à distância e também proporcionasse outra oportunidade de expressão, comunicação e transmissão de emoções únicas. "
Os desenvolvedores tentaram várias telas adicionais, mas voltaram aos displays de LED por vários motivos: eles são baratos, funcionam razoavelmente bem e são “legais”. As pessoas com ALS na pesquisa também deixaram claro que não querem usar nada que possa ter consequências sociais negativas não intencionais para os usuários.
“Observar e capacitar pessoas que vivem com ALS para que possam fazer o que nunca esperaram é motivação suficiente para trabalhar duro”, disse Duane Lamb, um desenvolvedor que ingressou no Enable Group no início de 2017, que cria interface do usuário e interface do usuário. - Na maioria das vezes, quando você está falando com alguém que só consegue se comunicar com os olhos, essa pessoa insere um texto enquanto olha para o teclado do dispositivo à sua frente. E você, embora seja uma má educação, do ponto de vista da etiqueta social, costuma olhar por cima do ombro do seu interlocutor na tentativa de ver o que ele está digitando. "
O surgimento de Expressive Pixels se deve em parte ao desejo de resolver esse problema.

Emoji no aplicativo Expressive Pixels
Os pixels expressivos podem ser usados para animar telas de vários tamanhos, de até 64x64 pixels, disse Christopher O'Dowd, que ajudou a preencher as lacunas de hardware no projeto. O'Dowd observou que os monitores de LED são onipresentes na Maker Faire, em residências durante as férias e muito mais. Os visores LED são tão versáteis que muitas vezes podem ser encontrados até mesmo em tecidos (como máscaras, bonés e mochilas) ou banners.
Uma das primeiras aplicações de displays LED pela equipe Expressive Pixels foi o premiado projeto SXSW Music without Hands .
Neste projeto, uma matriz de LED especialmente projetada com suporte midi e sincronização de música foi usada. Era uma ferramenta de visualização opcional para um kit de bateria física controlado pelos olhos projetado para um dos membros do Expressive Pixels, um músico de Seattle que vivia com ALS. Vencedor do Prêmio SXSW de Inovação Interativa 2018: Inovação em Música e Áudio, o projeto inclui um conjunto de novos aplicativos guiados pelos olhos para compor, tocar música e colaborar.
“Como uma pessoa que não consegue falar e se mover para compor ou executar uma música pode comandar o que está acontecendo no palco ou entrar em contato com o público ao vivo? Que tal tocar junto com outros músicos, ensaiados ou improvisados? Como podemos diminuir as barreiras para tornar os programas escolares de música mais inclusivos, sem separar ou minimizar a participação de crianças com deficiência? Fomos movidos pelo desejo de encontrar respostas a essas questões fundamentais, - lembra Paradiso. "Queríamos adaptar nossa tecnologia e design para que se ajustassem aos objetivos criativos da pessoa e às situações da vida real, e não vice-versa."
Lamb teve a ideia de adicionar suporte para Musical Instrument Digital Interface (MIDI) para enviar diferentes sinais para diferentes instrumentos, e essa ideia foi posteriormente transportada para Expressive Pixels.
“Cada vez que trabalhamos em uma nova meta, mudamos mais a plataforma”, diz Paradiso.
A plataforma Expressive Pixels está aberta a uma ampla gama de pessoas criativas. Esta não é apenas uma comunidade de desenvolvedores, mas também de alunos que podem desenvolver projetos para ajudar outras pessoas e aprender JavaScript usando o Microsoft MakeCode . De acordo com Jahnke, MakeCodes normalmente tem um número muito pequeno de LEDs, então os recursos de exibição completos abrem um amplo escopo para os alunos criarem, experimentarem e programarem usando algo como displays quadrados de silício conectados a um gadget MakeCode.
“Expressive Pixels oferece aos alunos uma maneira fácil de integrar animação no aplicativo em seus programas MakeCode e criações de hardware com um mínimo de esforço”, diz Jahnke.
O próprio aplicativo saberá quais animações estão armazenadas no dispositivo, portanto, comandos diferentes farão com que ele reaja de acordo.
Este e outros projetos da Enable no Paradiso reacenderam sua paixão pela empresa com a qual está há quase 20 anos.
“Tantas pessoas se reúnem e muitas passam seu tempo pessoal trabalhando por algo maior do que cada um de nós por conta própria - isso inspira e se alinha com os valores e missão de nossa empresa, e me deixa feliz e dá esperança de um futuro mais inclusivo e criativo para todos ”, disse Paradiso.
Expressive Pixels.