Vamos lembrar quem eu sou?
Oi habr. Eu sou Ivan Bakaidov . Há muitos anos, escrevi sobre meu projeto escolar de um programa que permite que pessoas com deficiências físicas graves digitem com um botão. Aqui está esse artigo .
Desde aquele momento, muita coisa mudou, a menina para quem eu escrevi esse programa morreu , o projeto passou a se chamar LINKa. Já fiz muitos programas para outras formas de deficiência motora. Percebi que perdi a onda de voluntários que surgiu durante o último habrohype, pois os projetos de código aberto precisam ser mantidos.
Mas não saí do tópico de desenvolvimento de programas de comunicação. E com o dinheiro da "bolsa Dudya", ele desenvolveu um novo comunicador que permite selecionar cartões com um simples olhar. E preciso de ajuda para adicionar alguns recursos. Pilha: C #, WPF.
Com um olhar? o_O! Como isso? Sua cabeça está tremendo?
Na verdade, eles me escreveram por muito tempo nos comentários do habr sobre a tecnologia de rastreamento ocular, e eu pulei esses comentários, pois achei que era caro e com um balançar de cabeça não ia conseguir funcionar. Eu estava errado!
Desde 2016, a Tobii (também conhecida como Apple do mundo do rastreamento ocular) começou a desenvolver dispositivos de baixo custo para o mercado de jogadores. Esses dispositivos são 10 vezes mais baratos do que os dispositivos para “pessoas com deficiência” (Lei de adesivos de dispositivos especiais). Em alguns anos, eles surgiram com o excelente modelo Tobii 4c , que pode ser comprado em um hipermercado de eletrônicos comum e conectado a USB 2.0.
Uma das fundações me jogou este dispositivo com as palavras “Experimente, cara”. Eu coloquei na prateleira com as palavras "Eytracking e paralisia cerebral - não vai funcionar, então vou ver de alguma forma." Ainda funciona apenas com Windows, mas tenho um Mac. Mas as fundações são organizações tão boas que exigem relatórios.
Bootcamp, configurou, configurou e percebeu que esta geração de rastreadores de olho aprendeu a rastrear a posição da cabeça e, a partir dela, a posição dos olhos. Com uma frequência muito alta. E tudo funciona, balance a cabeça o quanto quiser.
O principal software para este rastreador é o jogo, no Dock você pode marcar 2 inimigos com seus olhos. Todas as demonstrações integradas mostram os recursos do jogador. Mas existe uma API aberta para trabalhar em programas de terceiros.
Existe espaço para a criação de interfaces guiadas pelos olhos. Essas interfaces são extremamente simples: elas consistem em uma grade de botões. Quando você mantém seu olhar no botão, ocorre um clique. E aqui muitos já se destacaram. O próprio Windows 10 tem um emulador de teclado e mouse embutido para o rastreador de olhos (verdade, não há letras “X” e “B” na localização. Nem peça Pão!).
De jeito nenhum!
Existem BB2K teclado bastante sensível , escrevi sobre isso no desenvolvedor Habré. Eu pessoalmente gosto muito do Optikey , é um teclado bem localizado de um desenvolvedor do Reino Unido. Tem várias opções, incluindo pictogramas para crianças que não escrevem.
Bem, se você já tem um oculista, por que escrever o seu?
Esta é uma pergunta natural. Como você lembra de artigos anteriores, para especialistas que trabalham com pessoas a partir da fala, é muito importante poder criar o conteúdo escolhido pela própria ala, e não trabalhar com um tijolo pronto, no qual até cartões muito bons são costurados. Isso se deve ao fato de que muitas vezes as pessoas sem fala só precisam aprender a escrever, ou simplesmente entender que o desenho de uma caneca denota a própria xícara da cozinha em que se bebe. E no mesmo oculista, você precisa criar um conjunto de cartões através do PowerPoint .
Por isso o Link partiu da ideia de que aprendi muito estudando em uma escola para crianças com deficiência - “Tudo deve ser personalizável”. Partindo da ideia, surgiu uma tarefa muito simples: Fazer uma grade de cartas, a partir da qual as cartas podem ser selecionadas com os olhos, mas ao mesmo tempo o método de seleção, as cartas e a grade devem ser fáceis de personalizar. Formalizei tudo isso no TOR e encontrei um programador C # que entendia WPF (melhor do que eu). Nessa época, Yura Dud também transferia dinheiro e no geral tudo dava certo.
O que aconteceu no final?
O resultado é um programa que mostra um conjunto de cartas de um arquivo .linka em uma grade e permite selecioná-las usando: Tobii eye tracker, mouse, teclado e joystick de jogo. Existe também um modo em que a escolha do cartão é feita com um olhar e a confirmação com um botão.
O programa contém um editor para arquivos .linka.
→ Você pode baixá-lo aqui gratuitamente: linka.su/looks
Então, o que precisa ser feito?
Apesar da simplicidade e brevidade do programa, espero que sua flexibilidade ajude a estabelecer a comunicação em uma variedade de casos.
Tenho algumas pequenas ideias que gostaria de implementar o programa e ficaria muito feliz se você pudesse ajudar com isso. Essas tarefas são descritas nesta edição , mas vou trazer algumas delas aqui e explicar o que quero dizer.
- , .
API Yandex TTS. , . . . , , , . , . . - Faça um sistema de seleção de cartões com um botão.
Apesar da magia do rastreador ocular, conheci camaradas com quem não funcionou. E eu gostaria de adicionar para transferir para eles o algoritmo para selecionar um cartão usando um botão do bom e velho link, clicar (e parar de suportar o último). - Torne possível imprimir em programas de terceiros.
- Localização nas línguas dos países da CEI.
Também ficarei feliz se você apenas testar o programa e escrever suas idéias.
→ GitHub
→ Patreon
Obrigado!