Desenvolvimento de um aplicativo móvel para ensino e aprendizagem de Libras

Abstract

O presente trabalho discute a importância da criação de um aplicativo móvel para auxiliar o ensino e aprendizado de Libras como um ensino básico, buscando tornar o ensino dela mais prático e acessível. Destaca-se também que, embora existam leis para promover o uso e a difusão da Língua Brasileira de Sinais (Libras) para pessoas surdas, ela ainda não é amplamente acessível no Brasil. Assim, foi feito a criação de um aplicativo móvel que usa visão computacional para capturar e identificar gestos, como uma forma de tornar o ensino e a aprendizagem de Libras mais acessível e eficiente. A metodologia utilizada na criação do aplicativo incluiu 3 modelos de classificação de imagens treinados para o reconhecimento de sinais estáticos, sendo eles um modelo que reconhece 21 letras do alfabeto em Libra excluindo as letras H, K, J, X e Z, um modelo para o reconhecimento dos números de 0 a 9 e o último modelo que reconhece 10 palavras em Libras sendo elas, adulto, América, casa, gasolina, juntos, lei, palavra, pedra, pequeno e verbo, foi utilizado o ambiente online de codificação Colab Research para a conversão dos modelos para um modelo com a extensão “.tflite”, visto que esses modelos são mais leves, robustos de aprendizado de máquina e próprios para dispositivos móveis. Foi utilizado um algoritmo para inserir metadados nesses 3 modelos para especificar quantas entradas eles esperavam obter e o número de saídas que os modelos possuíam. Foi utilizado o serviço de mensagens do Firebase para enviar notificações programadas aos aplicativos como lembretes diários para os usuários voltarem a estudar. Os resultados obtidos na criação deste aplicativo mostram que foi alcançado uma precisão de 91% a 98% na classificação de sinais em Libras. Foram testadas todas as letras, números e palavras. Em todos os testes feitos, o aplicativo foi capaz de reconhecer e acertar cada sinal feito, mesmo com a limitação de espaços próprios para tirar essas fotos e outros fatores que podem interferir na precisão do aplicativo, como a falta de luminosidade adequada e a interferência de objetos na imagem. Por fim, o desenvolvimento deste trabalho atingiu o objetivo geral, que era desenvolver um aplicativo móvel utilizando visão computacional para a captura e identificação de gestos em Libras, visando o ensino e aprendizagem da Língua Brasileira de Sinais.