2DCNN: Reconhecimento de sinais de libras utilizando uma rede neural convolucional 2D

Abstract

No Brasil, através do censo demográfico, foi possível avaliar que cerca 2,1 milhões de pessoas são consideradas surdas. A forma de comunicação e expressão utilizada pelas pessoas surdas é a Língua Brasileira de Sinais - LIBRAS, que é reconhecida como uma língua oficial do Brasil desde 2002, com a lei n°. 10.436. Embora existam meios para a inclusão de pessoas surdas, ainda não estão plenamente desenvolvidos para garantir a inclusão efetiva na sociedade, tendo assim, a pessoa surda, dificuldades em estabelecer uma comunicação plena com a sociedade. Um meio para solucionar esse problema pode ocorrer através da utilização da visão computacional, que permite que uma máquina ”enxergue” e extraia informações significativas de imagens. Nesse contexto, o presente trabalho propõe o uso de uma rede neural convolucional 2D (CNN2D) para o reconhecimento de gestos estáticos em LIBRAS, por meio da detecção de imagens em tempo real. O objetivo é realizar três experimentos: o primeiro para a detecção das letras estáticas do alfabeto em LIBRAS, totalizando 21 letras; o segundo para a detecção dos números em sinais estáticos de LIBRAS, abrangendo os números de 0 a 9; e o terceiro para a detecção de 10 palavras em sinais estáticos de LIBRAS, sendo essas: ’Adulto’, ’America’, ’Casa’, ’Gasolina’, ’Juntos’, ’Lei’, ’Palavra’, ’Pedra’, ’Pequeno’ e ’Verbo’. Os resultados dos treinamentos realizados com a CNN2D demonstram uma acurácia de 97.93% para o experimento I (detecção das letras do alfabeto), 91.39% para o experimento II (detecção dos números) e 91.19% para o experimento III (detecção das palavras), mostrando um bom desempenho na detecção em tempo real e equiparando-se aos trabalhos descritos na literatura.