Resumo-Este trabalho propõe um sistema para reconhecimento de uma sequência de gestos dinâmicos em vídeos utilizando uma combinação de redes neurais convolucionais para modelar as formas da mão e modelos ocultos de Markov para modelar os gestos. São utilizados um total de 15 sinais da Libras. A acurácia obtida atingiu 100% sob certas restrições, como umúnico gesticulador, a utilização de luvas e um ambiente controlado. Palavras-Chave-Reconhecimento de imagens, reconhecimento de gestos, Libras, CNN, HMM.