Visual speech is hard to recreate by human hands because animation itself is a time-consuming task: both precision and detail must be considered and match the expectations of the developers, but above all, those of the audience. To solve this problem, some approaches has been designed to help accelerate the animation of characters faces, as procedural animation or speech-lip synchronization, where the most common areas for researching these methods are Computer Vision and Machine Learning. However, in general, these tools can have any of these main problems: difficulty on adapting to another language, subject or animation software, high hardware specifications, or the results can be receipted as robotic. Our work presents a Deep Learning model for automatic expressive facial animation using audio. We extract generic audio features from expressive audio speeches rich in phonemes for nonidiom focus speech processing and emotion recognition. From videos used for training, we extracted the landmarks for frame-speech targeting and have the model learn animation for phonemes pronunciation. We evaluated four variants of our model (two function losses and with emotion conditioning) by using a user perspective survey where the one using a Reconstruction Loss Function with emotion training conditioning got more natural results and score in synchronization with the approval of the majority of interviewees. For perception of naturalness, it obtained a 38.89% of the total votes of approval and for language synchronization obtained the highest average score with 65.55% (98.33 of a 150 total points) for English, German and Korean languages.
El presente trabajo es el resultado de un estudio realizado en el maco de un proyecto semilla auspiciado por el INTEC, por la Comisión Internacional Asesora de Ciencia y Tecnología y la empresa Basic Energy. Según el Anexo 1 del Protocolo de Kioto los Mecanismos de Desarrollo Limpio (MDL) le permiten a los gobiernos de los países industrializados y a las empresas suscribir acuerdos para cumplir metas de reducción de gases de efecto invernadero (GEI). Existen mecanismos específicos para la Investigación y Desarrollo (I+D), para la Transferencia de Tecnología y Creación de Capacidades para hacer frente al Cambio Climático. Como consecuencia de las razones anteriores se planteó como objetivo determinar el potencial de créditos de carbonos que se generarían en el INTEC, para ser considerados en la inserción del Mecanismo de Desarrollo Limpio, utilizando la tecnología solar fotovoltaica Luego de realizado el estudio se constata que con la instalación de un sistema solar fotovoltaico, el INTEC generaría ingresos anuales por la venta de créditos de carbono a través del Mecanismo de Desarrollo Limpio. De acuerdo a la Variante 5 (Tecn. Silicio MonoC) tales ingresos serían de unos US$ 16,531 dólares anuales. Por otro lado aunque los precios de los créditos de carbono -CREs. No son muy competitivos actualmente, los mismos influyen considerablemente en la viabilidad del proyecto. Se estima que los precios de los CREs sobrepasen los US$ 15.00 dólares en un futuro cercano De las tecnologías fotovoltaicas, la referida a los paneles de silicio monocristalino es la que más conviene debido a los precios actuales en el mercado. No obstante, debe considerarse la tecnología CIGS de película fina flexible. La diferencia de precios de kW instalado entre ambas tecnologías, según este estudio, es de US$ 276.00. El análisis muestra cómo la Variante 6 -que se refiere a las Instalaciones del INTEC + Terreno 1 + Terreno 2- tiene una capacidad que podría capturar 4,544 t Co2/año. Es la variante con mayor capacidad instalada (40 29 kW), sin embargo, el Terreno 2 no es propiedad del INTEC actualmente. En caso de que la instituion adquira el terreno, este podría acondicionarse o utilizarse para fines diversos e incluir una planta fotovoltaica en las áreas de los techos. Sin embargo la variante 5, Instalaciones del INTEC + Terreno 1 (solar parqueo "El Desierto"), sería más conveniente para realizar la instalación tomanddo como tecnología silicio monocristalino. Esto se considera a partir de la inversión ($5,484, 787.00) y su factibilidad (TIR 14.3%, VAN $498, 462.67 y TR 7.24 años). La generacion eléctrica además del generador fotovoltaico estaría por encima del consumo. Con una capacidad instalada de 2,164 kW se generarían 3,641 kWh anualmente lo cual excede el consumo en más del 80%.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.
customersupport@researchsolutions.com
10624 S. Eastern Ave., Ste. A-614
Henderson, NV 89052, USA
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.
Copyright © 2025 scite LLC. All rights reserved.
Made with 💙 for researchers
Part of the Research Solutions Family.