Hệ thống diễn hoạt khuôn mặt tự động theo tiếng nói góp phần giảm thời gian và công sức cho các nhà diễn hoạt nhân vật trong xây dựng phim hoạt hình, hệ thống đồ họa mô phỏng và thực tại ảo. Dựa trên những nghiên cứu về các kỹ thuật diễn hoạt đã có và các đặc trưng riêng biệt trong phát âm tiếng Việt, chúng tôi xây dựng bộ dịch hoạt Việt là cơ sở cho diễn hoạt tự động khuôn mặt. Kỹ thuật này cho phép chuyển đổi văn bản tiếng Việt thành các chuyển động nói trên khuôn mặt ảo đồng bộ với âm thanh trong thời gian thực. Hình ảnh diễn hoạt của nhân vật ảo được đánh giá dựa trên cảm nhận của người dùng thực và các chuyên gia trong lĩnh vực diễn hoạt với các tiêu chí về độ chân thực, tự nhiên và độ mịn cho kết quả tốt. Từ đó, kỹ thuật diễn hoạt đã đề xuất trong nội dung bài báo cho phép thay thế hoặc hỗ trợ một phần trong công việc diễn hoạt trên khuôn mặt của nhân vật ba chiều với tiếng Việt. Đồng thời, nghiên cứu này giúp hoàn thiện hơn phương thức giao tiếp giữa người và máy tính.

Biểu cảm khuôn mặt là một hình thức giao tiếp phi ngôn ngữ, đây là phương tiện chính để truyền đạt thông tin giữa con người. Trong chương trình thực tại ảo hoặc trò chơi, một nhân vật 3D hấp dẫn cần có khả năng diễn xuất và thể hiện biểu cảm một cách rõ ràng, mạch lạc. Các nghiên cứu về diễn hoạt chỉ ra rằng nhân vật cần biểu diễn tối thiểu được sáu cảm xúc cơ bản: hạnh phúc, buồn, sợ hãi, chán ghét, tức giận, ngạc nhiên. Tuy nhiên, việc tạo diễn hoạt biểu cảm cho nhân vật ảo tốn nhiều thời gian và đòi hỏi sự sáng tạo cao. Với mục tiêu tạo diễn hoạt biểu cảm kết hợp với đồng bộ môi một cách tự động cho nhân vật 3D theo ngữ nghĩa câu tiếng Việt, bài báo dựa trên các trọng số blendshape của mô hình mặt 3D. Văn bản đầu vào sau khi dự đoán cảm xúc sẽ được chuyển đến bộ đồng bộ môi và tạo cảm xúc để thực hiện diễn hoạt mặt 3D. Kết quả thực nghiệm với 200 câu tiếng Việt được phân loại quan điểm tự động theo sáu cảm xúc khác nhau. Sau đó, tiến hành cuộc khảo sát để dự đoán biểu cảm mặt của nhân vật 3D. Người tham gia khảo sát được yêu cầu nhận biết cảm xúc khuôn mặt ảo 3D được tạo ra theo từng câu văn bản đầu vào. Kết quả khảo sát cho thấy, tức giận là cảm xúc dễ nhận biết nhất, hạnh phúc và vui mừng dễ bị nhầm lẫn.

Đại học Công nghệ thông tin và Truyền thông 2 Viện Công nghệ thông tin, Viện Hàn lâm Khoa học và Công nghệ Việt Nam

Ngôn ngữ ký hiệu là công cụ giao tiếp quan trọng của nhiều người khiếm thính, thông qua các cử chỉ của cơ thể và biểu hiện của khuôn mặt để truyền tải thông tin trong cộng đồng. Trong đó, các từ được mã hóa bằng sự kết hợp của các hình thái và biểu cảm khác nhau của cơ thể. Với số lượng từ lớn và cấu trúc câu khác với thông thường, cũng như có rất ít các công cụ hỗ trợ học tập, giao tiếp bằng hình ảnh dẫn tới việc tiếp xúc với ngôn ngữ ký hiệu còn nhiều khó khăn. Bài báo trình bày tổng quan về hệ thống diễn hoạ ngôn ngữ ký hiệu và một số kỹ thuật diễn hoạ hành động trong đồ hoạ ba chiều. Đồng thời đề xuất rằng buộc trong quá trình nội suy, điều khiển chuyển động của đối tượng phù hợp với diễn hoạ ngôn ngữ ký hiệu. Từ đó, tạo ra các hình ảnh chuyển động trong đồ hoạ, áp dụng xây dựng ứng dụng học và diễn hoạ ngôn ngữ ký hiệu trong giao tiếp với người khiếm thính. Từ khóa: thực tại ảo, điều khiển động tác của con người, diễn hoạ, ngôn ngữ ký hiệu.