Robot hình người thành thạo kỹ thuật đồng bộ môi, dự đoán phản ứng khuôn mặt với hệ thống mới

Các nhà nghiên cứu tại Phòng thí nghiệm Máy sáng tạo của Đại học Columbia đã phát triển một robot hình người tiên tiến mang tên Emo, có khả năng đồng bộ chuyển động môi giống thật với âm thanh lời nói và dự đoán biểu cảm khuôn mặt của con người trong thời gian thực. Emo sở hữu những cải tiến phần cứng đáng kể so với người tiền nhiệm Eva, bao gồm 26 bộ truyền động cho các biểu cảm khuôn mặt không đối xứng và lớp da silicone linh hoạt được điều khiển bằng nam châm để kiểm soát chính xác. Được trang bị camera RGB độ phân giải cao ở mắt, Emo sử dụng một khung mạng nơ-ron kép: một mô hình dự đoán chuyển động khuôn mặt của chính nó, trong khi mô hình kia dự đoán biểu cảm của người đối thoại. Điều này cho phép Emo thực hiện các biểu cảm đồng thời — phản chiếu các phản ứng khuôn mặt của con người trước khi chúng hoàn toàn xuất hiện — trên nhiều ngôn ngữ, bao gồm cả những ngôn ngữ không có trong dữ liệu huấn luyện. Mô hình dự đoán của hệ thống, được huấn luyện trên 970 video từ 45 người tham gia, phân tích những thay đổi nhỏ ban đầu trên khuôn mặt để dự báo biểu cảm mục tiêu với tốc độ và độ chính xác cao, chạy ở 650 khung hình mỗi giây. Mô hình nghịch đảo thực thi các lệnh động cơ ở tốc độ 8.000 khung hình mỗi giây, cho phép Emo tạo ra biểu cảm khuôn mặt chỉ trong 0,002 giây,