Dựng lại chân dung gần như tạc chỉ từ giọng nói

Thuật toán AI có tên là Speech2Face được các nhà khoa học trí tuệ nhân tạo (AI) tại Phòng thí nghiệm Khoa học máy tính và Trí tuệ nhân tạo (CSAIL) của MIT phát triển, giúp tái tạo lại khuôn mặt của một người chỉ bằng một đoạn ghi âm ngắn giọng nói và kết quả rất ấn tượng.

Nhiệm vụ của nhóm nghiên cứu là tái tạo lại hình ảnh khuôn mặt của một người từ đoạn ghi âm ngắn giọng nói. Ảnh: Speech2Face

Đầu tiên, các nhà nghiên cứu thiết kế và đào tạo một mạng neuron nhân tạo học sâu, bằng cách sử dụng hàng triệu video từ YouTube và internet lúc mọi người đang nói chuyện. 

Trong quá trình đào tạo này, AI đã học được mối tương quan giữa âm thanh của giọng nói và người nói trông như thế nào. Những mối tương quan đó cho phép AI đưa ra những phỏng đoán tốt nhất về độ tuổi, giới tính và quốc tịch của người nói.

Không có sự tham gia của con người trong quá trình đào tạo. AI chỉ được cung cấp một lượng lớn video và có nhiệm vụ tìm ra mối tương quan giữa đặc điểm giọng nói và đặc điểm khuôn mặt.

Sau khi được đào tạo, AI đã rất giỏi trong việc tạo ra các bức chân dung chỉ dựa trên các bản ghi âm giọng nói giống với những gì người nói thực sự trông như thế nào.

Hình ảnh thực tế của người nói (trái) và hình được tái tạo bởi AI từ giọng nói của họ (phải). Ảnh: Speech2Face

Để phân tích thêm độ chính xác của việc tái tạo khuôn mặt, các nhà nghiên cứu đã xây dựng "bộ giải mã khuôn mặt". Bộ giải mã sẽ tạo ra một bản tái tạo tiêu chuẩn cho khuôn mặt của một người từ hình ảnh tĩnh của họ khi bỏ qua "các biến thể không liên quan", chẳng hạn như tư thế chụp ảnh và ánh sáng. Điều này cho phép các nhà khoa học dễ dàng so sánh các bản tái tạo giọng nói với các đặc trưng thực tế của người nói.

Một lần nữa, kết quả của AI rất gần với khuôn mặt thật trong rất nhiều các trường hợp được nghiên cứu từ nhiều độ tuổi, giới tính và dân tộc khác nhau.

Hình ảnh thực tế của người nói (bên trái), hình được tái tạo bởi AI từ ảnh chụp của họ (ở giữa) và hình được tái tạo bởi AI từ giọng nói của họ (bên phải). Ảnh: Speech2Face

AI tái tạo chân dung từ giọng nói, có thể tạo ra hình ảnh hoạt hình của một người trên điện thoại hoặc cuộc gọi hội nghị truyền hình khi danh tính của người đó không xác định và họ không muốn chia sẻ khuôn mặt thực của mình.

Các nhà nghiên cứu đã viết trong bài báo được công bố tại một hội thảo về thị giác máy tính và nhận diện mẫu (CVPR): "Các khuôn mặt được tái tạo cũng có thể được sử dụng trực tiếp để gán cho giọng nói do máy tạo ra được sử dụng trong các thiết bị gia đình và trợ lý ảo".

Cơ quan thực thi pháp luật cũng có thể sử dụng AI để tạo ra một bức chân dung của kẻ tình nghi từ bằng chứng duy nhất là một đoạn ghi âm giọng nói. Tuy nhiên, các ứng dụng của chính phủ chắc chắn sẽ là chủ đề của rất nhiều tranh cãi và tranh luận liên quan đến quyền riêng tư và đạo đức.

AI tạo chân dung chỉ từ giọng nói. Ảnh: Nhóm nghiên cứu Speech2Face