Facebook Reality Labs, divisi R&D perusahaan, telah memimpin tanggung jawab dalam membuat avatar realitas virtual yang cukup realistis untuk melintasi ‘lembah yang tidak menyenangkan’ yang ditakuti. Penelitian baru dari grup ini bertujuan untuk mendukung ekspresi wajah baru sehingga teman Anda dapat melihat wajah konyol Anda secara akurat.
Kebanyakan avatar yang digunakan dalam realitas virtual saat ini lebih bersifat kartun daripada manusia, sebagian besar sebagai cara untuk menghindari masalah ‘lembah luar biasa’ — di mana avatar yang lebih ‘realistis’ menjadi semakin tidak menarik secara visual saat mereka semakin dekat, tetapi tidak cukup dekat, seorang manusia benar-benar terlihat dan bergerak.
Pendahulu: Codec Avatars
Proyek ‘Codec Avatar’ di Facebook Reality Labs bertujuan untuk melintasi lembah luar biasa dengan menggunakan kombinasi pembelajaran mesin dan visi komputer untuk membuat representasi pengguna yang sangat realistis. Dengan melatih sistem untuk memahami seperti apa wajah seseorang dan kemudian menugaskannya untuk menciptakan kembali tampilan tersebut berdasarkan masukan dari kamera di dalam headset VR, proyek ini telah menunjukkan beberapa hasil yang benar-benar mengesankan.
Membuat ulang pose wajah yang khas dengan akurasi yang cukup untuk meyakinkan sudah menjadi tantangan, tetapi ada banyak kasus tepi yang harus ditangani, yang salah satunya dapat membuat seluruh sistem mati dan membuat avatar kembali ke lembah yang luar biasa.
Tantangan besar, kata peneliti Facebook, adalah “tidak praktis untuk memiliki sampel seragam dari semua kemungkinan ekspresi [wajah]” karena ada begitu banyak cara berbeda yang dapat dilakukan seseorang untuk mengubah wajah mereka. Pada akhirnya, ini berarti ada celah dalam contoh data sistem, membuatnya bingung saat melihat sesuatu yang baru.
Penerus: Modular Codec Avatars
Peneliti Hang Chu, Shugao Ma, Fernando De la Torre, Sanja Fidler, dan Yaser Sheikh dari University of Toronto, Vector Institute, dan Facebook Reality Labs, mengusulkan solusi dalam makalah penelitian yang baru diterbitkan berjudul Expressive Telepresence via Modular Codec Avatars.
Sementara sistem Avatar Codec asli terlihat mencocokkan seluruh ekspresi wajah dari set data ke masukan yang dilihatnya, sistem Avatar Codec Modular membagi tugas dengan fitur wajah individual — seperti setiap mata dan mulut — memungkinkannya untuk mensintesis yang paling akurat berpose dengan menggabungkan pasangan terbaik dari beberapa pose berbeda dalam pengetahuannya.
Dalam Modular Codec Avatars, pembuat enkode modular pertama-tama mengekstrak informasi di dalam setiap tampilan kamera yang dipasang di headset. Ini diikuti oleh synthesizer modular yang memperkirakan ekspresi wajah penuh bersama dengan bobot pencampurannya dari informasi yang diekstrak dalam cabang modular yang sama. Terakhir, beberapa perkiraan wajah 3D dikumpulkan dari modul yang berbeda dan digabungkan untuk membentuk keluaran wajah akhir.
Sasarannya adalah untuk meningkatkan rentang ekspresi yang dapat direpresentasikan secara akurat tanpa perlu memasukkan lebih banyak data pelatihan ke sistem. Bisa dibilang sistem Modular Codec Avatar didesain agar lebih baik dalam membuat kesimpulan tentang seperti apa sebuah wajah seharusnya dibandingkan dengan sistem Codec Avatar asli yang lebih mengandalkan perbandingan langsung.
Tantangan Mewakili Wajah Konyol
Salah satu manfaat utama dari pendekatan ini adalah meningkatkan kemampuan sistem untuk membuat ulang ekspresi wajah baru yang tidak pernah dilatih sebelumnya — seperti ketika orang dengan sengaja mengubah wajah mereka dengan cara yang lucu khususnya karena orang biasanya tidak melakukan wajah seperti itu. Para peneliti menyebutkan manfaat khusus ini dalam makalah mereka, dengan mengatakan bahwa “membuat ekspresi lucu adalah bagian dari interaksi sosial. Model Modular Codec Avatar secara alami dapat memfasilitasi tugas ini dengan lebih baik karena ekspresi yang lebih kuat. “
Mereka mengujinya dengan membuat wajah lucu ‘buatan’ dengan secara acak mengacak fitur wajah dari pose yang sangat berbeda (yaitu: mata kiri dari {pose A}, mata kanan dari {pose B}, dan mulut dari {pose C}) dan melihat untuk melihat jika sistem dapat menghasilkan hasil yang realistis dengan masukan fitur yang berbeda secara tidak terduga.
“Dapat dilihat [pada gambar di atas] bahwa Modular Codec Avatar menghasilkan ekspresi fleksibel yang alami, meskipun ekspresi seperti itu belum pernah terlihat secara holistik di set pelatihan,” kata para peneliti.
Sebagai tantangan utama untuk aspek sistem ini, saya ingin sekali melihat upayanya untuk menciptakan kembali kontur wajah Jim Carrey yang luar biasa.
Amplifikasi Mata
Selain membuat wajah lucu, para peneliti menemukan bahwa sistem Modular Codec Avatar juga dapat meningkatkan realisme wajah dengan meniadakan perbedaan pose mata yang melekat dengan memakai headset.
Dalam telepresence VR praktis, kami mengamati pengguna sering tidak membuka mata mereka sepenuhnya secara alami. Ini mungkin karena tekanan otot akibat pemakaian headset, dan tampilan sumber cahaya di dekat mata. Kami memperkenalkan kenop kontrol amplifikasi mata untuk mengatasi masalah ini.
