Meta telah merilis sampel pelacakan wajah Aura untuk bereksperimen dengan pengembang, bersama dengan tiga sampel pengembang lainnya yang berkaitan dengan ‘SDK Gerakan’ yang memberi pengembang dasar untuk membuat avatar ekspresif dengan pelacakan mata, wajah, dan tubuh.
Dalam waktu dekat, ini akan digunakan dengan avatar Meta yang ada. Dan meskipun itu pasti membuat mereka lebih ekspresif, mereka tetap terlihat agak konyol.
Ini mungkin hasil dari sistem avatar Meta saat ini yang tidak dibangun dengan mempertimbangkan tingkat pelacakan wajah ini. ‘Rigging’—kerangka kerja animasi yang mendasari model—tampaknya tidak cukup cocok untuk tugas tersebut. Mencangkok input pelacakan wajah Quest Pro ke sistem saat ini tidak benar-benar sesuai dengan kemampuannya.
Untungnya Meta telah membangun demo teknologi yang menunjukkan apa yang mungkin terjadi ketika avatar dirancang dengan mempertimbangkan pelacakan wajah Quest Pro (dan ketika hampir semua kekuatan pemrosesan headset didedikasikan untuk merendernya).
Ya, ini masih agak goyah, tetapi setiap gerakan yang Anda lihat di sini didorong oleh pengguna yang melakukan gerakan yang sama, termasuk hal-hal seperti menggembungkan pipi atau menggerakkan mulut dari satu sisi ke sisi lain. Secara keseluruhan, ini adalah representasi wajah yang jauh lebih lengkap yang menurut saya berhasil menghindari masuk ke lembah yang tidak biasa.
Saya harus mencoba demo ini sendiri dalam pengalaman saya baru-baru ini dengan Quest Pro di mana saya melihat ke cermin dan muncul sebagai karakter ini (yang oleh Meta disebut Aura). Saya benar-benar terkesan bahwa, bahkan tanpa kalibrasi khusus, wajah yang saya lihat di cermin tampak meniru gerakan apa pun yang dapat saya pikirkan untuk dilakukan dengan wajah saya.
Saya sangat tertarik dengan detail kulitnya. Jika saya menyipitkan mata dan mengerutkan hidung saya, saya bisa melihat kulit di sekitarnya mengerut secara realistis, dan hal yang sama ketika saya mengangkat alis. Detail halus ini, seperti kerutan di pipi yang bergerak dengan mulut, benar-benar menambah kesan bahwa ini bukan hanya objek di depan saya, tetapi sesuatu yang memiliki makhluk hidup di belakangnya.
Apakah ekspresi itu benar-benar terlihat seperti saya atau tidak ketika saya berada di balik topeng itu adalah pertanyaan lain. Karena wajah avatar ini tidak cocok dengan wajahku, sebenarnya sulit untuk mengatakannya. Tapi gerakannya setidaknya masuk akal realistis adalah langkah penting pertama menuju avatar virtual yang terasa alami dan dapat dipercaya.
Meta mengatakan akan merilis demo Aura sebagai proyek sumber terbuka sehingga pengembang dapat melihat bagaimana mereka memasang input pelacakan wajah ke avatar. Perusahaan juga mengatakan pengembang akan dapat menggunakan satu perangkat untuk menggerakkan avatar humanoid atau avatar non-manusia seperti hewan atau monster tanpa perlu men-tweak setiap avatar satu per satu.
Meta mengatakan pengembang akan dapat memanfaatkan API pelacakan wajah yang menggunakan nilai yang sesuai dengan FACS, sistem yang dikenal dengan baik untuk menggambarkan pergerakan berbagai otot di wajah manusia.
Ini adalah sistem yang efektif tidak hanya untuk merepresentasikan wajah, tetapi juga membentuk penghalang privasi yang berguna bagi pengguna. Menurut Meta, pengembang sebenarnya tidak bisa mendapatkan akses ke gambar mentah wajah pengguna. Sebaliknya mereka mendapatkan “serangkaian nilai nol-ke-satu yang sesuai dengan serangkaian gerakan wajah umum, seperti saat Anda mengerutkan hidung atau mengerutkan alis,” kata Meta. “Sinyal ini memudahkan pengembang untuk melestarikan makna semantik dari gerakan asli pemain saat memetakan sinyal dari API Pelacakan Wajah ke rig karakter mereka sendiri, apakah karakter mereka humanoid atau bahkan sesuatu yang lebih fantastik.”
Meta mengklaim bahkan perusahaan itu sendiri tidak dapat melihat gambar yang diambil oleh kamera headset, baik internal maupun eksternal. Mereka diproses di headset dan kemudian segera dihapus, menurut perusahaan, tanpa pernah dikirim ke cloud atau ke pengembang.
