Selama konferensi Connect 2021 minggu lalu, Kepala Ilmuwan Meta Reality Labs, Michael Abrash, menawarkan ikhtisar tingkat tinggi dari beberapa R&D yang berada di balik dorongan multi-miliar dolar perusahaan ke XR dan metaverse.
Michael Abrash memimpin tim di Meta Reality Labs Research yang telah ditugaskan untuk meneliti teknologi yang menurut perusahaan dapat menjadi dasar bagi XR dan dekade metaverse di masa depan. Di Connect 2021, Abrash membagikan beberapa karya terbaru grup.
Avatar Codec Seluruh Tubuh
Proyek Codec Avatar Meta bertujuan untuk mencapai sistem yang mampu menangkap dan mewakili avatar fotorealistik untuk digunakan dalam XR. Tantangan utama di luar sekadar ‘memindai’ tubuh seseorang adalah membuatnya bergerak dengan cara yang realistis—belum lagi membuat seluruh sistem mampu berjalan secara real-time sehingga avatar dapat digunakan dalam konteks interaktif.
Perusahaan telah memamerkan karya Codec Avatar dalam berbagai kesempatan, setiap kali menunjukkan peningkatan. Awalnya proyek dimulai hanya dengan kepala berkualitas tinggi, tetapi sejak itu berkembang menjadi avatar seluruh tubuh.
Video di atas adalah demo yang mewakili karya terbaru grup tentang Codec Avatars seluruh tubuh, yang dijelaskan oleh peneliti Yaser Sheikh sekarang mendukung gerakan mata, ekspresi wajah, dan gerakan tangan dan tubuh yang lebih kompleks yang melibatkan kontak diri. Itu tidak dinyatakan secara langsung, tetapi video juga menunjukkan pemirsa menonton presentasi dalam realitas virtual, menyiratkan bahwa ini semua terjadi secara real-time.
Dengan kemungkinan avatar realistis seperti itu di masa depan, Abrash mengakui bahwa penting untuk memikirkan keamanan identitas seseorang. Untuk itu, dia mengatakan perusahaan sedang “memikirkan bagaimana kami dapat mengamankan avatar Anda, baik dengan mengikatnya ke akun yang diautentikasi, atau dengan memverifikasi identitas dengan cara lain.”
Rendering Rambut dan Kulit Fotorealistik
Sementara Meta’s Codec Avatars sudah terlihat sangat meyakinkan, kelompok riset percaya bahwa tujuan akhir dari teknologi ini adalah untuk mencapai fotorealisme.
Di atas Abrash memamerkan apa yang dia katakan sebagai karya terbaru kelompok penelitian dalam rendering rambut dan kulit fotorealistik, dan pencahayaannya. Tidak diklaim bahwa ini terjadi secara real-time (dan kami meragukannya), tetapi ini adalah standar yang ingin dicapai tim dengan teknologi Codec Avatar.
Simulasi Pakaian
Seiring dengan representasi tubuh Anda yang berkualitas tinggi, Meta mengharapkan pakaian dengan terus menjadi cara penting orang ingin mengekspresikan diri mereka di metaverse. Untuk itu, mereka berpikir bahwa membuat pakaian bertindak realistis akan menjadi bagian penting dari pengalaman itu. Di atas perusahaan memamerkan karyanya dalam simulasi pakaian dan interaksi langsung.
Ruang Virtual Real-time dengan kesetiaan tinggi
Sementara XR dapat dengan mudah membawa kita ke realitas lain, teleportasi teman secara virtual ke ruang hidup Anda yang sebenarnya juga akan bagus. Diambil secara ekstrim, itu berarti memiliki rekreasi penuh dari rumah Anda yang sebenarnya dan semua yang ada di dalamnya, yang dapat berjalan secara real-time.
Yah… Meta melakukan hal itu. Mereka membangun apartemen tiruan lengkap dengan replika sempurna dari semua benda di dalamnya. Melakukannya memungkinkan pengguna untuk bergerak di sekitar ruang nyata dan berinteraksi dengannya seperti biasa sambil menjaga versi virtual tetap sinkron.
Jadi, jika Anda memiliki tamu virtual, mereka benar-benar dapat melihat Anda bergerak di sekitar ruang dunia nyata Anda dan berinteraksi dengan apa pun di dalamnya dengan cara yang sangat alami. Demikian pula, saat menggunakan kacamata AR, memiliki peta ruang dengan tingkat ketelitian ini dapat membuat pengalaman dan interaksi AR jauh lebih menarik.
Saat ini tampaknya melayani tujuan membangun skenario ‘kasus terbaik’ dari lingkungan dunia nyata yang dipetakan bagi perusahaan untuk bereksperimen. Jika Meta menemukan bahwa memiliki ruang nyata dan virtual yang disinkronkan dengan sempurna ini menjadi penting untuk kasus penggunaan yang berharga dengan teknologi, ia kemudian dapat mencari cara untuk memudahkan pengguna menangkap ruang mereka sendiri dengan presisi yang sama.
Masukan EMG
Sementara pengontrol dan pelacakan tangan terbukti menjadi perangkat input yang berguna untuk XR hari ini, begitu kita beralih ke headset yang dipakai sepanjang hari yang kita bawa ke publik, kita mungkin tidak akan ingin mengayunkan tangan kita atau menyodok udara di depan. dari kita hanya untuk mengetik pesan atau meluncurkan dan aplikasi saat di bus.
Untuk itu, Meta telah meneliti cara input XR yang jauh lebih halus dan alami melalui EMG yang dikenakan di pergelangan tangan. Perusahaan merinci beberapa pekerjaannya pada perangkat input yang dikenakan di pergelangan tangan awal tahun ini, dan di Connect minggu lalu untuk pertama kalinya menunjukkan perangkat prototipe yang digunakan untuk input teks.
Meskipun antarmuka jendela mengambang di sebelah kanan hanyalah simulasi, Meta menyatakan bahwa tampilan kiri menunjukkan perangkat prototipe aktual yang menggerakkan input teks.
