Peneliti meta mendemonstrasikan pelacakan tubuh Quest 2 tanpa pelacak tambahan.
Sistem VR saat ini dikirimkan dengan headset dan pengontrol yang dipegang, jadi hanya lacak posisi kepala dan tangan Anda. Posisi siku, batang tubuh, dan kaki Anda dapat diperkirakan menggunakan kelas algoritme yang disebut inverse kinematics (IK), tetapi ini hanya terkadang akurat untuk siku dan jarang tepat untuk kaki. Ada terlalu banyak solusi potensial untuk setiap set posisi kepala dan tangan yang diberikan.
Mengingat keterbatasan IK, beberapa aplikasi VR saat ini hanya menampilkan tangan Anda, dan banyak yang hanya memberi Anda tubuh bagian atas. Headset PC yang menggunakan pelacakan SteamVR mendukung pelacak tambahan yang dikenakan seperti Vive Tracker HTC, tetapi tiga yang diperlukan untuk pelacakan tubuh berharga $ 350 dan karenanya ini tidak didukung di sebagian besar game.
Namun dalam makalah baru berjudul QuestSim, peneliti Meta mendemonstrasikan sistem yang digerakkan oleh jaringan saraf yang dapat memperkirakan pose seluruh tubuh yang masuk akal hanya dengan data pelacakan dari Quest 2 dan pengontrolnya. Tidak diperlukan pelacak tambahan atau sensor eksternal.
Gerakan avatar yang dihasilkan sangat cocok dengan gerakan nyata pengguna. Para peneliti bahkan mengklaim akurasi dan jitter yang dihasilkan lebih unggul daripada pelacak IMU yang sudah usang – perangkat hanya dengan akselerometer dan giroskop seperti Pico Fitness Band yang diumumkan Pico 4 (Pico mengklaim sedang mengerjakan solusi berbasis pembelajaran mesinnya sendiri).
Namun, ada tangkapan di sini. Seperti yang terlihat dalam video, sistem ini dirancang untuk menghasilkan pose seluruh tubuh yang masuk akal, tidak sesuai dengan posisi tangan Anda. Latensi sistem juga 160ms – lebih dari 11 frame pada 72Hz. QuestSim hanya cocok untuk melihat tubuh avatar orang lain, tidak melihat tubuh Anda sendiri saat melihat ke bawah.
Avatar tanpa kaki Meta saat ini
Tapi tetap saja, melihat gerakan seluruh tubuh avatar orang lain akan jauh lebih baik daripada tubuh bagian atas tanpa kaki yang sering dikritik dari avatar Meta saat ini. Jadi, apakah sistem ini, atau semacamnya, akan hadir di Quest 2?
Meta CTO Andrew Bosworth tampaknya mengisyaratkan minggu terakhir ini. Ketika ditanya tentang pelacakan kaki di Instagram, “tanyakan apa saja kepada saya”, Bosworth menjawab:
“Ya, kami telah banyak diolok-olok untuk avatar tanpa kaki, dan saya pikir itu sangat adil dan saya pikir itu cukup lucu.
Memiliki kaki di avatar Anda sendiri yang tidak cocok dengan kaki asli Anda sangat membingungkan orang. Tapi tentu saja kita bisa meletakkan kaki pada orang lain, yang bisa Anda lihat, dan itu tidak mengganggu Anda sama sekali.
Jadi kami sedang mengerjakan kaki yang terlihat alami bagi seseorang yang menjadi pengamat – karena mereka tidak tahu bagaimana posisi kaki Anda yang sebenarnya – tetapi mungkin Anda ketika Anda melihat kaki Anda sendiri akan terus tidak melihat apa-apa. Itulah strategi kami saat ini.”
Solusi jangka pendek mungkin tidak memiliki kualitas yang sama dengan algoritma ini. Makalah penelitian pembelajaran mesin cenderung berjalan pada GPU PC yang kuat pada framerate yang relatif rendah. Makalah ini tidak menyebutkan kinerja runtime dari sistem yang dijelaskan.
Acara AR / VR tahunan Meta Connect berlangsung hanya dalam waktu 2 minggu, jadi pengumuman pelacakan tubuh apa pun kemungkinan akan terjadi selama itu.
