Sebuah video yang diposting oleh pengembang Vision Pro tampaknya menunjukkan tingkat kinerja pelacakan tangan dan oklusi saat ini yang mampu dilakukan oleh headset baru Apple.
Apple Vision Pro, yang diperkirakan akan diluncurkan dalam beberapa bulan ke depan, akan menggunakan pelacakan tangan sebagai metode masukan utamanya. Meskipun interaksi tingkat sistem menggabungkan pelacakan tangan dan pelacakan mata untuk modalitas ‘lihat dan ketuk’, pengembang juga dapat membangun aplikasi yang memungkinkan pengguna berinteraksi langsung dengan aplikasi menggunakan tangan mereka.
Pelacakan tangan pada Vision Pro dapat dibagi menjadi dua kemampuan berbeda: ‘pelacakan tangan’ dan ‘oklusi tangan’.
Pelacakan tangan adalah perkiraan model 3D tangan, persendiannya, dan posisi ujung jari. Model ini digunakan untuk menentukan kapan suatu benda disentuh, digenggam, dan berinteraksi.
Oklusi tangan berkaitan dengan bagaimana sistem melapisi tangan asli Anda ke konten virtual. Daripada menggambar model 3D tangan virtual ke dalam adegan, Vision Pro memotong gambar tangan asli Anda untuk ditampilkan dalam adegan tersebut. Melakukan hal itu menambah lapisan realisme pada konten virtual karena Anda dapat melihat tangan unik Anda sendiri.
Pengembang yang membangun Vision Pro menggunakan Unity memposting video yang memberikan gambaran jelas tentang pelacakan tangan dan oklusi.
Jarum asli menunjukkan cara kerja sistem oklusi, sedangkan titik hijau menunjukkan perkiraan posisi 3D tangan.
Kita dapat melihat bahwa oklusi tangan sangat baik namun tidak sempurna; ketika dikelilingi seluruhnya oleh konten virtual dan bergerak cepat, Anda dapat melihat beberapa kliping di sekitar tepi tangan.
Sementara itu, posisi pelacakan tangan sebenarnya tertinggal jauh di belakang oklusi tangan, sekitar 100–200 ms di belakang. Namun kami tidak dapat menentukan latensi sebenarnya dari pelacakan tangan Vision Pro, karena kami hanya memiliki gambaran tentang jarum pelacak oklusi untuk membandingkannya (yang akan memiliki latensi dibandingkan dengan jarum asli).
Dalam konteks ini, video tersebut berasal dari percakapan pengembang Unity yang mengatakan bahwa eksperimen awal mereka dengan Vision Pro menunjukkan latensi pelacakan tangan yang sangat tinggi, tampaknya dibandingkan dengan kemampuan pelacakan tangan Quest terbaru. Pengembang Unity lainnya setuju bahwa mereka melihat latensi serupa di perangkat Vision Pro mereka.
Namun, video yang dimaksud adalah integrasi pelacakan tangan di dalam aplikasi Unity, yang berarti kinerja dan latensi pelacakan tangan mungkin memiliki faktor tambahan terkait Unity yang tidak ada saat menggunakan alat pengembangan Vision Pro pihak pertama dari Apple. Dan mengingat headset ini belum diluncurkan dan alat-alat ini masih dalam pengembangan, kita mungkin akan melihat peningkatan tambahan saat headset tersebut benar-benar tersedia di toko.
