Dapatkah iPhone X menjadi sistem pengambilan wajah yang cepat, murah dan sederhana? Kira-kira sebulan yang lalu Cory Strassburger di Kite & Lightning menerima iPhone X dari Apple. Dalam sehari, dia menguji perangkat lunak yang bekerja dengan kamera TrueDepth dan ARKit-nya. Dia ingin melihat apakah itu bisa digunakan untuk permainan mereka dan untuk konten sinematik.
Kite & Lightning adalah inovator awal dengan kit pengembang Oculus VR dan membangun pengalaman pemecahan tanah seperti Senza Peso yang menggunakan beberapa tangkapan manusia yang eye-catching. Sekarang, mereka sedang membangun Bebylon Battle Royale. Permainan ini berkisar pada karakter "baby" yang memiliki sikap humongous. Dia ingin melihat apakah memberi karakter ini kepribadian yang besar bisa dilakukan lebih cepat dan murah menggunakan penangkapan wajah iPhone X dan dia telah menghabiskan sebagian waktunya pada akhir pekan di atasnya.
"Saya pikir kesimpulan besar saya saat ini adalah data penangkapan yang berasal dari iPhone X sangat mengejutkan, stabil dan tidak terlalu merapikan," tulis Strassburger dalam sebuah email. "Ini benar-benar memungut gerakan yang sangat halus, bahkan berkedut kecil dan cukup bersih (bebas kebisingan) untuk digunakan langsung dari telepon, tergantung pada standar Anda tentunya."
Menurutnya itu merupakan metode yang layak untuk menangkap wajah yang relatif murah. Sistemnya juga mobile, bisa memudahkan pemasangan dan penggelaran. Apple mengakuisisi sebuah perusahaan bernama Faceshift yang tampaknya memiliki banyak fungsi ini. Meskipun Strassburger mencatat solusi Faceshift memiliki fitur keren lainnya, dia bisa mengekstrak cukup ekspresif dengan menggunakan apa yang dilepaskan Apple dengan iPhone X yang mungkin berguna untuk produksi VR.
Proses pengambilan:
Inilah proses penangkapan Strassburger yang digariskan untuk mengambil data pengambilan wajah iPhone X dan menggunakannya untuk menghidupkan ekspresi karakter di Maya:
- Menggunakan Apel ARKit dan Persatuan Saya mengimpor karakter Bebylon yang sedang dalam proses dan mengaitkan ekspresi wajahnya dengan bentuk campuran ke dalam data tangkapan wajah yang dihasilkan ARKit. Ini membiarkan saya mengarahkan animasi wajah bayi berdasarkan ungkapan saya sendiri.
- Saya perlu menangkap data ekspresi ini untuk mengimpornya ke Maya. Saya menambahkan fungsi rekam untuk mengalirkan data ekspresi wajah ke dalam file teks. Ini tersimpan secara lokal di iPhone. Setiap start and stop take menjadi file teks terpisah dan bisa diberi nama / diganti namanya dalam aplikasi capture.
- Saya menyalin file teks dari iPhone X ke desktop via USB.
- Data yang diambil perlu diformat ulang untuk diimpor ke Maya jadi saya menulis sebuah aplikasi desktop sederhana untuk melakukan ini. Dibutuhkan file teks yang dipilih dan mengubahnya menjadi file Maya.
- Saya mengimpor file .anim ke Maya dan voila, karakter Anda menirukan apa yang Anda lihat di iPhone saat ditangkap.
Menurut Strassburger, dia melihat beberapa gangguan kecil muncul dalam data dan menganggap kode barunya mungkin bertanggung jawab. Selain itu, meskipun penangkapan terjadi pada 60 frame per detik, prosesnya saat ini menghasilkan 30 frame per detik sehingga Anda dapat melihat beberapa kehilangan kualitas. Ini yang paling menonjol di bagian "Horse Lips", menurut Strassburger.
