OMOTE / Real-time Face Tracking & Projection Mapping

Omoteは日本語で顔、あるいは仮面を意味します：内側にあるもの（裏）に対して、外側の表面（表）。能楽では、一枚の静止した仮面が、頭の傾きと光の角度によって、悲しみ、怒り、優しさを表現できます。このプロジェクトはそのアイデアに基づき、顔がリアルタイムで書き換えられるとき、どうなるかを問いかけました。

最初は前進しなかった化粧品ブランドへの商業ピッチとして考案されましたが、アイデアは個人プロジェクトとして追求するに値するほど強いものでした。3ヶ月のテストで何が可能かを確認するには十分で、それが適切に行われるためにはより多くの時間を必要とするほど価値があることが確認されました。

システムをゼロから構築しました：モーションキャプチャセンサーによるリアルタイム顔マーカートラッキング、そのデータから顔の位置と方向を読み取り、アニメーションテクスチャを持つCGの顔をレンダリングし、十分な精度と低遅延で生きた顔に結果を投影することで、投影が投影されているように見えなくなりました。当時は比較できるシステムが存在しなかったため、キャリブレーションアプローチとトラッキングアルゴリズムの両方をゼロから構築する必要がありました。

動画が公開されると、数日間で700万回の再生数に達しました。また、このプロジェクトの重要な側面は、プロジェクトのビジュアルランゲージの多くを形作った天才メイクアップアーティストの桑原洋人と並んで仕事をした時間でした。そのコラボレーションはOmoteで終わらず、その後いくつかのプロジェクトへとつながりました。