最新のプロジェクションマッピング is...
26
01
最新のプロジェクションマッピング is ヤベェ。この世の全てがディスプレイ化できちゃう
光の当て方、測り方。それがこうなるだけで、こんなにもすごい。
3年前のSIGGRAPH Asiaで取材した、超々高速プロジェクション・マッピングが、めちゃくちゃ進化してました。進化といってもヒトカゲがリザードになるような順当な進化というより、ピカチュウが電気の神そのものになったかのような、とんでもない進化！
まずは小手調べに、このGIF映像を見てください。
はい、消える魔球です。赤いホッケーのパックが上から飛んできているのに、その道中はパックが消えていますよね？ こんな魔法のようなアイディアを実現しちゃったのが、WATANABE LAB / Tokyo Techが展示している、｢高速RGB・IRプロジェクタを用いた深度情報に基づくダイナミックプロジェクションマッピング｣です。
展示されているものは、平たく言えば独自のプロジェクションマッピング技術。でも、既存ソフトウェアやトラッカーなどは使ってません。じゃあどうやってトラッキングしているの？
こちらの特注セットを使ってます。上からハイスピード赤外線プロジェクター、ハイスピードRGBプロジェクター、ハイスピード赤外線カメラ。全部ハイスピード。
技術的には（この技術がスゴイ）、まず特注してもらったという赤外線プロジェクターで縞模様のパターンを照射し、その模様をカメラで読み取って深度マップを作ります。このときのカメラのトラッキングは500Hz。毎秒500回も深度を見直してるわけです。さらに深度を読み取るための縞模様パターンは6枚あって、6枚ごとのわずかなズレをカメラが捉えることで、より正確な深度を認識します（位相シフトというらしい）。
左下の縞模様が赤外線カメラの見てる映像ですね（6枚ある縞模様の1つ）。それを元に深度をマッピングしたのが左上の映像で、実際に僕らが見えているのが右側の映像。
僕らの目にはこんな顔が見えてます（黒い影のフチに見えるシマシマは、赤外線の影）。きれいなカブキ顔だと思った？
本当は真っ白な顔なんですわ。造形物の形状を正確に認識して、どれだけ動いても適切な位置に画像をマスクしてるわけですね。顔だけでなく喉仏の立体感や、輪郭の表現なんかもすごくリアルで、初めて見た時はこういう柄の置物かと思ってました。それくらい騙されます。
さて、この｢高速RGB・IRプロジェクタを用いた深度情報に基づくダイナミックプロジェクションマッピング｣、長いので略してダイナミックプロジェクションですが、様々な点で一般的なプロジェクションとはアプローチが異なります。
まず、トラッカーが不要な点。赤外線を照射＆読み取ることで、投影対象の形状を限りなく正確な立体物として把握します。トラッキングの精度も高いです（0.4msでトラッキング）。ホッケーのパックを追従するくらいですからね。
そうそう、冒頭の消える魔球の原理ですけど、あれは黒い光（縞模様）でパックを隠す→全面を照らすを交互に表示することで実現しています。蛍光灯の点滅を僕らが認識できないように、黒と白で交互に点滅させることで、パックの動きが見えなくしているそうです。高速で移動するパックを正確に認識できるほどトラッキング精度が高いという証左！ っていうかなんだその神発想！
また、この高速処理を実現するためにソフトウェアはC言語で書いたそうです。一般的に、プログラムを書く時間と処理にかかる時間は反比例すると言われています。Pythonなどのわかりやすいプログラミング言語は人間にとって書きやすいけど、その分ちょっと無駄が多い＝ラグが発生しがち。C言語はかなりマシン寄りの言語なので、人間にはわかりにくくて書くのに時間がかかるんですが、処理はサクサク。時間をかけてでもレイテンシーを削る！ これぞエンジニア魂！！
赤外線トラッキングとC言語（高水準言語）。これらのアプローチにより、ダイナミックプロジェクション全体の動作は8msの超低レイテンシーを実現しました。投影物をグリグリ動かしても8/1000秒の速度で追従するわけですよ。もはや無意識下の知覚速度。
この8msの内訳も教えてもらいました。赤外線などの撮像処理で4ms＋計算処理で0.8ms＋プロジェクターへのデータ伝送に1ms＝プロジェクターが投影するのに2ms＝合計約8ms。あとはこれらの処理をいかに素早くできるかを追い込んでいくそうですが、現状は撮像処理の部分でGPUがボトルネックになってるそう。データ帯域がもっと太くなれば、トラッキングの回数を500Hzから3000Hzまで上げたりもできるんだとか。
じゃあこの高速＆高精度なダイナミックプロジェクションはどういった使い方ができるのか。えー、何にでも使えます。むしろ用途が広すぎて絞らないといけないのが課題だそう。たとえばこのウサギのように、対象物の質感を騙すこともできる。トラッカーが不要だからプロジェクターとスクリーンの焦点距離さえ決めてしまえば、設置の自由度も高い。極端な話、全裸で立っていても服を着てるように見せることもできるし、怒っている顔を笑っている顔に見せることだって可能。
で、もはやこれってゴーグル不要の視覚ハックとも言える。そもそも視覚って光を見てるんだから、その光をより正確にコントロールしてやれば、視神経なんていくらでも騙せちゃうよね。実際に僕は騙されましたからね、カブキ顔に！
ソニーは大型LEDに背景映像を表示して映像制作に活用してましたが、見ているそれが本当にそこに在るかどうかより、目にはどう見ているかの方を重要視すると、なんだか未来の映像技術の片鱗がチラ見えする気がします。電脳なんてなくとも、僕らの五感は簡単にハックされる事実。たまんねぇぜ。
Source: SIGGRAPH Asia 2021
![【個人開発ゲームを斬る】アプリ史上トップクラス！ 美しすぎる水のパズル『a[Q]ua』 | スマホゲーム情報ならファミ通App](https://website-google-hk.oss-cn-hongkong.aliyuncs.com/drawing/article_results_7/2022/3/3/66755df992ff2d2b1e1ab43844ef9f88_0.jpeg "【個人開発ゲームを斬る】アプリ史上トップクラス！ 美しすぎる水のパズル『a[Q]ua』 | スマホゲーム情報ならファミ通App")
