早稲田大学の教育・研究・文化を発信 WASEDA ONLINE

RSS

YOMIURI ONLINE

ホーム > オピニオン > サイエンス

オピニオン

▼サイエンス

森島 繁生(もりしま・しげお)早稲田大学理工学術院教授 略歴はこちらから

「どこでもドア」を実現する技術
未知の体験を誰でも簡単に

森島 繁生/早稲田大学理工学術院教授

 「どこでもドア」の正確な定義は明らかではないが、おそらく別の場所に瞬時にテレポートする技術と解釈するならば、そもそもそんなことは物理的には不可能である。しかし、物理的な体の移動を伴わなくとも、実質的にそこに移動したのと同等の感動や印象が体験できるならば「どこでもドア」の効果は満たされる、と解釈すれば技術的にはかなり可能になってきている。かつてヴァーチャルリアリティ(VR)が一世を風靡した。CAVEと呼ばれる6面スクリーンに視点と同期した立体映像を表示して、没入空間の表示とオブジェクトのインタラクティブ操作を実現していた。しかし体験するものの映像がCG合成されるものであったため、もちろんキッチンの仮想体験や建設予定のマイホームウォークスルー体験などで商業的な成功を収めたものの、感動を与えるレベルには達しなかった。また、仮想空間でのコミュニケーションを実現する臨場感通信会議、あるいは仮想空間と現実空間を重ね合わせるオーグメンティッドリアリティ(AR)に発展したが、それはあくまで道具であって、感動を伝える手段ではない。それは、あくまで対象が合成されたフェークの世界であって、現実の世界とは甚だ異なっていたからである。

正面顔画像からの3次元顔形状再現例 Active Snap Shot

 自身をテレポートするのは物理的に無理としても、行きたい場所の環境を自分のところに持ってくる技術、それがダイブイントゥザムービーと称する文部科学振興調整費プロジェクトで、我々がめざした研究テーマである。人間は、五感で刺激を受けとるが、特に視角と聴覚の情報に着目して、ある場所に行ってカメラマンや主人公が感じる刺激を、そのまま現在の立ち位置に忠実に再現することをめざす技術である。すなわち、パノラマ映像の撮影・再現技術(FIPPO)、立体音場の収録・再現技術(波面合成法)である。この技術は、実は実際にどう努力しても一般の人には行けない場所(たとえばエベレストの山頂、深海、ライオンの檻の中、あるいは試合中のプレイヤーの位置、映画の主人公の位置を、実際に体験できるという、「どこでもドア」でも実現不可能な技術であると言える。通常のビデオ映像とはどこが異なるかと言えば、ビデオはあくまでカメラマン視点であるのに対して、パノラマ映像を収録して再現することによって、立ち位置から見える映像を360°高画質で再現する。またヘッドマウントできる撮像装置の工夫によって、撮影者の目の高さでの映像を再現しているので、周りに人がいればアイコンタクトも可能であるし、バッテリー駆動軽量可搬であることからどこにでも持ち出せるメリットがある。一方、音場の方は、バイノーラルやドルビーサラウンドなどと異なり、その空間に展開される音場の波面を物理的に再現しているので、ヘッドフォンなどを装着せずに、まさにその場所に立って聞こえる音が、自然に耳に入ってきて、そこで頭をくるりと回転させれば、音源の方向や立体的な音響も認知することができる。この2つを組み合わせれば、今まで体験したことのない世界が、手軽に安全に誰もが手に入れることができる。

パノラマ映像撮影システム(FIPPO)と撮影映像 (京大 近藤一晃提供)

Future Cast Systemの映像

 さて、人間の欲求とは留まるところを知らず、実環境への没入だけではなく、見ている映画作品に自分も入り込みたいと思うことがある。いわば、ストーリーへのテレポートである。これを実現したのが、Future Cast Systemである。2005年夏に愛・地球博、三井・東芝館で世界で初めて公開された、ユーザ体験型の映像エンタテインメントである。来場者の顔をスキャンして、映画が始まると登場人物がすべて来場者の顔で置換され、演技をし、表情を変えるというしくみである。これは、いわば自分の姿を第三者視点から鑑賞し、家族や友人と感動を共有できる点が特徴である。個人で楽しむのと異なり、ある種のヒロイズムに浸れたり、また自分を客観的に見ることができる点から、さまざまな教育効果も期待できる。その後、個人特徴をカスタマイズする機能が技術的に進歩し、2007年には、ハウステンボスで常設展示の商用システムとして公開された。3分かかっていた顔スキャンの時間は10秒と短縮され、モデル化ミスは完全に消滅、そして気に入ったら写真を購入してもらうというオプションも増えた。この公開後すでに4年を経ているが、台湾、韓国、中国等の来場者も多い昨今、人気No.1の座は依然維持されている。また現在は、さらに技術進歩を果たし、複雑な装置を使わずに1枚のスナップ写真から顔の3Dメッシュモデルを再現可能な技術を確立して、処理時間もノートPCで2秒以内、しかも顔形状の破たんはほとんどないという高精度かつ高効率なレベルに達した。カスタマイズする機能も顔形状にとどまらず、声、歩き方、表情変化、皮膚の質感、体格、頭髪と多彩になり、登場するキャラクタのリアリティは劇的に向上し、より身近な存在に近づいた。カスタマイズに要する時間も計測からモデル化まで数分で実現できる。この技術が日の目を見るのも時間の問題である。

キャラクタカスタマイズの例

森島 繁生(もりしま・しげお)/早稲田大学理工学術院教授

【略歴】
1959年和歌山県串本に生まれる。1987年東京大学大学院工学系研究科修了(工学博士)。成蹊大学工学部電気工学科で、専任講師、助教授、教授を経て、2004年早稲田大学理工学部教授。現在に至る。成蹊大学では臨場感通信会議の基礎となる知的画像符号化の研究を行い電子情報通信学会から業績賞を受賞する。またその間、1994年トロント大学客員教授。ここで顔の表情筋モデルの研究を行う。1999年より2010年までATR客員研究員を務め、インタラクティブメディアや音声翻訳技術の応用について研究を行った。2010年Dive Into the Movieの研究で、電気通信普及財団テレコムシステム技術賞を受賞している。グラフィックス、ビジョン、音声・音楽情報処理の研究に従事している。実用的な成果としては、「のだめカンタービレ巴里編」でのモーションキャプチャ応用技術、「真・三國無双6」、「戦国無双3.Z」のリアルタイムスキンシェーダ開発。