早稲田大学の教育・研究・文化を発信 WASEDA ONLINE

RSS

YOMIURI ONLINE

ホーム > 研究力 > WASEDA研究特区―プロジェクト研究最前線―

研究力

▼WASEDA研究特区―プロジェクト研究最前線―

IT研究機構 デジタルエンタテインメント研究所

観客が演じ手となる映画を実現
――「Dive Into the Movie」

デジタルエンタテインメント研究所所長、森島繁生教授

©dentsu/dentsu tec 観客自身が映画の主人公になれるデジタルエンタテインメントシステム(モデルは森島教授)

 様々なジャンルで活躍する日本人の作品の独創性が、「クール・ジャパン」などともてはやされ、映画、アニメ、漫画、オタク文化などが世界中に知られるようになってきたものの、コンテンツ産業に占める海外での売上比率をみると、米国17%に対して日本は3%(経産省2002年報告書)と、数字ではひどく小さな割合でしかない。日本のコンテンツ産業の規模も世界の平均を下回っており(対GDP比で日本2.2%、世界3.2%、米国5.1%)、成長率の低迷も大きな課題となっている。

 そうした状況の中、政府は「日本を世界トップクラスのデジタルコンテンツ大国にする」という旗印を立て、有識者による議論や構想の策定、さらには具体的な推進策が展開されてきた。もっか、2015年までにコンテンツ産業の規模を20兆円へ育て上げる(2007年度現在で約13.8兆円、うちデジタルコンテンツは2.7兆円)ことが目標とされており、実質的にその成長の大部分を担うのがデジタルコンテンツといわれる。

 そこで鍵を握るのが、これまでにないデジタルメディア技術の開発やその実用化・産業化を担う高度なクリエーターの育成などのソフトパワーである。しかしながら、日本ではこのソフトパワー、特に技術をエンタテインメントの実用化・産業化に結びつけるところが、米国に比べて圧倒的に弱いといわれる。

そんな中、気を吐く取り組みを展開しているのが、早稲田大学デジタルエンタテインメント研究所のプロジェクト「Dive Into the Movie」である。本格的な映像作品の中に、観客自身が演じ手として登場する、まったく新しいデジタルエンタテイメントの技術に取り組んでいる同研究所の所長、森島繁生・理工学術院教授に話を聞いた。

顔、表情、さらには後頭部の形、首の太さ、体形などを推定して「その人らしさ」を追求しつつ、髪形などは好きなものを選べる仕組みを提供するなど、エンタテインメントならではの開発に取り組んでいる。

愛・地球博で花開いた新技術

待ち時間に撮影した観客顔写真を、出演者の顔に合成

©dentsu/dentsu tec 観客全員が自ら出演者となった映画を楽しめる世界を実現した

 2005年、愛知県で開催された「愛・地球博」。そのパビリオンの1つ、「三井・東芝館」を舞台に、これまでにないまったく新しい観客参加型のデジタルエンタテインメントシステム「フューチャーキャスト®」 がデビューした。80名のシアターホール×3ユニット、40分の上映時間1回のローテーションで総計240名が参加できる会場では、未来の地球と宇宙を舞台にした映画『グランオデッセイ(GrandOdyssey)』が上映された。この映画は、観客全員が映画の中に入り込んで演じるという、世界で初めての仕組みを実現。のべ163万人の観客が、この新しいエンタテインメントを体験した。

 各界の一流のスタッフを起用して制作された『グランオデッセイ』だが、このデジタルエンタテインメントの要素技術であるフューチャーキャスト®システムの根幹を支えたのが、森島教授が長年手がけてきた、人間の顔や表情の推定・合成の技術である。

 まず待ち時間のあいだに、観客全員の顔の撮影を行う。7台のデジタルカメラで撮影した画像はシステムに取り込まれ、映画の登場人物の顔として合成される。誰がどの役を演じるかの配役は、参加者の年齢や性別などによって自動的に割り振られる。 「使ったのはごくふつうの安いデジタルカメラですが、7つの角度から撮影することで、できるだけ精度の高い、その人らしい顔や表情を表現することに注力しました。自分がどの役を演じるのかは事前に知らされないので、映画を見ながら自分を探すのも楽しみの1つです。複雑なストーリー展開もあわせて、ゲーム感覚で楽しめるよう工夫しました」(森島教授)

 準備期間は、ほぼ2年半。プロデュースを担当した大手広告代理店の担当者が、森島教授を最初に訪ねたときには、ほんのアドバイザー程度の気軽な気持ちでこのプロジェクトを受け止めていたという。「ところが、プロジェクトが実際にスタートしてみると、いつのまにか渦中に巻き込まれて、映画制作のクリエーターや多くのスタッフと共に、世界初のエンタテインメントの実現に向けて全力投球している自分がいました(笑)。実際にシステムの実装に携わった学生にとってもよい経験になりました」

演じ手の視点からコンテンツを体験

Dive Into the Movieでは、顔だけでなく後頭部や体形も推定するため、カメラ3台を使用し、耳のあたりまでを撮影する。以前に比べて簡便なシステムで、より高い精度とはるかにスピーディーな処理速度、安価なコストを実現している。

ビデオの前で、無表情から笑顔を作ってもらう実験を繰り返し、表情筋の動き方のデフォルトモデルをあらかじめ開発。運用時には、カメラの前で参加者にも同じ動作をしてもらうだけで、デフォルトのバリエーションの中から、その人らしい笑顔のモデルを瞬時に選定し合成する。

顔の脂肪層の厚みを考慮することで、表情筋の動きのモデルは口元や頬の表情が豊かになり、よりリアリティを増してくる。

 その後、『グランオデッセイ』は、長崎のテーマパーク、「ハウステンボス」で常設のアトラクションとなっている。コンテンツは愛知万博と同じだが、顔の撮影とモデル化にかかる待ち時間が、約2~3分から、10秒へとスピードアップされるなど、格段に実用性が高まった。
「万博では、精度を徹底的に追求しました。その経験を通じて、“その人らしく見える”ということの妥協点も見えてきて、オーバースペックなところを省いていった。その結果、顔に当てる縞模様の陰影の分析技術の方に重点をかけることで、デジタルカメラ台数を1台ですませることに成功し、飛躍的に処理スピードが上がりました」(森島教授)

 その一方で、さらなる進化形を目指し、2006年度からの3年間をかけて、ATR(株式会社 国際電気通信基礎技術研究所)、大阪大学と共同で、「新映像技術ダイブイントゥザムービーの研究」という研究プロジェクト(*) に取り組んできた。研究目標は大きく2つ掲げられた。1つは、顔や表情に加えて、体形、声、歩容(歩き方)などの個人的な特徴を再現し、「その人らしさ」のリアリティを追求することである。もう1つは、映像の中で自分が演じる自分の視点から見た、主観的な映像の世界を再現することである。フューチャーキャスト®では、映像の中の自分を客観的に見ることができたが、さらに映画のシーンのただ中に飛び込んで、演じ手の見ている世界を実体験できるような技術を目指している。

 歩容や全身のモデリング、登場人物の視点からのパノラマ映像生成の技術を、大阪大学チームが、台詞を自分の声で吹き替えるための音声研究や、3次元音場空間の再現技術をATRチームが担当した。早稲田大学チームは、表情モデリング、身体動作モデリング、リアルタイムキャラクタアニメーションに関する研究を進めるとともに、プロジェクトリーダーとして技術を実証システムとしてまとめ上げ、システム全体の評価を担った。技術的な課題は山積だが、目的が新しいデジタルエンタテインメントシステムの実現だけに、要素技術の性能向上ばかり追求していても、実用化にはなかなか結びつかない。参加者にかける負担をどれだけ少なくできるか、参加者を楽しませるためにどのような演出が必要かといったことが、開発の重要なターゲットとなってくる。

 「例えば、実験ではスイミングキャップを被ることで、髪の毛をよけて計測することができても、実際にはお客様にキャップを被らせるわけにはいきません。“こんな顔形だったら、後頭部はだいたいこんな感じ”といった推定の技術やデフォルトモデルのバリエーションの開発、あるいは“若く見せたいときは首を細く”といった、エンタテイメントならではのリアリティある演出手法を開発することが大切です」(森島教授)。

 (*「Dive Into the Movie」は、文部科学省 科学技術振興調整費「重要課題解決型研究等の推進」プログラムでの平成18年度採択課題 「新映像技術ダイブイントゥザムービーの研究」により進められたものです。)

「Dive Into the Movie 」が目指すのは、自分が演じる自分の視点から主観的に世界を眺めたり音場を体験したりできる、さらに進化したデジタルエンタテインメントのシステムだ。主観視点全方位の映像(提供:大阪大学産業科学研究所)

高度な専門人材の活躍の場を求めて

日本科学未来館で行われたイベント「Dive into the movie 新しいエンタテインメントの幕開け」

 もともと人間の表情筋の研究を行っていた森島教授は、機械的な筋肉モデルを作って実験を行ったり、人体解剖に立ち合って人間の表情筋を観察したりと、もっぱら基礎研究に従事してきた。エンタテインメントに関心をもつようになったのは、1990年代半ば、米国出張の際にハリウッドで目にしたちょっとしたサービスがきっかけだった。プリクラのようなブースで、有名雑誌の表紙に自分が登場する合成写真を作成しておみやげに購入するというものだが、幸か不幸か「これの映画版を作ったらおもしろい」と思ってしまったのである。

 しばらくの間は、名画やハリウッド映画の中に自分が入り込む、といった実用モデルを想定して試行錯誤を続けていたが、実証実験やデモンストレーションを行うにしても、著作権の問題がクリアできなければ何もできない。デジタルエンタテインメントの世界で実用化開発に取り組むには、ビジネスモデルや資金面での確固とした裏付けのある支援がどうしても必要となる。
「万博の話が来たのは、ちょうどこの壁にぶつかって、やる気を失いかけていた頃でした。開発中は無我夢中でしたが、自分たちの技術を中心に据えて、一流のクリエーターの協力を得てゼロから独自のコンテンツを制作できたのですから、こんな贅沢はありません」(森島教授)

 そんな恵まれた環境は、日本においては稀少である。デジタルコンテンツの開発現場で、高い専門能力を持った技術者が活躍できるような機会は非常に少ない。 「アメリカでは、例えばMIT(マサチューセッツ工科大学)の博士号を取り、CG分野の国際会議、SIGGRAPH(シーグラフ)で論文発表を行った学生が、エンタテインメント関連企業の研究開発部門にきわめてよい待遇で就職するというのは日常茶飯事です。層の厚い研究開発環境があるからこそ、常に革新的なエンタテインメントが創造され続けているのです。残念ながら日本では、力を持った学生を育てても、製造業とか金融とかまったく畑違いの分野に就職するしかない状況です」(森島教授)

日本から革新的なデジタルコンテンツを発信していくには、こうした状況を打破していかなければならない。森島教授らが目指すのは、目先の技術の開発だけではなく、産学官の様々な人々とのネットワークを広げ、ビジネスの仕組みや事業開発の仕組みそのものから変えていこうとする、息の長い取り組みなのだ――。

©dentsu/dentsu tec

関連リンク

早稲田大学デジタルエンタテインメント研究所
http://www.it.waseda.ac.jp/project/itpj13.html

早稲田大学IT研究機構
http://www.it.waseda.ac.jp/index.html

早稲田大学理工学術院
http://www.sci.waseda.ac.jp/

早稲田大学 森島研究室
http://www.mlab.phys.waseda.ac.jp/

「Dive Into the Movie」(文部科学省科学技術振興調整費プロジェクト)
http://www.diveintothemovie.net/jp/

デジタルアニメーションラボラトリ(科学技術振興機構CRESTプロジェクト)
http://www.cavie-x.net/