Paul Debevec / 青木靖 訳
2009年3月
コンピュータグラフィックスにおける最大の難問の1 つは、本物のように見える人の顔をデジタル合成することでした。これが難しい理由は、エイリアンや恐竜とは違って、私達が人の顔を毎日見ているからです。私達がコミュニケーションを取る上で顔は重要な役割を果たしているので、レンダリングされた顔が微細な部分まで再現していないと、本物らしく見えないのです。
これからの5 分間で、写実的な顔を合成しようと私達が試みたプロセスを辿っていこうと思います。これには私達がImage Metrics社と開発したCG の技術を使っています。対象としたのは、ここに出ているエミリー・オブライエンという女優の顔です。これは実際にレンダリングで生成された彼女の顔です。動いているところを後でお見せします。
出発点となるのはエミリー本人です。彼女はマリーナデルレイにある私達のラボまで来て、このLight Stage 5 での撮影を快く引き受けてくれました。この球面は顔をスキャンする装置で、156 個のLED が取り付けられており、照明の状況を自由にコントロールしながら撮影ができるようになっています。私達が最近使っている照明の種類はこのようなものです。この全部を3 秒ほどで撮れます。これで基本的に十分な情報を得られます。彼女の顔の等高線を描き出すビデオプロジェクタのパターンと、Light Stage による様々な方向からの光で、彼女の顔を粗いスケールと微細なスケールで把握します。
この写真を拡大してみましょう。彼女を捉えたとても良い写真です。あらゆる方向から同時に照らされていて、顔のテクスチャがよく現れています。私達はすべての照明に偏向フィルタを付けています。偏向サングラスが路面のぎらつきを押えるように、偏光フィルタは肌のてかりを押えます。これにより正反射なしにテクスチャマップが得られます。偏光フィルタを少し回すと、肌の正反射が再び現れ、光って脂ぎって見えます。この2 つの画像の差分を取ると、球面全体に照らされた肌の反射だけを取り出すことができます。私達がここでやったような写真は今まで撮られたことはないと思います。これは捉えるべき非常に重要な光です。顔の一番表面で反射された光で、肌の透明な層を通ったぼやけた光は除かれています。そのため、私達みんなが持っていて本物の人らしく見せている肌のキメや細かい皺のとても良い情報が得られます。この正反射から得られた情報を使うと、従来の顔のスキャンによる顔の全体的な輪郭や基本的な形状に、肌のキメや細かい皺の情報を付け加えることができます。ここで重要なのは、この測光プロセスには3秒しかかからないということです。私達はエミリーのたくさんの顔の表情の写真を、ある日の午後だけで撮影することができました。
彼女が目や口を動かしている写真が並んでいます。これらを使って写実的なキャラクタを作り出します。このエミリーのスキャン画像を見ていると、人の顔というのが驚くほど多彩な表情を作れるのがわかります。ここでは顔の形状の変化だけではなく、あらゆる肌の屈曲や皺のパターン、肌のキメの変化を見ることができます。引き延ばされたところから、通常の肌のテクスチャまで。眉の畝とその微細構造の変化。筋肉に引っ張られて眉毛が下がり、しかめ面のときは額の肉が盛り上がります。
このような高解像度の形状に加え、カメラが捉えた顔に使えるすばらしいテクスチャマップがあります。赤、緑、青という照明の異なる色の成分は拡散の仕方が違い、それを考慮して肌のシェーディングを行います。そうすると、石膏で出来たマネキンみたいだったのが、生きた人間の肉体に見えるようになります。
これはImage Metrics 社がデジタル版のエミリーの作成に使ったもので、粗いスケールの形状による彼女のデジタル操り人形です。これらの糸を引くと、私達が撮ったスキャン画像に合った形で動きます。粗いスケールの形状に加え、ディスプレイスメントマップを使って微細な部分を作ります。これは動かすこともできます。これがディスプレイスメントマップ。彼女の動きに応じて違った皺が現れています。
次にアニメーションを付けます。データの元としてエミリー本人が演じた映像を使いました。そのビデオをコンピュータビジョンのテクニックを使って解析し、コンピュータが生成した動きを持った顔を作り出しました。この後見ていただくのは完成したデジタルの顔です。ボリュームを少し上げましょう。
(エミリー) Image Metrics はマーカーなしパフォーマンス駆動アニメーションの会社です。テレビゲームや映画のためのハイクオリティな顔のアニメーションを専門としています。
レイヤに分解してみましょう。これは光の拡散の部分です。これは正反射部分のアニメーション。皺が現れているのがわかります。これは下にあるワイヤフレームのメッシュ。そしてエミリー本人。
今後どうするかですが、Light Stage 5 を一歩先へ進めたLight Stage 6 を作りました。このテクノロジーを人の体全体に適用しています。彼は研究メンバーのブルース・ローメンで、走っているところをキャプチャするモデルになってくれました。コンピュータで生成した彼が、新たな環境の中で走っているのをご覧ください。どうもありがとうございました。(拍手)
[これはTED公式日本語訳です。翻訳をレビューしていただいた久島昌弘氏に感謝します。]
付録
リンク
| home rss |