もし家族が亡くなったあと、映像には残っていない本人の表情や動きを再現することができたら?これまで人間の表情や動きをCG化するには、本人がカメラの前に立ってデータを残しておかなければならなかった。しかし、もうすぐその必要はなくなりそうだ。

このたびワシントン大学の研究チームが、オンライン上の写真だけを利用して本人の顔の動きを再現するアルゴリズムを開発した。すこし変わっているのは、彼らが俳優トム・ハンクスの顔をサンプルとして使っていたことである。

University of Washington researchers have demonstrated that it’s possible for machine learning algorithms to capture the “persona” and create a digital model of a well-photographed person like Tom Hanks from the vast number of images of them available on the Internet.

トム・ハンクス

映画『プライベート・ライアン』や『グリーン・マイル』など話題作に数多く出演し、日本でも人気を博する俳優。

image by

Thompson on hollywood

写真による表情の再現

今回、研究チームはアルゴリズムの開発にあたってひとつの問いを立てていた。それは「トム・ハンクスをトム・ハンクスたらしめているものは何か?」だった。まず研究チームは、オンライン上にあるトム・ハンクスの画像を収集し、その顔を3DCGで再現している。トムをトムたらしめているのは、表情か動きか、それともビジュアルそのものか……。

トム・ハンクスの表情を再現した3DCG

上が参考とした写真、下がCG。

image by

UNIVERSITY of WASHINGTON

特筆すべき点は、このCGが『トム・ハンクスが話したことのない言葉を話すことができる』ということだ。さすがに声までは再現できなくとも、その表情(の動き)を再現することはできるのである。また写真さえあれば再現できる性質上、最近のトム・ハンクスの表情をかつてのトム・ハンクスの顔で再現することも可能なのだ。

左から、実際の映像・最近のトム(再現)・若い頃のトム(再現)。

image by

YouTube

そもそも今回の技術は、あらゆる画像から人物の『平均的な表情』を割り出し、その3Dモデル(下地)とテクスチャ(表面)を作成して組み合わせることで人間の顔を再現している。CGを作成して動かすには、3Dによる顔の復元、顔の位置追跡と調整、質感の再現、パペット化などの技術が用いられているのである。

その結果、なんと人物の『表情』だけをまったくの別人の顔で再現することもできる。その仕組みたるや、コピー元の表情を3Dモデル化すると、そこから『平均的な表情』を抜き取り、残ったモデルにコピー先である顔の『平均的な表情』のテクスチャを貼り付けて……理屈はさておき、こんな感じである。

ジョージ・W・ブッシュ前大統領の『表情』を世界の著名人で再現

すべての顔がオンライン上の画像から作成されている。果たしてブッシュをブッシュたらしめているものは……。

『もしも』のCG再現

もっとも、俳優や歌手といった有名人が3DCGで再現されるのは決して珍しいことではない。昨年はマイケル・ジャクソンがホログラムで復活したり、2008年の映画『ベンジャミン・バトン 数奇な人生』はブラッド・ピットの老け顔がCGで作られて話題を集めた。しかし、いずれも本人の姿を精密に撮影・加工したものであり、すなわち人間の表情や動きをCGで再現することはすでに十分可能なのである。しかし、そんな技術を家庭に持ち込むことはできず、一般の人間がそこまで精密な撮影を行う機会はまずない。

『ベンジャミン・バトン 数奇な人生』

頭部はブラッド・ピットが演じた様子を加工している。身体は別人のもの。

image by

COLLIDER

それに対して、今回のアルゴリズムは写真が200枚あれば人間の表情を再現できるという。200枚という数は多いようにも聞こえるが、家族の写真や映像をかき集めれば足りない枚数ではなさそうだ。遠くに暮らしていたり、すでに亡くなってしまった家族の姿を3DCGで再現することもいずれ可能になるだろう。このアルゴリズム、じつは大きな進歩といっても過言ではないのかもしれない。

REFERENCE:

What makes Tom Hanks look like Tom Hanks?

What makes Tom Hanks look like Tom Hanks?

http://www.washington.edu/news/2015/12/07/what-makes-tom-hanks-look-like-tom-hanks/

What Makes Tom Hanks Look Like Tom Hanks

https://homes.cs.washington.edu/~supasorn/0550.pdf

TED: The Magic of Benjamin Button

http://www.wired.com/2009/02/ted-the-magic-o/