我思う、故に我在り、という世界までもう少しな、体の動き、表情、皺まで変えることができる技術まとめ

2018年は、リアルタイムモーションキャプチャーや顔と体の動きを別人に変換する技術などがシャレにならないレベルになってきたので少しまとめてみました。

リアルタイムモーションキャプチャ

Seamless:Epic Games、リアルタイムモーションキャプチャ技術の最新デモ映像を公開



俳優さんの動きに合わせてCGが動くんですよ。
リアルタイムですからね。マジっすか、という感想しかなかったです。
ゲーム開発はめっちゃ捗ると思いますが、応用範囲が広すぎて、引いてしまいました。

動画内の人の顔を別人の顔に変換

GIZMODO : ある人の表情を別の人の映像で完全再現する｢ディープ・ビデオ・ポートレイツ｣



1:00~オバマさんの顔がコントロールされています。マジっすか。
Souse Sequence　→　Result（Target）という淡々とした表現がディストピア感があります。6:40~のビデオ内の人の顔を動かすところはなかなかホラーです。

表情についてはもうひとつ

Seamless:カーネギー・メロン大学ら、別のビデオスタイルに動画を変換するGANを用いたデータ駆動型ビデオリターゲット技術を発表。顔から顔、花から花、風景から風景など



42秒~オバマさん人気です。多くの映像がある人は学習しやすいんですかね。最後のオバマさんとトランプさんの変換はシャレにならないんじゃないかと心配になります。
この技術は表情以外にも風景でもOKです。

体の動き

Seamless:IWR、ビデオ内において、動きは同じに人の外観だけを入れ替え可能なdeep learningを用いた手法を発表



体全体を別人に置き換えています。
再構築して置換しているので境界が不自然ですが、ここまでできてるというところがなかなかの恐怖です。

年齢を変える

GIZMODO : 不気味の谷現象を超えた脅威の｢若返りVFX｣技術は、もはやタイムマシン

Digital Beauty Retouch Age Reduction VFX 4K from rousselos Aravantinos on Vimeo.

リアルタイムではないですし、かなり作りこまないとできないようですが、時間をかければここまでできるということはわかりました。



本当にその人がそこでしゃべったことなのか？
その人の見た目は本当に見たままなのか？
そもそもその人は実在するのか？

「我思う、故に我在り」が21世紀になって違う方向に進化したような感じです。

今年は、リアルタイムレイトレーシングが可能なグラボも出たり、ハード、ソフトともに、もう後戻りできないところまできているような気がします。