我思う、故に我在り、という世界までもう少しな、体の動き、表情、皺まで変えることができる技術まとめ

2018年は、リアルタイムモーションキャプチャーや顔と体の動きを別人に変換する技術などがシャレにならないレベルになってきたので少しまとめてみました。

リアルタイムモーションキャプチャ

Seamless:Epic Games、リアルタイムモーションキャプチャ技術の最新デモ映像を公開



俳優さんの動きに合わせてCGが動くんですよ。
リアルタイムですからね。マジっすか、という感想しかなかったです。
ゲーム開発はめっちゃ捗ると思いますが、応用範囲が広すぎて、引いてしまいました。

動画内の人の顔を別人の顔に変換

GIZMODO : ある人の表情を別の人の映像で完全再現する｢ディープ・ビデオ・ポートレイツ｣



1:00~オバマさんの顔がコントロールされています。マジっすか。
Souse Sequence　→　Result（Target）という淡々とした表現がディストピア感があります。6:40~のビデオ内の人の顔を動かすところはなかなかホラーです。

表情についてはもうひとつ

Seamless:カーネギー・メロン大学ら、別のビデオスタイルに動画を変換するGANを用いたデータ駆動型ビデオリターゲット技術を発表。顔から顔、花から花、風景から風景など



42秒~オバマさん人気です。多くの映像がある人は学習しやすいんですかね。最後のオバマさんとトランプさんの変換はシャレにならないんじゃないかと心配になります。
この技術は表情以外にも風景でもOKです。

体の動き

Seamless:IWR、ビデオ内において、動きは同じに人の外観だけを入れ替え可能なdeep learningを用いた手法を発表



体全体を別人に置き換えています。
再構築して置換しているので境界が不自然ですが、ここまでできてるというところがなかなかの恐怖です。

年齢を変える

GIZMODO : 不気味の谷現象を超えた脅威の｢若返りVFX｣技術は、もはやタイムマシン

Digital Beauty Retouch Age Reduction VFX 4K from rousselos Aravantinos on Vimeo.

リアルタイムではないですし、かなり作りこまないとできないようですが、時間をかければここまでできるということはわかりました。



本当にその人がそこでしゃべったことなのか？
その人の見た目は本当に見たままなのか？
そもそもその人は実在するのか？

「我思う、故に我在り」が21世紀になって違う方向に進化したような感じです。

今年は、リアルタイムレイトレーシングが可能なグラボも出たり、ハード、ソフトともに、もう後戻りできないところまできているような気がします。

GDC2018 レイトレーシングの話題まとめ

GDC2018でレイトレーシングの話題が盛り上がっていたのでまとめです。

まずは貼っときます→Wikipedia : レイトレーシング

NVIDIA

Seamless : NVIDIA、Volta GPU向けリアルタイム・レイトレーシング技術「RTX」発表

最近何かと話題のNVIDIAさん、ノリノリです。

Microsoft

4Gamer.net : ［GDC 2018］ついにDirectXがレイトレーシングパイプラインを統合。「DirectX Raytracing」が立ち上がる

MicrosoftさんはDXR（DirectX Raytracing）を発表しました。
詳細は...記事を読んでくださいｗ

Epic Games

PC Watch : Unreal Engineの「スター・ウォーズ」レイトレデモは実写と見紛うほどの出来

RTX+DXR+Unreal Engineのデモ映像です。
ストームトルーパーでは、CGということが全然わからないですね。


レイトレーシングとは直接関係ありませんが、GDCではUnreal Engineで驚いた話題がありました。

Siren Real-Time Performance

Engadget : Vtuberの未来？Unrealの「SIREN」。不気味の谷完全超えのデジタルヒューマンの誕生。GDCで発表（世永玲生）

リアルタイムキャプチャという意識を持ってしっかり見ていればなんとなく違和感はあります。でも、普通に映画のワンシーンとして流れてくれば気づかないと思います。
リアルタイムですからね...もう何を信じていいのかわからない世界に入ってしまったかもしれません。


昔々、社会人になったばかりの頃、3DCADで1枚のCG作るのに何分もかかったのが大昔のようです。すごい時代になったなー...

CGをCGとわかるようにしてくれてるのは優しさかもしれない。

CG！？マジ！？と驚いた動画があったので、最近のCG、フォトショ系の話題をまとめてみました。

 

マジ！？ってなったのはこの「Crazy Furniture」です。

Crazy Furniture

CGトラッキング : まるでホラーだけど面白い。物理シミュレーションで教室にある全ての小物をポルターガイストの如く荒らしてみたCG動画『Crazy Furniture』

Crazy Furniture from immortal-arts on Vimeo.

すげー…
CGトラッキングさんの記事なのでCGとわかるんですが、これが映画のワンシーンに入ってるとまったく気づかないだろうなーと思います。

 

ちょっと前に動画を加工するMVがあったんですが、これも驚愕。

BOGGIE - NOUVEAU PARFUM (official music video)

GIZMODO : リタッチ画面がそのままミュージックビデオに、歌い続けるボーカルがどんどん修正されていく（動画）

BOGGIE - NOUVEAU PARFUM (official music video) from THE SOUP on Vimeo.

どこまでがリアルタイムかは別にして、ここまで加工できるということに驚きです。 これも加工後だけ見てるとすると全然気づかないと思います。

 

そう思ってみると

New Transformer! Bagger 288!

IDEA*IDEA : 世界最大の掘削機「Bagger 288」がトランスフォーマーだったら？

CGらしくてかっこいい動画になっていて、こういうのは見てて楽しいんです。

 

この階段クマは違う意味で、えっ！？っとなります。動画の最初がネタばれなのが残念ですが。

WIRED : 哀しき「3Dプリント・クマ」の動画

BEARS ON STAIRS from DBLG on Vimeo.

3Dプリントしたクマを使ったストップモーションアニメです。何を言っているのかわからないかもしれませんが、そのままです。リンク先のWIREDさんに詳細があります。
リアルがCGに近づいていくという斜め上の方向で、いいぞもっとやれ感があります。

 

CGや加工が手軽＆高品質になってきてるので、気付いてないだけでリアルじゃない映像はいっぱいあるんでしょうね。すごいんですけど、ちょっと怖い…かな。

これからはもう全部CGでいいだろ？というくらい実写と区別の付かないCGの話題

CG関連技術を開発されているみなさんには、ゴールという言葉はないようです。

 

Rendering Synthetic Objects into Legacy Photographs 

GIZMODO : どこまでが実物でどこからが合成なの!? 超自然に、写真の中に物体を合成しちゃう技術（動画）

Rendering Synthetic Objects into Legacy Photographs from Kevin Karsch on Vimeo.

( ﾟдﾟ) ・・・
(つд⊂)ｺﾞｼｺﾞｼ
(；ﾟдﾟ) ・・・
写真の中にあまりにも自然にCGが重なっています。すげーなー

 

EVA

CG Tracking : ガラスのような繊細なオブジェが登場する映画『EVA』のオープニング

Eva / Film Main Titles from Dvein on Vimeo.

( ・_・) … CG … なんですかね？
映画のオープニングだそうですが…CG Trackingさんが載せているんですからCGだと思うんですが…すげーなー…

 

V-Ray Architectural Demo Reel 2011

CG Tracking : 『V-Ray DemoReel 2011』VFX、自動車、建築、広告の4つの部門に分けて収録。

( ・_・) というよりも (((（ ;ﾟДﾟ)))  な感じです。
CG Trackingさんの記事には他にも動画があります。

 

5:46 am

monogocoro : パリ湖(5:46 am)

5:46 am from ArtefactoryLab on Vimeo.

1910年のパリ大洪水をCGで再現した作品だそうです。
先にCGと言ってもらわないと、本物の映像だと思ってしまいます。（というか思った）

 

BOIL JAPAN.

GUNDAM.INFO : 「カップヌードル」×「ガンダム」コラボCM、本日よりTV放映開始！

おまけです。
技術の前に発想がｗ素敵ですｗ

 

これからは、もう、全部CGでいいんじゃね？と思ってしまいました。

TRON: LEGACY見てきた！CGの話題まとめ

すごかったです！おもしろかったー。ということで最近のCGの話題を。

 

The Making of Tron Legacy

CG Tracking : 見応えある7分！デジタルドメインによる『TRON LEGACY』のメイキング動画

すごいですよ！ほんと！
映画見てからこのMakingを見ると、へーーー！マジっ！？ってなります。セットとか役者さんってこれからどうなるんだろう？って考えさせられますね。

 

Animation Style :::CGW02:::

0130.blg : Animation Style :::CGW02:::

Animation Style :::CGW02::: from kohta0130 on Vimeo.

中に人が入ってるでしょ？というくらい自然すぎる動きです。
役者さんさえ要らなくなってしまいそうです。年賀状にARマーカがあって、こういう仕掛けがあると素敵ですね。

 

Google Body Browser

monogocoro : Googleが体内に進出(Google Body Browser)

人体を筋肉や骨などのレイヤ別にブラウズすることができるWebアプリです。
WebGLをサポートしているブラウザであれば利用することができるそうです。
詳細は→http://bodybrowser.googlelabs.com/

WebGLの詳細は→wikipedia : WebGL
Google先生といえば、O3Dはどうなったんですかね？

 

Call of Duty

ガジェット通信 : 凄いリアルなFPSゲームが登場！ まるで実写……というかこれ実写？

ｗｗｗ
CGを実写にしてみたシリーズです。ネタにしては作りこみ方が半端無いです。YouTubeにあった元ゲームの動画も貼っておきます。

 

物語としてのTRONは、エンディングをもうちょっとひねってほしかった気もしますが、あんまりひねってもダメなんですかね？次回作があることを期待したいと思います。

Word Lensがすごすぎるので、最近のARの話題をまとめてみた

Word Lensが各所で話題になっているので、慌てて最近のARの話題をまとめてみました。

 

Word Lens

Engadget : 動画：ARリアルタイム翻訳アプリ Word Lens

すげー！！！
iPhoneのカメラを通して英語⇔スペイン語のリアルタイム翻訳をしてくれるアプリです。元の文字の上に翻訳後の文字を重ねる、というARの使い方が素敵ですねー。YouTubeにやってみた動画がUpされていたので貼っておきます。

最初に熱く語った後、1分20秒くらいからやってみた映像です。文字小さすぎんじゃね？と思いましたが頑張って動いてますね。んーすごい！iPhoneの色なんか気にならないくらいすごいですｗ

 

Colours Of The Spectrum

monogocoro : ARネイル(Colours of the Spectrum)

前半はながーーーく語っています。ARが見たい人は4分50秒くらいからです。ARマーカーとして爪を使っています。
動画のJeremy Baileyさんはアーティストということですので、ARもすごいことになっていますが、身につけたイメージをARとして表示する、というのは定番になっていく気がしますね。リンク先にはノリノリのJeremyさんの別の動画もあります。

 

エロ

GIZMODO : やっぱりあるよね！ AR(拡張現実)をエロに活かすとこんな感じ（動画）

リンク先には動画があります。埋め込みコードが探せなかったのでリンクだけです。わざとではありませんｗ
正直、随分時間がかかったな…と思いつつ、やっと出たか…とも思うアプリですｗ

 

急いでまとめたのでARネタはここまでです。綺麗なマッチムーブの話題がありましたのでおまけに貼っておきます。

Graffiti Technica

SolidSmack : Graffiti Technica Sprays 3D Graffiti Out the Nose of Composite Video

3d graffiti - 'After from Graffiti Technica on Vimeo.

Wikipedia : マッチムーブ
動画になってしまえば、とても綺麗なARみたいに見えます。

 

↓こんなスマートフォンもでてきたので、

ITmedia : LG、デュアルコアTegra 2搭載のAndroid携帯「Optimus 2X」発表

最後のGraffiti Technicaのような処理が、ARとしてリアルタイムにできるようになる日もそんなに遠くない気がします。

スケボーや航空ショーや減損現実など、合成や映像技術の話題まとめ

前回はフルCGでしたが、今回は実写との合成の話題が中心です。

 

Batelco - Infinity

monogocoro : 予想外を目指す(Infinity)

すげー･･･
Batelcoさんというのはバーレーンのテレコム会社だそうです。
リンク先にはメイキング動画もあります。

 

岩国基地航空ショー

GIZMODO : もうCGと現実の区別がつかなくなった。岩国基地の航空ショーが凄いことに...（動画）

10分以上の動画ですが、ガンダムやベーダー卿、ヤマトからはやぶさまで、途切れることなく突っ込めるのであっという間でした。多分、見つけた倍以上のネタがあるような気がします。どれがCGでどれが実写なのか途中からわからなくなってしまいました。

 

Diminished Reality

GIZMODO : 減損現実、それはそこにあるものを無かった事にしてくれる都合の良い技術（動画）

ARの一種だと思いますが、減損現実と訳すそうです。
画面の一部を指示すると指示した箇所をリアルタイムで映像から除去してくれる技術です。除去部は周辺から合成しているので、金属などの一様なテクスチャ面では修正後がまったくわからなくなってます。すげーなー…
ビデオの中で「a fake?」って出てきます。最初マジでそう思いましたが、釣りじゃないようです。すぐにフォトショップに追加されそうな技術ですね。数年もすると、写真だけじゃなく動画もフォトショップ禁止！という声が聞こえるようになるかもしれないですね。

 

Autodesk Fluid FX

TechCrunch : インセプションとアバターに使われている技術の一部が、iPadとiPhone上で現実に

Mayaの一部の機能が搭載されたiPhone、iPad用アプリだそうです。
前半は煙や炎ですが、2分50秒くらいからの顔写真は…ダメでしょうｗ
AutodeskさんはProject Butterfly AutoCAD WS とか追ってると忘れてしまいますが、CADだけではないんですよね。

 

plenoptic lens

Engadget : 動画：Adobe、撮影後に再フォーカスできる複眼レンズ撮影をデモ

昆虫の複眼のようなレンズ（30秒～）で写真を撮影することにより、撮影後にフォーカスを変更できる（1分45秒～）という技術のデモです。
数年もするとピンボケって言葉はなくなるかもしれないですね。なんか、アハ体験みたいですけど。

 

 

ありえない合成だと気付きますが、何気ない合成だと今でも全く気付かずに見ているんでしょうね。

えっ…CG？実写じゃないの？CGなの？

というCGの話題をいくつか。

 

Silestone -- 'Above Everything Else'

GIZMODO : 現実と仮想の境界線が無くなっていく～超リアルなCGI（動画）

Silestone -- 'Above Everything Else' from Alex Roman on Vimeo.

Alex Romanさんの製作されたCGです。
( ﾟдﾟ) ・・・
(つд⊂)ｺﾞｼｺﾞｼ
えーと…どこにCGが？と思ってしまいましたが、すべてCGだそうです。笑ってしまうくらいにすごいです。
リンク先にはAlex Romanさんの去年の作品もあります。そちらもすごいです。

 

グランツーリスモ5

CG Tracking : このクオリティーで遊べるの？本日発売の『グランツーリスモ5』の動画

E3の時のコンセプトムービーです。
( ゜д゜)…CG？って感じです。何度見てもすごいです。本家のリンクを貼っておきます。
http://www.gran-turismo.com/jp/

 

F1 2010

ガジェット通信 : 実写かと思うくらいの映像美に大感動！ 『F1 2010』完成イベントに片山右京がウヒョー！

同じくレースゲームF1 2010の実写vsゲーム比較動画です。
同一画面の比較なので、どっちがゲーム？と言われればわかりますが、ゲーム画面だけみると気付かない気がします。

 

Mii

Engadget : 動画：ニンテンドー3DSの『Mii スタジオ』、カメラ で Miiを自動作成

これもCGですｗ なんでしょう…ほっとしますｗ

 

3DCADで作ったモデルのレンダリングに何十分もかかっていたのが遠い昔のことのようです。

CG Trackingさんで紹介された驚きのCGまとめ

CG TrackingさんというCG関連のニュースを配信されている有名なブログがあります。

毎日チェックさせてもらっているのですが、今年に入って特に(((（ ;ﾟДﾟ)))な感じになったCGをまとめてみます。時系列は関係なしです。

 

7分超の『Final Fantasy XIV』CGオープニングムービーが公開

ゲームとしてはいろいろ言われているようですが、Trailerはやっぱりすごいですよねー、んー、すごいです。

 

もう実写のようです。デモリール 『iCube Creative Group』のDemoreel 2009

iCube Demoreel 2009 from Artem Gorbachev on Vimeo.

CGって言われないとわからないです＞＜

 

実写かと思えばフルCG 非常にリアルな作品 『Classroom』

CGって言われてもわからないです＞＜ リンク先の記事にはメイキングもあります。

 

FFはOKなんですが、iCube→Classroomと見ていくと少し怖く？なってきます。怖さというか不気味の谷の感覚？に近いような気がします。不気味の谷はあるところから好感に変わるそうですが、CGの場合、近づけば近づくほど奇妙な怖さを感じる気がするのですが…慣れの問題ですかね？

 

その点、以下の２つは安心して見ていられるCGです。

 

【3DCG】 突如現れたドット達が世界を征服する。『PIXELS』

PIXELS by PATRICK JEAN.

上のCGに比べると安心してCGとして見ることができます。

 

【3DCG】 『IRON MAN』結構再現してます。 自主制作『IRON BABY』

自主制作でこのクオリティ！ みんなこの子が大好きなんですね。

 

 

「あれって全部CGだったの？」と後から気付く映画とかが製作されてもおかしくない時代になってきましたね。

Worksとジェームズ キャメロンとアバターとCGと合成と

SolidWorks blogから
And the keynote speaker at SolidWorks World 2010 is...
is…の後に続くのは...James Cameron…じぇーむずきゃめろん？！ジェームズ キャメロンですよ！だんな！
たかが、CADのお祭りに…Worksすげー…

時期的にアバターの話だろうなーと思って（まだ見てないけど）、CGすごいのかなーなどとアバターの映像探していたら、わかりやすいのがありました。
WIREDVISION : 映画『アバター』メイキング動画：モーションキャプチャの新技術

ここまでくると俳優さんの定義ってどうなるのだろう？と不思議な感覚になります。
↓ これと合わせると、
ひろぶろ : 最近の海外ドラマではこれだけの合成が行われている

驚きを通り越して、少し怖いくらいです。

 

追記
↓これもここに載せておきます。
IDEA*IDEA : 300ドルでCG映像を作ってYouTubeにアップ → 5日後にハリウッドから30億円のオファーが！