【2016】Face2Face: Real-time Face Capture and Reenactment of RGB Videos

[Yongtae723]

ざっくり言うと

input動画　:　人の表情が映された動画
target動画　:　例えば映画の中の俳優の顔

target動画の中の人物がinput動画の人間の表情と同じ表情をするAI。

メカニズムを簡単に説明すると、
input動画、target動画の人物の顔のshapeを3D fitする。その後、input , targetの表情をmargeさせることで自然に表情を変換する。この論文は3D fitの方法、表情のmergeで大きな貢献をしているらしい。
サンプル動画　:　https://www.youtube.com/watch?v=ohmajJTcpNk

映画等の吹き替えとかで、俳優の口元の変換を行う等の応用が期待されている。

キーワード

Face recognition, 表情入れ替え

1. 情報

論文リンク

https://web.stanford.edu/~zollhoef/papers/CVPR2016_Face2Face/page.html

著者

J. Thies

投稿日付

2016年

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

7. 実装の詳細

8. データセット

9. 結果の詳細

雑感&メモ