【2019】Beholder-GAN: Generation and Beautification of Facial Images with Conditioning on Their Beauty Level

[Yongtae723]

ざっくり言うと

新たにできた顔面偏差値のラベルづけされたdetaset(SCUT-FBP5500 : この論文リストでも紹介済み)を用いることで、任意の顔面偏差値を持つ顔を　GANで生成できるようになったAIに関するモデル。

キーワード

Face beautification.
PCGAN

1. 情報

論文リンク

https://arxiv.org/abs/1902.02593

著者

Nir Diamant

投稿日付

2019

2. 先行研究と比べてどこがすごい？

顔画像のGANであるが、顔面偏差値のラベルづけされたデータセットを用いることで顔面偏差値をinput情報に入れたConditionated GANが作成された。

3. 技術や手法のキモはどこ？

まずはじめに顔面偏差値を予測できるAIを作成する（Aと仮に呼ぶ）。
今までの顔画像を作り出す、CGANでinputに顔面偏差値情報を入れる。
Generatorが作成した顔画像が本物かどうか判断するlossと作成された顔画像をAniかけた時のスコアがinputとどれだけ離れているかのlossの重み付き重ね合わせで全体のlossを計算する。

4. どうやって有効だと検証した？

A：detasetのラベルとAIが予測したあたいの相関係数は0.80であった。

一般の人たちに顔面偏差値が異なる２枚の画像を見せてどちらが美しく見えるのか評価してもらった。80％の人がinputと同様な評価を示した。

5. 議論はある？

人の顔の美しさとは一つの指標で測ることは困難であるが、AIはうまく人の美しさを表現する方法を身につけることができるということが判明した。

6. 次に読むべき論文は？

7. 実装の詳細

https://github.com/beholdergan/Beholder-GAN

8. データセット

9. 結果の詳細

https://github.com/beholdergan/Beholder-GAN

雑感&メモ