DCGAN

DCGAN（Deep Convolutional GAN)は、2015年にA.Radfordらによって発表された敵対的生成ネットワークの一種であり、生成ネットワーク（generator）と識別ネットワーク（discriminator）の2つのネットワークに畳み込みニューラルネットワーク(CNN)を用いたモデルのことである。

概要

DCGANにおける生成モデルは100次元の一様分布Zを入力とし、転置畳み込みによって徐々に画像空間へ投影していく仕組みである。また識別モデルは同じくプーリング層を使わずに畳み込みによってダウンサンプリングしていき、活性化関数にはReLUの代わりに漏洩ReLU（Leaky ReLU）を使用する。

プーリング層や全結合層を使わずにCNNによって学習を進めることで、通常のGANよりも鮮明な画像の生成が可能になった。

さらにDCGANによる生成は、その入力のベクトル空間的な性質が極めて良いことが明らかになり、値の近い入力同士なら似たような画像を生成し、二つの入力の間の値によって生成される画像は二つの画像の意味的な中間となる。これにより、入力を適切に調整することでより高次な特徴レベルの画像をコントロールすることができる。^[1]

派生物

Least Square GAN

LSGAN（Least Square GAN）では、識別ネットワークの最終層の活性化関数である標準シグモイド関数を無効化し、損失関数を平均二乗誤差に置き換えたものである。通常のDCGANに比べ、安定性が大幅に上昇したことが報告されている。^[2]

Wasserstein GAN

WGAN（Wasserstein GAN）は名称の通り識別ネットワークをワッサースタイン距離関数に近づけるため、重みのクリッピング及び損失関数の再設計を行い、識別ネットワークのリプリッツ連続性を担保する手法である。通常のDCGAN及び先述したLSGANに比べ、クオリティの高い画像が生成されたことが報告されている。^[3]損失関数の設計を改良したWGAN-gpが存在する。^[4]

Progressive Growing GAN

PGGAN（Progressive Growing GAN）はWGANの着想をさらに発展させ、ミニバッチ内の標準偏差を算出する機構を識別ネットワークに導入し、さらに識別ネットワーク・生成ネットワークの両方を複数の段階に分割して学習をするようにしたものである。^[5]

脚注

^ AIとデータ ―データに基づく意思決定と社会イノベーション創出―. オーム社. (2018年)
^ Mao, Xudong; Li, Qing; Xie, Haoran; Lau, Raymond Y. K.; Wang, Zhen; Smolley, Stephen Paul (2017-04-05). “Least Squares Generative Adversarial Networks”. arXiv:1611.04076 [cs]. https://arxiv.org/abs/1611.04076.
^ Arjovsky, Martin; Chintala, Soumith; Bottou, Léon (2017-12-06). “Wasserstein GAN”. arXiv:1701.07875 [cs, stat]. https://arxiv.org/abs/1701.07875.
^ Gulrajani, Ishaan; Ahmed, Faruk; Arjovsky, Martin; Dumoulin, Vincent; Courville, Aaron (2017-12-25). “Improved Training of Wasserstein GANs”. arXiv:1704.00028 [cs, stat]. https://arxiv.org/abs/1704.00028.
^ Karras, Tero; Aila, Timo; Laine, Samuli; Lehtinen, Jaakko (2018-02-26). “Progressive Growing of GANs for Improved Quality, Stability, and Variation”. arXiv:1710.10196 [cs, stat]. https://arxiv.org/abs/1710.10196.

参考文献

原論文
- Alec Radford, Luke Metz, Soumith Chintala (2015年11月19日) https://arxiv.org/abs/1511.06434.arXiv. 2020年7月5日閲覧。
Antonio Gulli, Sujit Pal (2018) 『直感DeepLearning』オライリー・ジャパン
浅川伸一 , 江間有沙 , 工藤郁子 , 巣籠悠輔 , 瀬谷啓介 , 松井孝之 , 松尾豊　著（2018)『ディープラーニングG検定公式テキスト』翔泳社

この項目は、コンピュータに関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています（PJ:コンピュータ/P:コンピュータ）。

[1] AIとデータ ―データに基づく意思決定と社会イノベーション創出―. オーム社. (2018年)

[2] Mao, Xudong; Li, Qing; Xie, Haoran; Lau, Raymond Y. K.; Wang, Zhen; Smolley, Stephen Paul (2017-04-05). “Least Squares Generative Adversarial Networks”. arXiv:1611.04076 [cs]. https://arxiv.org/abs/1611.04076.

[3] Arjovsky, Martin; Chintala, Soumith; Bottou, Léon (2017-12-06). “Wasserstein GAN”. arXiv:1701.07875 [cs, stat]. https://arxiv.org/abs/1701.07875.

[4] Gulrajani, Ishaan; Ahmed, Faruk; Arjovsky, Martin; Dumoulin, Vincent; Courville, Aaron (2017-12-25). “Improved Training of Wasserstein GANs”. arXiv:1704.00028 [cs, stat]. https://arxiv.org/abs/1704.00028.

[5] Karras, Tero; Aila, Timo; Laine, Samuli; Lehtinen, Jaakko (2018-02-26). “Progressive Growing of GANs for Improved Quality, Stability, and Variation”. arXiv:1710.10196 [cs, stat]. https://arxiv.org/abs/1710.10196.

[1]

[2]

[3]

[4]

[5]