代表通信～DM-GANに関して

こんばんは。代表の草場です。

頭からGANが離れず、安眠できない日々です。本日は、DM-GANについて。こちらのGitHubを参考にしています。

StackGANでは、まず大まかな形状と色を持つ初期画像を生成し，その初期画像を高解像度の画像に精緻化する手法が採用されていましました。これは、2 つの問題点を抱えていました
(1)初期画像の品質に大きく依存する。
初期画像が十分に初期化されていない場合、次の処理では、満足のいく品質の画像を生成することができない
(2) 画像の内容が異なる場合には，それぞれの単語の重要度が異なるが，既存の画像精緻化処理ではテキスト表現を変更せずに処理を行っていた。
DM-GAN（Dynamic Memory Generative Adversarial Network）では、高品質な画像を生成するために、初期画像が十分に生成されていない場合に、ファジー画像の内容を精緻化するためのDynamic Memory Moduleを導入しています。
初期の画像内容に基づいて重要な文字情報を選択するためのメモリ書き込みゲートを設計し、テキスト記述から正確に画像を生成することが可能となります。

うーむ、おぼろげに、、。どうやって思いつくのか。

明日もText-to-Image