代表通信～Youtube部、VR/AI、Text-to-Image

こんばんは。代表の草場です。

本日はYoutube部ミーティングです。動画のプロの大澤さん、有名YouTuberの方も参画。細かい改善点が議論できました。Youtuberの方が言う通り、とにかくいろいろ試して具体的な結果を得ること。来週撮影です。演者として参画してくれる方、ありがとうございます！

VRいじろうという話で様々試しています。Facebookの動きで、「Facebook Develops AI Supersampling to Boost Rendering Performance for High-resolution VR Headsets」とう記事が勉強になりました。以下、簡単にまとめて抜粋。

「Facebookは、リアルタイムでレンダリングされたコンテンツをスーパーサンプリングするためのAI支援手法を開発した（”Neural Supersampling for Real-time Rendering”）。
ニューラルネットワークを使用して、低解像度の画像を入力し、リアルタイムレンダリングに適した高解像度の出力を得ることができるシステムを開発。これにより、計算オーバーヘッドを節約しつつ、シャープなディテールを復元することができるという。Facebookの研究者によると、よく似たコンセプトであるNvidiaのディープラーニング・スーパーサンプリングは、「アップサンプリングされた画像に明らかな視覚的なアーチファクトを導入し、特に2×2よりも高いアップサンプリング比では、すべてのプラットフォームで利用できない可能性のある独自の技術やハードウェアに依存している」とのこと。さらに、FacebookのNeural Supersamplingアプローチは、最新のゲームエンジンに簡単に組み込むことができ、専用ドライバなどの特別なハードウェアやソフトウェアを必要としない。」

ハードウェアに依存しない方法を開発したということですね。原論文を訳して勉強します。

ざて、昨日に引き続き、StackGANにてテキストから写真を生成。今回は人がうまく生成されるか、焦点を当ててみました。

a young boy using a computer on a kitchen table（机の上でパソコンを使う子供）

いや、子供どこいった。一番最後に子供らしきものが。

a group of people walking down a sidewalk next to a wagon of little children.（小さな子供たちのワゴンの横で歩道を歩いている人たちの集団。）

やばい、人の認識していないような気がする。なんか悪魔的な写真だ。どこに問題があるかを探し中。COCO見ると、人のデータセットが少なそうなので、それが原因か？

明日もGANとVR。