6/8 代表勉強通信～マービン・ミンスキーすげー「Deep Learning for Coders with fastai and PyTorch」②

こんばんは。代表の草場です。

マービン・ミンスキー、すげー。

引き続き、「Deep Learning for Coders with fastai and PyTorch」に関して。一章で、ニューラルネットワークに関する話が出てきます。

ディープラーニングは多様なアプリケーションを持っているにも関わらず、ほぼすべてのディープラーニングが単一のタイプのモデルであるニューラルネットワークに基づいています。
ウォーレン・マカロックとウォルター・ピッツにより、人工ニューロンの数学的モデルが開発されました。
「神経活動の「all or no」の特性のため、神経事象とその間の関係は命題論理によって扱うことができる。それは、すべてのネットの動作がこれらの用語で記述することができることが判明している」(Pitts and McCulloch; A Logical Calculus of the Ideas Immanent in Nervous Activity)

その後、マービン・ミンスキーがシーモア・パパートとともに「パーセプトロン」という本を書きました。彼らはこれらのデバイスの単一の層が単純で重要な数学関数（XORのような）を学ぶことができないことを示し、かつ、複数の層のデバイスを使うことでこれらの制限に対処できることを示しました。しかし、前者の方がフィーチャーされ、その後20年間、ニューラルネットワークは注目されませんでした。

1980年代には、ほとんどのモデルは第2層のニューロンで構築されていたため、ミンスキーが特定した問題を回避することができました。理論的には、ニューロンの層を1層増やすだけで、これらのニューラルネットワークを使ってどんな数学的関数も近似できるようになりますが、実際には、そのようなネットワークは大きすぎて、遅すぎて役に立たないことが多かったのです。実際に良い性能を得るためには、ニューロンの層をさらに多く使用する必要があることが30年前に研究者によって示されましたが、この原理がより広く理解され、適用されるようになったのはここ10年のことです。
ニューラルネットワークは、コンピュータのハードウェアの改良、データの利用可能性の向上、ニューラルネットワークをより速く、より簡単に訓練できるようにするアルゴリズムの調整によって、より多くの層を使用することができるようになったおかげで、今ではようやくその潜在能力を発揮しています。ローゼンブラットが約束した、「人間の訓練や制御がなくても、周囲の環境を認識し、認識し、識別することができる機械」が実現しつつあります。

今後楽しみにしていてください。