代表技術通信～PointNetを使い倒す①

こんばんは。代表の草場です。

Unityを使った点群の再表示がうまくいかず。Pcache形式が成り立たない。。なぜだ。

ということで、悩みが尽きないですが、PointNetを使い倒すことにしました。こちらの原論文を読みながら、Tensorflow、Pytorchでやってみます。

抄録
点群は、幾何学的なデータ構造の重要なタイプです。その不規則な形式のため、ほとんどの研究者はこのようなデータを通常の3Dボクセルグリッドや画像の集合体に変換します。しかし、これではデータが不必要に膨大になり、問題が発生する。本論文では、点群を直接消費する新しいタイプのニューラルネットワークを設計し、入力中の点の順列不変性を十分に尊重する。PointNetと名付けられたこのネットワークは、オブジェクトの分類、部品のセグメンテーション、シーンのセマンティック解析などのアプリケーションに統一されたアーキテクチャを提供します。PointNet はシンプルですが，非常に効率的で効果的です．経験的には、最新の技術と同等かそれ以上の性能を示しています。理論的には、ネットワークが何を学習したのか、なぜ入力の摂動や破損に対してネットワークが頑健なのかを理解するための分析を行います。

点群特有の順不変性、移動不変性、局所性（これは取り入れてないかも）を取り入れています。@opeco17さんのPointNetの理論と実装(点群データ)が大変勉強になりました。

早速Pytorch版をGoogle Colaboratoryで実践しようとしたところ、Colabがアプリとして導入できないという。。

明日頑張る。