代表技術通信～PointNetを使い倒す③

こんばんは。代表の草場です。

PointNetに関してまとめている論文、Deep Learning for 3D Point Clouds: A Survey、を読み始めました。

2 背景
2.1 データセット
多数のデータセットを収集して、さまざまな3D点群アプリケーションに対するディープラーニングアルゴリズムの性能を評価しています。3次元形状分類には、合成データセットと実世界のデータセットの2種類のデータセットがあります。合成データセットのオブジェクトは，オクルージョンや背景のない完全なものです。一方、実世界のデータセットでは、オブジェクトのレベルが異なり、背景ノイズに汚染されているものもあります。
3次元物体検出・追跡のためには、屋内シーンと屋外の都市シーンの2種類のデータセットがありますが、屋内データセットの点群は，密な深度マップから変換されたものか、3Dメッシュからサンプリングされたものです。屋外の都市データセットは、自律走行用に設計されており、物体が空間的によく分離されていて、点群は疎です。
3D点群セグメンテーションのためのデータセットは、モバイルレーザースキャナー（MLS）、空中レーザースキャナー（ALS）、静的地上レーザースキャナー（TLS）、RGBDカメラ、および他の3Dスキャナを含む様々なタイプのセンサによって取得されます。これらのデータセットは、類似の気晴らし（？）、形状の不完全性、クラスの不均衡などの様々な課題に対するアルゴリズムを開発するために使用することができます。

合成データセットに関しては詳しく調べてなかったので、また調べます。MLS、ALSなど、様々なデータ取得方法がりますね。

2.2 評価指標
様々な点群理解タスクのために、様々な評価基準が提案されています。
3次元形状分類では、総合精度(OA)と平均クラス精度(mAcc)が最も頻繁に使用される性能基準です。OAは全テストインスタンスの平均精度、mAccは全形状クラスの平均精度を表します。3Dオブジェクト検出では、平均精度（AP）が最も頻繁に使用される基準です。これは、精度-リコール曲線の下の面積として計算されます。精度(precision)と成功(success)は、3D単一物体追跡装置の総合的な性能を評価するために一般的に使用されます。平均マルチオブジェクトトラッキング精度（AMOTA）と平均マルチオブジェクトトラッキング精度（AMOTP）は、3Dマルチオブジェクトトラッキングの評価に最も頻繁に使用される基準です。3次元点群セグメンテーションであるOAでは、平均交差オーバーユニオン（mIoU）と平均クラス精度（mAcc）が性能評価のために最も頻繁に使用される基準です。特に、平均平均精度（mAP）は、3次元点群のインスタンスセグメンテーションにも使用されてます。

三次元のための指標は詳しく調べたことなかったのでこれも勉強します。

3 3次元形状の分類
このタスクのための手法は通常、最初に各点の埋め込みを学習し、次に集約法を用いて点群全体から大域的な形状の埋め込みを抽出します。最終的には、この大域的な埋め込みを複数の完全に接続された層に送り込むことで、分類が達成される。ニューラルネットワークに入力するデータの種類によって、既存の3次元形状分類手法は、マルチビューベースの手法、ボリュームベースの手法、ポイントベースの手法に分けることができます。
マルチビューベースの手法は、構造化されていない点群を2次元画像に投影し、ボリュームベースの手法は点群を3次元のボリューム表現に変換します。そして、確立された2次元または3次元の畳み込みネットワークを利用して形状分類を行います。
対照的に、ポイントベースの手法は、ボクセル化や投影を行わずに、生の点群に直接働きかけます。ポイントベースの手法は、明示的な情報損失を導入しないため、ますます普及しています。
本稿では主にポイントに基づく手法に焦点を当てています。

ポイントベースでの手法に関しての期待が高まりますね。

また次回。