3D Object Detection

Deep Learning for 3D Point Clouds: A Survey

Regularly updated project page : https://github.com/The-Learning-And-Vision-Atelier-LAVA/SoTA-Point-Cloud

1. INTRODUCTION

2. BACKGROUND

2.1 Datasets

2.1.1 Dataset for 3D shape classification

• 3D Shape Classification Dataset에는 크게 2가지 Type이 있다. Synthetic datasets & Real-world datasets
• Synthetic dataset에 있는 Object는 겹침이나 배경같은 Data가 없이 깔끔하다

• 반면에, real-world dataset에 있는 Object들은 다른 층의 Object에 가려지고 일부 Object가 배경으로 오염되어 있기도 하다.

  • McGill Benchmark
  • Sydney Urban Objects
  • ModelNet10
  • ModelNet40
  • ShapeNet
  • ScanNet
  • ScanObjectNN

2.1.2 Dataset for 3D object detection and tracking

• 3D object detection and tracking Dataset에는 2가지 종류가 있다. indoor scenes and outdoor urban scenes.
• indoor dataset의 point clouds는 dense depth maps나 sampled from 3D meshes를 변환해서 만듭니다.

• outdoor urban datasets은 자율주행용으로 만들어졌으며 객체는 공간적으로 잘 분리되어 있으며 이러한 포인트 클라우드는 희소(sparse)합니다.

  • KITTI
  • SUN RGB-D
  • ScanNetV2
  • H3D
  • Argoverse
  • Lyft L5
  • A*3D
  • Waymo Open
  • nuScenes

2.1.3 Dataset for 3D point cloud segmentation

• 3D point cloud segmentation용 datasets은 다음과 같은 다양한 Sensor로 얻어집니다.

• 이러한 Dataset들은 오답탐지 , Shape 불완전성 , class imbalance와 같은 어려운 과제를 해결하는데 도움을 줄 수 있다.

  • Oakland
  • ISPRS
  • Paris-rue-Madame
  • IQmulus
  • ScanNet
  • S3DIS
  • Semantic3D
  • Paris-Lille-3D
  • SemanticKITTI
  • Toronto-3D
  • DALES

2.2 Evaluation Metrics

2.2.1 3D shape classification

• Overall Accuracy (OA) : the mean accuracy for all test instances
• mean class accuracy (mAcc) : the mean accuracy for all shape classes

2.2.2 3D object detection

• Average Precision (AP) : the most frequently used criterion. calculated as the area under the precision-recall curve.

2.2.3 3D single object tracker

• Precision and Success : commonly used to evaluate the overall performance

2.2.4 3D multi-object tracking

• Average Multi-Object Tracking Accuracy (AMOTA)
• Average Multi-Object Tracking Precision (AMOTP)

2.2.5 3D point cloud segmentation

• Overall Accuracy (OA)
• mean Intersection over Union (mIoU)
• mean class Accuracy (mAcc)
• mean Average Precision (mAP) : also used in instance segmentation of 3D point clouds.

3. 3D SHAPE CLASSIFICATION

• 신경망 입력 Data Type에 따른 분류(According to the data type of input for neural networks)
  • multi-view based
    • project an unstructured point cloud into 2D images
  • volumetric-based
    • convert a point cloud into a 3D volumetric representation
      ⇒ well-established 2D or 3D convolutional networks are leveraged to achieve shape classification
  • point-based methods
    • directly work on raw point clouds without any voxelization or projection
    • do not introduce explicit information loss and become increasingly popular.

3.1 Multi-view based Methods**

• 이 방법은 먼저 3D Shape을 multiple views로 Project시킨 후에 다양한 Feature를 조합하여 정확한 Shape classification을 수행한다.

• 다양한 Feature들을 어떻게 조합하여 Shape을 Classification하는지가 이 방법의 중요한 Key이다.

  • MVCNN
  • MHBN

3.2 Volumetric-based Methods

• 이 방법은 shape classification하기 위해서 point cloud를 3D grids로 voxelization 시킨 후에 3D Convolution Neural Network (CNN)을 적용한다.

• Voxelization

  ⇒ Pixel의 3D 형태가 Voxel이므로, Voxel은 그래픽을 구성하는 정육면체 모양의 요소라고 생각하면 된다. Pixel과 마찬가지로 모든 Voxel의 모양과 크기는 동일하고. 색상값을 가지며 3D 이미지를 구성하게 된다.

* VoxNet
* ShapeNets
* OctNet
* Octree-based CNN
* PointGrid

3.3 Point-based Methods

• 각 Point의 Feature 학습에 사용된 Network architecture에 따라서 다음과 같은 방식이 있다.
  • pointwise MLP
  • convolution-based
  • graph-based
  • hierarchical data structure-based
  • Others

3.3.1 Pointwise MLP Methods

• 이러한 방법은 여러 공유 MLP(Multi-Layer Perceptron)를 사용하여 각 점을 독립적으로 모델링한 다음 아래 그림과 같이 symmetric aggregation function을 사용하여 global feature을 모은다.

* PointNet
* Deep sets
* PointNet++
* Mo-Net
* Point Attention Transformers (PATs)
* PointWeb
* Structural Relational Network (SRN)
* SRINet
* PointASNL

3.3.2 Convolution-based Methods

• Image에 적용하는 2D Kernel과 비교해서 Point Cloud에 적용하는 3D CNN Kernel은 Point Cloud의 irregularity 한 특성 때문에 Design하기 어렵다.
• convolutional kernel의 종류에 따라, 3D convolution 방법은 아래 그림과 같이 continuous convolution methods와 discrete convolution methods로 나뉜다.

3.3.2.1 3D Continuous Convolution Methods

• 이 방법은 continuous space에서 convolutional kernels을 정의합니다. 여기서 neighboring points의 Weight는 center point에 대한 공간 분포와 관련됩니다.
  • RS-CNN
  • DensePoint
  • Kernel Point Convolution (KPConv)
  • ConvPoint
  • PointConv
  • MCCNN
  • SpiderCNN
  • PCNN
  • 3D Spherical CNN
  • Tensor field networks
  • SPHNet
  • Flex-Convolution

3.3.2.2 3D Discrete Convolution Methods

• 이 방법은 neighboring points의 Weight가 center point에 대한 오프셋과 관련된 일반 그리드에서 convolutional kernels을 정의합니다.
  • GeoConv
  • PointCNN
  • InterpConv
  • RIConv
  • A-CNN
  • SFCNN

3.3.3 Graph-based Methods

• Graph Based Network은 Point Cloud의 각 점을 Graph의 Vertex로 생각하고 방향이 있는 Graph를 생성한다.
• Feature Learning은 그 이후에 spatial or spectral domains에서 실행한다.

3.3.3.1 Graph-based Methods in Spatial Domain

• 공간 Domain에서 convolution & pooling 정의
• 인접 점들에 MLP를 적용하여 새로운 coarsened graph를 만들고 여기서 Feature를 뽑는다.
• 각 Vertex의 Feature는 보통 좌표 / Laser 강도 / 색상등으로 정의되고, Edge의 Feature는 각 점들의 연결의 기하학적 특징으로 할당된다.

* EdgeConditioned Convolution (ECC)
* VoxelGrid
* DGCNN
* EdgeConv
* LDGCNN
* FoldingNet
* Dynamic Points Agglomeration Module (DPAM)
* KCNet
* G3D
* ClusterNet
* Grid-GCN

3.3.3.2 Graph-based Methods in Spectral Domain

• Conv.를 Graph의 신호를 Laplacian matrix 고유 벡터와 곱하는 것으로 정의하는 spectral filtering로 정의하여 구현

  • RGCNN
  • AGCN
  • HGNN
  • LocalSpecGCN
  • PointGCN
  • 3DTI-Net

3.3.4 Hierarchical Data Structure-based Methods

• 이 방법은 다양한 hierarchical data structures (e.g., octree and kd-tree)를 기초로 해서 구성된다.
• 이 방법은 각 점들의 Feature를 Tree의 Leaf Node에서 Root Node로 따라 올라가면서 학습하게 된다.
  • OctNet
  • Kd-Net
  • 3DContextNet
  • SO-Net
  • SOM

3.3.5 Other Methods

• RBFNet
• 3DPointCapsNet
• PointDAN
• ShapeContextNet
• RCNet
• RCNet-E
• Point2Sequences
• PVNet
• PVRNet

3.5 Summary

• Pointwise MLP networks는 다른 종류의 Network의 Basic Building Block으로 자주 사용된다.
• standard deep learning architecture로써, convolution-based networks는 불규칙한 3D Point Clould에서 우수한 성능을 보여준다.
• 불규칙한 Data에서 discrete and continuous convolution networks 에 좀 더 많은 관심을 기울일 필요가 있다.
• 불규칙한 data를 다루는 내재된 훌륭한 성능 덕분에 graph-based networks은 최근 많은 관심을 받고 있다.
• 하지만 spectral domain에서 다양한 Graph 구조로 확장시키는 것은 여전히 어려운 일이다.

4. 3D OBJECT DETECTION AND TRACKING

4.1 3D Object Detection

• 일반적인 3D object detector는 Point Cloud의 장면을 입력으로 받아서 각 Object의 oriented 3D bounding를 만들어 냅니다.
• 2D Image의 object detection과 유사하게, 3D object detection 방법은 크게 region proposal based and single shot methods의 2가지로 나눌 수 있다.

4.1.1 Region Proposal-based Methods

• 이 방법은 우선 몇개의 Object를 포함하는 Region(Proposals이라고도 불린다)을 제안하고 각 Proposal에서 Feature를 추출하여 분류합니다.
• 각 방법이 제안하는 Proposal 생성 방법에 따르면, 이 방법도 크게 3가지로 나눌 수 있습니다.

4.1.1.1 Multi-view based Methods

• 이 방법은 다양한 소스의 Data로 부터 Feature를 얻는다.
• Computational Cost가 높다

• 실사용에서 사용하기에는 너무 느리기 때문에 성능 향상을 위한 방안 발전
  • Multi Modality로부터 얻은 Data를 효율적으로 연결하기 위한 방법
  • Robust한 Data를 뽑기 위한 방안
• MV3D
• AVOD
• ContFuse
• MMF
• SCANet
• RT3D

4.1.1.2 Segmentation-based Methods

• 이 방법은 먼저 기존의 semantic segmentation techniques을 이용하여 대부분의 background points를 제거한 후, 나머지 Point들로부터 large amount of high-quality proposals을 생성하는 방법이다.
• multi-view methods와 비교하면, 이 방법은 higher object recall rates를 달성할 수 있고, 복잡한 장면에 좀 더 적합하다.

• IPOD
• PointRCNN
• PointRGCN
• PointPainting
• STD

4.1.1.3 Frustum-based Methods

• 이 방법은 기존의 2D object detectors를 이용하여 2D regions candidate 을 먼저 찾아내고, 그 후에 각각의 2D regions candidate에서 3D frustum proposal 을 찾아내는 방법이다.
• 이 방법이 3D objects의 위치를 효과적으로 찾는다 해도, 2D image detectors의 성능 한계에 영향을 받습니다.

* F-PointNets
* SIFRNet
* PointFusion
* RoarNet
* F-ConvNet
* Patch Refinement

4.1.1.4 Other Methods

• 3D IoU loss
• Fast Point R-CNN
• PV-RCNN
• VoteNet
• Feng et al.
• ImVoteNet
• Part-A^2

4.1.2 Single Shot Methods

• 이 방법은 single-stage network을 이용해서 바로 class probabilities를 예측하고 3D bounding boxes를 찾아냅니다.
• 이 방법은 region proposal generation을 할 필요도 없고 post-processing도 필요하지 않아서, 결과적으로 빠른 속도를 보여줍니다.
• Input Data의 Type에 따라서 BEV-based, discretizationbased , point-based methods로 나눌 수 있습니다.

4.1.2.1 BEV-based Methods ( BEV : Bird’s Eye View )

이 방법은 입력으로 BEV Data Representation을 받는다.

• PIXOR
• HDNET
• BirdNet

4.1.2.2 Discretization-based Methods

• 이 방법은 Point Cloud를 일반적인 discrete representation으로 바꾼 후에 CNN을 적용하여 분류하는 방법이다.
  • VeloFCN
  • 3D FCN
  • Vote3Deep
  • 3DBN
  • VoxelNet
  • SECOND
  • MVX-Net
  • PointPillars
  • SA-SSD

4.1.2.3 Point-based Methods

• 이 방법은 Raw Point Cloud 값을 Direct로 받습니다.
  • 3DSSD

4.1.2.4 Other Methods

• LaserNet
• LaserNet++
• OHS-Dense
• OHS-Direct
• Point-GNN

4.2 3D Object Tracking

• 어떤 객체의 첫번째 Frame에서의 위치가 주어졌을 때 object tracking은 다음 Frame들에서 위치를 추정하는 것이다.

• 3D object tracking은 Point Cloud의 기하학적 정보를 사용할 수 있기 때문에 이미지 기반 추적이 직면한 여러 단점을 극복할 것으로 예상됩니다.

  • 3D Siamese network
  • STAPLECA
  • SiamFC
  • Point-to-Box (P2B)

4.3 3D Scene Flow Estimation

• Point Cloud에서 3D Scene Flow Estimation은 주어진 Point Cloud X,Y에서 X에 속한 xi에서 그에 해당하는 Y의 xi’로의 이동을 나타낸다.

* FlowNet3D
* Hierarchical Permutohedral Lattice FlowNet (HPLFlowNet)
* PointRNN , PointGRU , PointLSTM

4.4 Summary

• Region proposal-based 방법과 single shot 방법 중에 Region proposal-based 방법은 가장 많이 연구되고 있고, single shot 방법은 KITTI test 3D 과 BEV benchmarks에서 더 나은 성능을 보여준다.
• 현재의 3D object detectors에는 크게 2가지의 한계점이 있다. 먼저, long-range detection 능력이 상대적으로 좋지 않다. 둘째, Image로부터 얻은 정보를 어떻게 하면 최대한으로 활용할지는 아직 연구할 것이 많이 남아 있다.
• Multi-task learning은 3D object detection 분야가 나아가야할 미래이다. 예를 들어, MMF는 incorporating multiple tasks를 통해서 SOTA를 달성하기 위해서 cross-modality representation을 학습한다.
• 3D object tracking and scene flow estimation은 research topics으로 떠오르고 있으며, 2019년 이후로 점차 주목을 받고 있다.

5. 3D POINT CLOUD SEGMENTATION

• 3D point cloud segmentation는 global geometric structure와 각 Point의 fine-grained details에 대한 이해가 필요하다.

• 3D point cloud segmentation 방법은 segmentation 단위에 따라서 3가지로 나눌 수 있다.

  • semantic segmentation (scene level)
  • instance segmentation (object level)
  • part segmentation (part level)

5.1 3D semantic segmentation

• semantic segmentation : 인공지능이 이미지에 있는 객체를 픽셀 단위로 분류하는 것
• Point Cloud가 있을 때, semantic segmentation의 목적은 Point의 semantic meaning에 따라서 여러개의 하위 집합으로 분리하는 것이다.

• 3D shape classification의 종류를 분류한 것과 비슷하게, semantic segmentation에는 크게 4가지의 paradigms이 있다.

  • projection-based
  • discretizationbased
  • point-based
  • hybrid methods.
• projection과 discretizationbased 방법의 첫번째 순서는 multi-view, spherical, volumetric, permutohedral lattice , hybrid representations 등과 같은 intermediate regular representation 형태의 Point Cloud 표현 방식으로 변환하는 것이다.

• 그런 다음에 intermediate segmentation 결과는 Raw point cloud에 다시 투영(Project)됩니다.
• 반면에, point-based 방법은 irregular point clouds로 바로 동작합니다.

5.1.1 Projection-based Methods

• 이 방법은 보통 3D point cloud를 2D Image로 Project시킨다

5.1.1.1 Multi-view Representation

• DeePr3SS
• SnapNet
• TangentConv

5.1.1.2 Spherical Representation

• SqueezeSeg
• SqueezeSegV2
• RangeNet++

5.1.2 Discretization-based Methods

• 이 방법은 보통 point cloud를 volumetric 이나 sparse permutohedral lattices 같은 dense/sparse discrete 표현으로 변환합니다.

5.1.2.1 Volumetric( Dense Discretization Representation )

• SEGCloud
• SparseConvNet
• MinkowskiNet
• VV-Net

5.1.2.2 Permutohedral lattice( Sparse Discretization Representation )

• SPLATNet
• LatticeNet

5.1.3 Hybrid Methods

• 3DMV
• UPB
• MVPNet

5.1.4 Point-based Methods

• Point-based networks는 irregular한 point clouds를 바로 Data로 사용한다.
• 하지만, point clouds는 orderless 하고 unstructured하기 때문에 standard CNN에 바로 적용하지 못한다.
• 이를 극복하기 위해서 선구자적인 연구인 PointNet이 제안되었다. PointNet은 Shared MLP를 사용하여 Point별 Feature를 학습하고 symmetrical pooling function을 이용하여 global feature를 학습한다.

5.1.4.1 Pointwise MLP Methods

• 이 방법은 기본적으로 high efficiency를 위해서 shared MLP를 basic unit으로 사용한다.
• 하지만, shared MLP에 의한 Extracted된 point-wise features는 point clouds의 local geometry를 잡아내지 못하고 또한 Point들 간의 상호 작용도 잡지 못한다.

• 이런 단점을 극복하고 richer local structures와 각 Point들의 wider context를 잡아내기 위해서 neighboring feature pooling, attentionbased aggregation, local-global feature concatenation등을 기본으로 하는 몇몇 Network들이 소개되었다.

  • PointNet
  • PointNet++
  • PointSIFT
  • Engelmann
  • 3DContextNet
  • A-SCN
  • PointWeb
  • PAT
  • LSANet
  • ShellNet
  • RandLA-Net

5.1.4.2 Point Convolution Methods

• 이 방법은 Point Cloud에 효과적인 convolution operators를 제안하고자 한다.

  • PointCNN
  • PCCN
  • A-CNN
  • ConvPoint
  • KPConv
  • DPC
  • InterpCNN

5.1.4.3 RNN-based Methods

• Point Cloud에 내재된 context features를 잡아내기 위해 RNN도 사용된다.

  • RSNet
  • G+RCU
  • 3P-RNN

5.1.4.4 Graph-based Methods

• 3D point clouds의 드러나지 않는 모양과 geometric structure를 잡아내기 위해서 Graph Network을 이용한 몇몇 방법들이 있다.

  • DGCNN
  • SPG
  • SSP+SPG
  • GACNet
  • PAG
  • HDGCN
  • HPEIN
  • SPH3D-GCN
  • DPAM

5.2 Instance Segmentation

• semantic segmentation에 비교해서 instance segmentation는 Point에 대한 보다 정확하고 세분화된 추론이 필요하기 때문에 더 어렵습니다.
• 특히, instance segmentation은 각 Point들의 의미론적 구분도 해야할 뿐만 아니라 같은 의미를 가진 Point들을 분리도 해야 합니다.
• instance segmentation은 크게 proposal-based methods and proposal-free methods로 나눌 수 있다.

5.2.1 Proposal-based Methods

• 이 방법은 instance segmentation 문제를 3D object detection 과 instance mask prediction 2개의 하위 문제로 변환합니다.
• 전체적으로, proposal-based methods은 간단하고 직관적이며, 결과는 대체적으로 좋은 물체성 / 대상성(objectness)을 가진다.
• 하지만, 이 방법은 multi-stage training이 요구되고 중복된 제안 결과를 걸러내야 한다는 단점이 있습니다.

• 그래서, 대체로 이 방법은 시간이 오래걸리고 많은 계산량이 요구됩니다.

  • GSPN
  • 3D-SIS
  • VDRAE
  • PanopticFusion
  • 3D-BoNe
  • LiDARSeg
  • 3D-MPA

5.2.2 Proposal-free Methods

• Proposal-free methods 방식은 object detection module이 없다.
• 대신, 이 방식은 semantic segmentation 후에 subsequent clustering 을 하는 방식으로 진행합니다.
• 특히, 대부분의 Proposal-free methods는 같은 Instance에 속하는 Point들은 모두 매우 유사한 Feature들을 가지고 있을 것이라는 가정을 합니다.
• 그러므로, 이 방법은 주로 discriminative feature learning 및 point grouping에 중점을 둡니다.
• proposal-free methods는 region-proposal와 같은 계산량이 매우 높은 방식이 필요하지 않습니다.

• 하지만, 이 방법으로 구분된 instance segments의 대상성(objectness)는 보통 명시적인 Object boundaries가 없기 때문에 좋지 않다.

  • SGPN
  • PCAMP
  • PartNet
  • ResNet-Backbone
  • JSIS3D
  • MTML
  • ISPE
  • JSNet
  • PointGroup
  • OccuSeg

5.3 Part Segmentation

• part segmentation 의 어려움은 다음 2가지이다.
• 첫째로, 동일한 semantic 레이블을 가진 Part는 기하학적 다양성과 모호성이 크다

• 둘째로, 동일한 semantic의 객체를 구성하는 part의 수가 다를수가 있다.

  • VoxSegNet
  • Synchronized Spectral CNN (SyncSpecCNN)
  • Shape Fully Convolutional Networks (SFCN)
  • CoSegNet
  • Branched AutoEncoder network (BAE-NET)
  • top-down recursive part decomposition network (PartNet)
  • zero shot 3D part segmentation

5.4 3D POINT CLOUD SEGMENTATION Summary

• regular data representation덕분에 projection-based methods 과 discretization-based methods 둘 다 2D Image를 network architecture 에 활용할 수 있게 되었다.
• 하지만, 3D-2D projection에 의해서 야기되는 projection-based methods 의 한계때문에 information loss를 수반하게 되고, discretization-based methods은 해상도의 증가로 인한 계산량이 3제곱으로 증가한다는 것이다.
• 이를 극복하기 위해 indexing structures를 기반으로 하는 sparse convolution이 실현 가능한 해결책이 될 수 있으며 추가로 연구할 가치가 있다.
• Point-based networks은 가장 많이 연구되는 방법이다.
• 하지만, point representation은 기본적으로 명시적으로 주변 Point들의 정보를 가지고 있지 않기 때문에, 현재 나와있는 대부분의 Point-Base 방법은 비용이 많이 드는 neighbor searching mechanisms에 의존하고 있다.
• 이런 점은 기본적으로 Point-based 방법들의 효율을 제한하고 있다. 최근 제안된 point-voxel joint representation은 이런 제안을 개선할 수 있는 흥미로운 연구이다.
• point cloud segmentation에 있어서 imbalanced data로 학습하는 것은 여전히 어려운 일이다.
• 비록 몇개의 접근 방식이 우수한 성능을 보여주기는 했지만, minority class에 대해서는 여전히 성능은 제한적이다.
• 현재 대부분의 방법들은 small point clouds (e.g.,1m×1m with 4096 points)에 대해서는 잘 동작한다.
• 실제로 depth sensor로 부터 받은 point cloud data는 대부분 대용량의 Data인 경우가 많다.
• 그래서 large-scale point clouds의 효과적인 segmentation에 대해서는 좀 더 연구하는 것이 바람직하다
• dynamic point clouds에서 spatio-temporal information을 학습하기 위한 소수의 연구가 시작되었습니다.
• spatio-temporal information이 3D object recognition , segmentation , completion등과 같은 부수적인 작업의 성능을 향상시킬 수 있으리라 기대하고 있습니다.