This is a summary of the paper PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation for the course Seminar of Computer Vision by Deep Learning in TU Delft
PointNet: Deep Learning on
Point Sets for 3D Classification
and Segmentation
Point cloud is an important type of geometric data structure. Due to its irregular
format, most researchers transform such data to regular 3D voxel grids or
collection of images. This, however, renders data unnecessarily voluminous
and causes issues. This paper proposes a type of neural network that directly
consumes point clouds, which well respects the permutation invariance of
points in the input.
💡 Permutation Invariant refers to a property of a model where the output
remains unchanged regardless of the order of the input elements.
Introduction
Typical convolutional architectures require highly regular input data formats,
like those of image grids or 3D voxels, in order to perform weight sharing and
other kernel optimizations. This however renders the resulting data
unnecessarily voluminous.
Key Contributions:
We design a novel deep net architecture suitable for consuming unordered
point sets in 3D
We show how such a net can be trained to perform 3D shape classification,
shape part segmentation and scene semantic parsing tasks
We provide thorough empirical and theoretical analysis on the stability and
efficiency of our method
We illustrate the 3D features computed by the selected neurons in the net
and develop intuitive explanations for its performance.
Related Works
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation 1
, Point Cloud Features, Deep Learning on 3D Data, Deep Learning on
Unordered Sets
Problem Statement
A point cloud is represented as a set of 3D points where each point P is a
vector of its (x,y,z) coordinate plus extra feature channels such as color, normal
etc.
Deep Learning Point Sets
Property of Point Sets in R^n
The input is a subset of points from an Euclidean space. The 3 main properties:
1. Unordered. Unlike pixel arrays in images or voxels point cloud is a set of
points without specific order.
2. Interaction among points. The points are from a space with a distance
metric. It means that points are not isolated, and neighboring points form a
meaningful subset. The model needs to be able to capture local structures
from nearby points.
3. Invariance under transformations: As a geometric object, the learned
representation of the points set should be invariant to certain
transformations.
PointNet Architecture
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation 2
Voordelen van het kopen van samenvattingen bij Stuvia op een rij:
Verzekerd van kwaliteit door reviews
Stuvia-klanten hebben meer dan 700.000 samenvattingen beoordeeld. Zo weet je zeker dat je de beste documenten koopt!
Snel en makkelijk kopen
Je betaalt supersnel en eenmalig met iDeal, creditcard of Stuvia-tegoed voor de samenvatting. Zonder lidmaatschap.
Focus op de essentie
Samenvattingen worden geschreven voor en door anderen. Daarom zijn de samenvattingen altijd betrouwbaar en actueel. Zo kom je snel tot de kern!
Veelgestelde vragen
Wat krijg ik als ik dit document koop?
Je krijgt een PDF, die direct beschikbaar is na je aankoop. Het gekochte document is altijd, overal en oneindig toegankelijk via je profiel.
Tevredenheidsgarantie: hoe werkt dat?
Onze tevredenheidsgarantie zorgt ervoor dat je altijd een studiedocument vindt dat goed bij je past. Je vult een formulier in en onze klantenservice regelt de rest.
Van wie koop ik deze samenvatting?
Stuvia is een marktplaats, je koop dit document dus niet van ons, maar van verkoper guillemribes. Stuvia faciliteert de betaling aan de verkoper.
Zit ik meteen vast aan een abonnement?
Nee, je koopt alleen deze samenvatting voor €7,16. Je zit daarna nergens aan vast.
