ComplementMe: Weakly-Supervised Component Suggestions for 3D Modeling

https://mhsung.github.io/component-assembly.html

Keyword: Shape assembly, Interactive modeling, Shape retrieval, Shape embedding

Abstract

问题描述

• 深度网络训练，通过部件组装三维模型。与传统算法不同在于，训练集无需花大量人力去分割和标注三维组件及其语义。通过CAD模型的层级结构，可以得到无语义标注的模型组件，利用深度网络学习组件间的选配和组件间的组合，最终自动完成模型的制作。

主要贡献

• 提出了一个无需语义标注的组件化模型制作方法。

• 用网络学习基于概率分布的组件选配方法，使得组件的选配具有多样性。

• 用网络学习组件间位置的匹配问题。

Main Effect/Pipeline

主要流程

两层网络：匹配映射网络、相对位置网络。

匹配映射网络将输入的组件组映射到概率分布空间，查找多个最可能的缺失部分。

相对位置网络学习组件间的相对位置，将组件组和匹配到的缺失部分组合在一起。

训练集制作

无需分割和语义标注，数据来源于CAD模型，本身具有层级，只需合并一些小组件，并对模型进行分类。

Discussion

缺点

• 虽然能够预测组件匹配的位置，但不能够判断在该位置组件是否连续或者重叠。

Future work

• 对匹配到的组件进行缩放和变形，从而使组合结果更合理。

• 允许更高程度的用户交互，例如通过草图查找组件，通过体素控制组件位置。

Results

正面

从一个无语义标注的组件自动补充其他部分，完成模型的创作。

当用于模型检索时，与其他方法的比较，其中绿色为正确的匹配，红色为错误的匹配。

反面

第一行和第三行出现了组件不连接和悬空的问题，第二行和第四行出现了组件重叠的问题。