> For the complete documentation index, see [llms.txt](https://simbascorpio.gitbook.io/papers/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://simbascorpio.gitbook.io/papers/siggraph-asia-2017/complementme-weakly-supervised-component-suggestions-for-3d-modeling.md).

# ComplementMe: Weakly-Supervised Component Suggestions for 3D Modeling

https\://mhsung.github.io/component-assembly.html

Keyword: Shape assembly, Interactive modeling, Shape retrieval, Shape embedding

## Abstract

### 问题描述

* 深度网络训练，通过部件组装三维模型。与传统算法不同在于，训练集无需花大量人力去分割和标注三维组件及其语义。通过CAD模型的层级结构，可以得到无语义标注的模型组件，利用深度网络学习组件间的选配和组件间的组合，最终自动完成模型的制作。

### 主要贡献

* 提出了一个无需语义标注的组件化模型制作方法。
* 用网络学习基于概率分布的组件选配方法，使得组件的选配具有多样性。
* 用网络学习组件间位置的匹配问题。

## Main Effect/Pipeline

### 主要流程

两层网络：匹配映射网络、相对位置网络。

匹配映射网络将输入的组件组映射到概率分布空间，查找多个最可能的缺失部分。

相对位置网络学习组件间的相对位置，将组件组和匹配到的缺失部分组合在一起。

![](https://4021619830-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-L8uOVPTcDv3r0vdmTJj%2F-LAHUHkkyhN7R3Pq7iAQ%2F-LAJDsZMAA-nuv3C2Vnv%2Fimage.png?alt=media\&token=e32d5589-01c7-45c3-be49-c666c9cba180)

### 训练集制作

无需分割和语义标注，数据来源于CAD模型，本身具有层级，只需合并一些小组件，并对模型进行分类。

![](https://4021619830-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-L8uOVPTcDv3r0vdmTJj%2F-LAHUHkkyhN7R3Pq7iAQ%2F-LAJFJzLaxL7LqNVZ1_0%2Fimage.png?alt=media\&token=9ffb6e3b-ac9f-4819-9b22-07401c707cab)

## Discussion

### 缺点

* 虽然能够预测组件匹配的位置，但不能够判断在该位置组件是否连续或者重叠。

### Future work

* 对匹配到的组件进行缩放和变形，从而使组合结果更合理。
* 允许更高程度的用户交互，例如通过草图查找组件，通过体素控制组件位置。

## Results

### 正面

从一个无语义标注的组件自动补充其他部分，完成模型的创作。

![](https://4021619830-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-L8uOVPTcDv3r0vdmTJj%2F-LAHUHkkyhN7R3Pq7iAQ%2F-LAJAf7gvukZn6OhO4IW%2Fimage.png?alt=media\&token=85353abe-9008-4a24-b7bd-4cf14070109c)

当用于模型检索时，与其他方法的比较，其中绿色为正确的匹配，红色为错误的匹配。

![](https://4021619830-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-L8uOVPTcDv3r0vdmTJj%2F-LAHUHkkyhN7R3Pq7iAQ%2F-LAJBFmcDEdFl-VJP9qO%2Fimage.png?alt=media\&token=1628365c-58ef-45bd-93d2-a5d6148a455f)

### 反面

第一行和第三行出现了组件不连接和悬空的问题，第二行和第四行出现了组件重叠的问题。

![](https://4021619830-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-L8uOVPTcDv3r0vdmTJj%2F-LAHUHkkyhN7R3Pq7iAQ%2F-LAJC60Kf6uykmgyXtLx%2Fimage.png?alt=media\&token=92345201-5999-461e-8f10-b5ed74b1608b)