# ComplementMe: Weakly-Supervised Component Suggestions for 3D Modeling

Keyword: Shape assembly, Interactive modeling, Shape retrieval, Shape embedding

## Abstract

### 问题描述

* 深度网络训练，通过部件组装三维模型。与传统算法不同在于，训练集无需花大量人力去分割和标注三维组件及其语义。通过CAD模型的层级结构，可以得到无语义标注的模型组件，利用深度网络学习组件间的选配和组件间的组合，最终自动完成模型的制作。

### 主要贡献

* 提出了一个无需语义标注的组件化模型制作方法。
* 用网络学习基于概率分布的组件选配方法，使得组件的选配具有多样性。
* 用网络学习组件间位置的匹配问题。

## Main Effect/Pipeline

### 主要流程

两层网络：匹配映射网络、相对位置网络。

匹配映射网络将输入的组件组映射到概率分布空间，查找多个最可能的缺失部分。

相对位置网络学习组件间的相对位置，将组件组和匹配到的缺失部分组合在一起。

![](https://4021619830-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-L8uOVPTcDv3r0vdmTJj%2F-LAHUHkkyhN7R3Pq7iAQ%2F-LAJDsZMAA-nuv3C2Vnv%2Fimage.png?alt=media\&token=e32d5589-01c7-45c3-be49-c666c9cba180)

### 训练集制作

无需分割和语义标注，数据来源于CAD模型，本身具有层级，只需合并一些小组件，并对模型进行分类。

![](https://4021619830-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-L8uOVPTcDv3r0vdmTJj%2F-LAHUHkkyhN7R3Pq7iAQ%2F-LAJFJzLaxL7LqNVZ1_0%2Fimage.png?alt=media\&token=9ffb6e3b-ac9f-4819-9b22-07401c707cab)

## Discussion

### 缺点

* 虽然能够预测组件匹配的位置，但不能够判断在该位置组件是否连续或者重叠。

### Future work

* 对匹配到的组件进行缩放和变形，从而使组合结果更合理。
* 允许更高程度的用户交互，例如通过草图查找组件，通过体素控制组件位置。

## Results

### 正面

从一个无语义标注的组件自动补充其他部分，完成模型的创作。

![](https://4021619830-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-L8uOVPTcDv3r0vdmTJj%2F-LAHUHkkyhN7R3Pq7iAQ%2F-LAJAf7gvukZn6OhO4IW%2Fimage.png?alt=media\&token=85353abe-9008-4a24-b7bd-4cf14070109c)

当用于模型检索时，与其他方法的比较，其中绿色为正确的匹配，红色为错误的匹配。

![](https://4021619830-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-L8uOVPTcDv3r0vdmTJj%2F-LAHUHkkyhN7R3Pq7iAQ%2F-LAJBFmcDEdFl-VJP9qO%2Fimage.png?alt=media\&token=1628365c-58ef-45bd-93d2-a5d6148a455f)

### 反面

第一行和第三行出现了组件不连接和悬空的问题，第二行和第四行出现了组件重叠的问题。

![](https://4021619830-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-L8uOVPTcDv3r0vdmTJj%2F-LAHUHkkyhN7R3Pq7iAQ%2F-LAJC60Kf6uykmgyXtLx%2Fimage.png?alt=media\&token=92345201-5999-461e-8f10-b5ed74b1608b)


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://simbascorpio.gitbook.io/papers/siggraph-asia-2017/complementme-weakly-supervised-component-suggestions-for-3d-modeling.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.