DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling

http://i.cs.hku.hk/~xghan/Projects/ske2face.htm

Keyword: Face Modeling, Face Database, Deep Learning, Face Caricatures, Gestures, Sketch-Based Modeling

Abstract

问题描述

• 基于深度学习的，由草图构建夸张面部表情三维模型的算法

主要贡献

• 草图到三维面部模型的算法实现，提供给用户交互修改的功能

• 基于CNN且对草图形状特征敏感的网络

• 提供了大量不同夸张程度的表情数据（训练集）

Main Effect/Pipeline

效果

使用流程

网络结构

Discussion

缺点

• 当输入的草图过于夸张，或者不符合训练集假定的输入要求，会出现奇怪的结果

• 基于形变的三维模型难以表现细腻的褶皱等特征

• CNN网络可以替换为更先进的U-Nets/GAN等提高精度

Results