Real-Time User-Guided Image Colorization with Learned Deep Priors

https://richzhang.github.io/ideepcolor/

Keyword: Colorization, Edit propagation, Interactive colorization, Deep learning, Vision for graphics

Abstract

问题描述

• 实时的，通过用户采点配色的方法对图像进行颜色填充的算法

主要贡献

• 通过大量数据集训练如何结合采样点和灰度图构造出彩色图

• 数据驱动的色板选择建议，方便用户选色

• 用户可以非常容易地学习如何使用应用，并创造真实的作品

• 可以处理非正常的用户输入

• 理论上支持其他输入模式，例如全局色彩比例或者平均颜色饱和度

Main Effect/Pipeline

使用流程

网络结构

提供选色建议

Discussion

优点

• 相比于现成算法，用户只需极少的输入

• 应用可以提供选色建议

• 能非常好的顺应不正常的用户输入

缺点

• 过于乐观地预测用户行为，可能导致不理想的着色方案，例如用户标注前景却影响到背景

• 部分区域的分割呈现碎片化，导致着色可能需要用户多次交互才能填满

• 只给用户采点配色的局部方案，没有全局方案，例如额外输入一张样式图作为参考。

Results

非正常的用户输入也能得到很好的效果