|
导读：运用漫画作风重现理想世界的场景关于画师来说是一项费时费力——很多时分却又不得不做的工作。AI 能不能辅佐我们处置这个省事？近日，来自清华大学、卡迪夫大学的研讨者们提出了 CartoonGAN，它能够用真实景物的照片作为源图片，生成恣意作风的「漫画」，重新海诚到宫崎骏……只需拿来一组带有所需作风的示例漫画图片锻炼之后即可开端「转换」。该研讨的论文已被 CVPR2018 大会接纳。 作者：Yang Chen、Yu-Kun Lai、刘永进 机器之心（ID：almosthuman2014）编译 参与：李泽南、李亚洲 选自CVPR 2018 CartoonGAN 的预锻炼模型，其中包含宫崎骏、细田守、今敏（动画电影《红辣椒》）和新海诚作风： http://cg.cs.tsinghua.edu.cn/people/~Yongjin/CartoonGAN-Models.rar 漫画是在日常生活中我们能够普遍接触到的一种艺术方式。除了艺术自身之外，它的适用范围从出版媒体到儿童教育。和其他艺术方式一样，很多著名的漫画形象都是基于理想世界的场景创作的。下图展示了真实世界火车站的场景，在动画电影《你的名字。》中也呈现了相应的漫画形象。 但是，运用卡通作风手绘重现理想世界的场景是一个费时费力的工作，而且需求很多专业的绘画技艺。为了取得高质量的画面，原画作者必须认真绘制每个线条，并对目的场景的每种颜色区域中止涂色。目前看来，具有规范特征的现有艺术编辑软件和算法无法产生令人称心的漫画效果。 因而，假如有专业技术能够自动将真实世界的照片转换为高质量的漫画作风画面，关于画师来说是十分有辅佐的一件事：这能够为他们俭省大量时间，让他们专注于更有意义和发明性的工作。作风迁移工具也能够为 Instagram 和 Photoshop 等图像编辑软件提供新功用。
▲漫画作风的一个示例：（a）是真实世界的一个场景，其漫画形象出往常动画电影《你的名字。》中。（b）是 CartoonGAN 将照片转换为漫画作风的结果。请留意：模型锻炼数据中并不包含任何《你的名字。》电影中的图片。 以艺术方式对图片中止处置的研讨不时是计算机视觉的抢手方向。此前的传统方式通常针对特定样式开发特定的算法。但是，这意味着需求做出大量技术上的努力才干做出模仿个人艺术家的细致作风。 最近，基于机器学习的作风迁移措施，由于其能够经过示例图片对图像中止作风化，曾经惹起了很多人的关注。特别是生成对立网络（GAN），其引入了循环方式锻炼进一步探求并进步了作风迁移的质量，GAN 的共同之处在于能够运用不成对照片和作风化图像中止锻炼。 固然基于学习的作风迁移曾经取得了很大胜利，但最先进的措施仍无法消费具有可接受质量的漫画作风图像。究其缘由，首先，漫画风不是添加纹理和边疆线，而是需求从理想世界图像的复杂结构中高度简化；其次，固然艺术家之间作风各异，但卡通图像具有一些明显共通之处：边沿明晰、颜色遮罩平滑、质地相对简单——这与其他方式的艺术作品截然不同。 在论文中，清华大学的研讨人员提出了 CartoonGAN，一个基于 GAN 的全新照片漫画化措施。该措施需求一组照片和一组漫画图像中止锻炼。 为了让锻炼数据易于取得，同时取得高质量的结果，我们不需求让两组图像相互配对或对应。从计算机视觉算法的角度来看，漫画作风化的目的是将照片流型映射到漫画流型中，同时确保其中的内容不变。 为了完成这个目的，研讨人员提出了专用的 GAN 架构，以及两个简单有效的损失函数。 研讨人员称，CartoonGAN 的主要贡献在于：
在 CartoonGAN 中，生成器网络 G 用于将输入图像映射到漫画流型中。在模型经过锻炼后，漫画作风化任务就能够执行了。 G 从平卷积阶段开端，随后是两个下卷积区块，以对图像中止空间紧缩和编码。在这个阶段提取有用的本地信号用于下游转换。随后运用相同规划的八个残差区块来构建内容和流形特征。研讨人员采用了《Perceptual losses for real-time style transfer and super-resolution》中提出的残差块规划。 最后，经过两个上卷积块重构输出的漫画作风图像，这两个卷积块包含步长为 1/2 的分步卷积层和一个 7×7 内核的最终卷积层。 为了与生成器网络构成互补，鉴别器网络 D 用于判别输入图像能否是「真实的」漫画图。由于判别图像能否为漫画是个请求不高的任务，因而我们运用 D 中参数较少的简单补丁级鉴别器，而不是常规全图鉴别器。与图像分类任务不同，漫画作风鉴别任务依赖于图像的部分特征。所以，鉴别器网络 D 被设计得较浅。 在平层之后，网络采用两个步进卷积块来降低分辨率并编码用于分类的基本部分特征。随后，运用特征结构块和 3×3 卷积层来取得分类返回。在每个归一化层之后运用α = 0.2 的 Leaky ReLU。
▲ CartoonGAN 架构中的生成器与分类器网络，其中 k 是内核大小，n 是特征映射的数量，s 是每个卷积层的跨步，'norm'表示归一化层，'ES '表示元素之和。 ▲CartoonGAN 生成的不同艺术家漫画作风：（a）为输入照片。（b）为新海诚作风。（c）为宫崎骏作风。
▲边沿生成的细节。（a）为 NST 运用锻炼集中一切图像锻炼后的作风转换结果；（b）为 CycleGAN 在同一性损失参数下的结果；（c）为 CartoonGAN 的结果。
▲CartoonGAN 与 NST 和 CycleGAN 在新海诚（上）和宫崎骏（下）作风转换上的比较。Gatys（image 1）和 Gatys（collection）是两个 NST 的变种，其分别将输入照片与内容密切近似的漫画图片中止锻炼，并输出结果。 论文： CartoonGAN: Generative Adversarial Networks for Photo Cartoonization
论文链接： http://203.187.160.133:9011/openaccess.thecvf.com/c3pr90ntc0td/content_cvpr_2018/papers/Chen_CartoonGAN_Generative_Adversarial_CVPR_2018_paper.pdf 摘要：在此论文中，我们提出了一种处置计划，能够将理想场景的图片转换为漫画作风的图像，这在计算机视觉和计算机绘图范畴都是极具价值与应战性的任务。我们的处置计划属于基于学习的措施，也就是近来以艺术方式做图像作风化的盛行方式。但是，已有的措施不能产生令人称心的卡通化结果，主要是由于：1. 漫画作风有自己共同的特性，高度简化、笼统化。2. 漫画图像有明显的边沿、平滑的颜色和相对简单的纹理，这对当前基于纹理描画器损失函数的措施有极大的应战。 在此论文中，我们提出了 CartoonGAN，也就是做漫画作风转换的生成式对立网络。我们的措施采用未配对照片和漫画图来做锻炼，十分容易运用。我们也提出了两种适用于漫画化的两种全新损失函数： 1. 一个语义内容损失函数，其表述为 VGG 网络中高阶特征映射的稠密正则化，以应对照片和漫画之间的作风差别。 2. 一个边沿提升对立损失来保存明晰的边沿。我们进一步引入了初始化阶段，来改进网络的收敛抵达目的流形。我们的措施也要比已有措施有更高效的锻炼。实验结果表明，该措施能够从真实图片转换为高质量的漫画图像（也就是遵照特定的作风，有明晰的边沿战争滑的描影），且超越了其他顶尖措施。 Q:你最喜欢哪位巨匠的漫画作风？ 转载 / 投稿请联络：baiyu@hzbook.com |
名表回收网手机版
