选自arXiv
机器之心编译参与：魔王
相比于依靠创作者手绘的动画，木偶动画的制作是个非常繁琐的过程，我们需要将一个动作分解成若干个环节，逐帧拍摄再连续放映为影片。近日，Adobe 和康奈尔大学提出了一种名为「变形木偶模板」的动画制作方法，可实现基于少量卡通角色样本生成新角色动作，和木偶动画的制作方法倒是有异曲同工之妙。
ai如何随意拉扯形状，近日，Adobe 和康奈尔大学的研究人员提出一种基于学习的动画制作方法——基于卡通角色的少量图像样本就可生成新动画。
近日，Adobe 和康奈尔大学的研究人员提出一种基于学习的动画制作方法——基于卡通角色的少量图像样本就可生成新动画。
1、打开Ai，创建一个空白模板，选择“文字工具”，然后在模板上点击鼠标左键，可以看到模板上出现了一行默认文字。2、鼠标拖动其边框即可调整其大小，按Ctrl+shift+O来创建文字轮廓。3、在左侧工具栏中选择“自由变换”工具。
除了动作，卡通角色的外观也会因为阴影、离面运动（out-of-plane motion）和图片艺术效果而呈现细微的差异。研究人员使用图像平移网络（image translation network）来捕捉这些细微变化，并改进了网格渲染结果。他们还为了生成更高质量的卡通角色新动画搭建了一个端到端的模型，这个模型可用于合成中间帧和创建数据驱动的变形，其模板拟合（template fitting）步骤在检测图像配准方面的效果明显优于当前的通用技术。
Adobe 新方法生成图像的 1024 × 1024 版本示例。
卡通角色动画制作的难点
传统的角色动画制作过程较为繁琐，需要多名创作者合力，并且要非常细致地完成每一帧动作的绘制。
在《起风了：1000日的创作记录》中，宫崎骏透露，这几秒钟的镜头耗时1年零3个月。
人类在观察多个动作序列后，很容易想象出这个角色在做其他姿势时的细节样貌，但这对于算法而言没那么容易：关节接合、艺术效果和视角变化等都会对图像外观产生大量细微差别，这些极大增加了提取底层角色结构的复杂度。人类的自然图像尚且可以依赖大量标注或数据来提取共同结构，但这种方法不适用于卡通角色，因为拓扑结构、几何和绘画风格不具备那么强的一致性。
Adobe 的解决之道
正是为了解决这一难题，Adobe 提出了一种依靠「变形木偶模板（deformable puppet template）」去基于少量图像样本生成动画角色新外观的方法。
ai文字变成弧形的方法如下：工具／原料：Dell游匣G15、windows10、Adobe illustrator cc22.0.0 1、输入文字 选择文字工具，输入合适的文字。2、选择弧形效果 选中文字，点击效果－－变形－－弧形。3、设置弧形参数 弹出一个。
研究人员先假设所有的角色姿势都可以通过扭曲变形模板来生成，开发出一个变形网络（deformation network），以及这个网络编码图像和解码模板的变形参数；然后在可微渲染层中使用这些参数，渲染出与输入帧相匹配的图像。重建损失可在所有阶段中进行反向传播，从而学习如何对所有训练帧登记该模板。
这项研究用到的是学界和工业界常用的层级 2.5D 变形模型（layered 2.5D deformable model），再匹配上多种传统人工绘制动画风格。如此一来，相对于需要大量专业知识才能使用的 3D 建模模板，用户会轻松许多。假如用户想生成木偶，选择单个帧，再将前景角色分割成多个身体构成组件，然后就可以使用标准三角剖分（triangulation）工具将其转化为网格。
单击鼠标左下角然后松开，按下CTRL键并拖动鼠标左下角变形。先放鼠标，然后放左手。请点击输入图片描述
在六个动画角色的制作任务中，研究人员使用 70%-30% 的训练-测试分割比例去评估了这个新方法：
1、打开AI软件，按下快捷键T，新建一个文字图层，输入一些文字。2、左侧工具栏选择“自由变换”工具，AI会把变换工具的子工具展示出来。3、选择边框上四条边的任意一个控制点，鼠标拖动即可进行文字的变换了。4、点击菜单栏。
首先，评估模型重建输入帧的效果，发现其输出的结果比当前最优的光流和自编码器技术更加准确。
其次，评估登记模板（registered template）估计出的配准质量，发现其效果优于图像配准方法。
最后，证明该模型可用于数据驱动的动画制作，即合成动画帧由训练时获取的角色外观决定。研究人员构建了合成中间帧和根据用户指定变形制作动画的原型应用，根据角色生成合理变形后的新图像。相比于计算机图形学基于能量的传统优化技术，这一数据驱动方法得到的角色姿势更加逼真，也更加接近创作者绘画水准。
方法
层级变形木偶
变形网络
获得变形网络模板后，就可以学习如何使模板变形以匹配目标角色图像的新姿势了。
图 2 展示了训练架构：
图 2：训练架构。编码器-解码器网络学习网格变形，条件生成对抗网络改进渲染图像，以捕捉纹理变化。
变形网络的输入指的是初始网格和使用新姿势的目标角色图像，编码器-解码器网络通过卷积滤波器将目标图像编码至瓶颈层，然后通过全连接层将其解码为顶点位置偏移（vertex position offset）。这样一来，网络就能够识别输入图像中的姿势，并推断出生成这一姿势的合适模板变形。
外观改进网络
1、打开Ai软件，创建一个文档。2、使用文字工具在场景中创建一个文本，设置好文本大小。3、选择文本，然后在效果菜单下选择变形菜单下的弧形。4、选择方向为水平，然后调整弯曲参数到合适位置。5、设置完毕后点击确定即可创建。
尽管变形网络可以捕捉到大部分关节，但还是有一些细微的外观效果变化（如艺术风格、阴影效果和离面运动）无法通过以上步骤来实现。
所以研究人员跟进推出了「外观改进网络」，对变形得到的图像再进行细化处理。该架构和训练步骤类似于条件生成对抗网络。生成器对渲染图像进行精细处理，使其更加自然贴合。
实验结果及应用
图 4：将 Adobe 方法的输出结果渲染为 1024 × 1024 图像的示例。
