本文简要介绍近期发表于IEEE Transactions on Multimedia (TMM) 的论文“Instance GNN: A Learning Framework for Joint Symbol Segmentation and Recognition in Online Handwritten Diagrams”，论文作者来自中国科学院自动化所模式识别国家重点实验室。该论文提出了一种基于实例图神经网络的联机手写示意图符号分割与识别方法。同时，维的笔画笔顺，该论文发布了一个迄今为止规模最大的带有标记信息的联机手写流程图数据集CASIA-OHFC。，
联机手写流程图数据集CASIA-OHFC地址：
论文地址：
一、研究背景
手写方式作为人类最自然的信息记录方式，具有书写自由、无需理会排版等优点，其效率和直观性都远远优于传统的键盘输入。随着智能手机、平板电脑、电子白板及电子手写笔的广泛普及，在智能电子设备上记录信息成为一种重要的信息记录形式。这些信息通常以联机手写文档（Online Handwritten Document）形式（也即数字墨水形式）保存。与常见的扫描图像不同的是，联机手写文档由一系列有序的笔画轨迹点组成，具有高度的稀疏性以及丰富的动态信息等特性。
目前，自动识别与理解联机手写文档得到学术界与产业界越来越多的关注。手写示意图识别的目的是将图中有一定含义的符号（如流程框、箭头、文字等）分割出来并标出符号的类别和符号之间的关系，以便恢复成标准形式的结构化印刷示意图。尽管取得一定的进展，然而，由于其结构复杂性、内容多样性（图文混杂，包含文字、数学公式、表格、流程图以及其他类型的示意图等）、书写风格多样性以及大规模标记数据的缺乏，诸如流程图、电路图、音乐符号等手写示意图（这些文档通常包含图形符号以及文本）的识别依然是一个挑战。联机手写示意图（Online Handwritten Diagrams）作为联机手写文档中常见的元素，广泛应用于多个领域，如人机交互、教育、办公自动化以及会议系统等。
联机手写示意图识别与理解涉及两个相互依赖的任务：
· 符号分割，即将整个示意图中的笔画划分为一系列具有一定语义的符号；
· 符号识别，即将分割所得符号进行分类。
现存的联机手写示意图符号分割与识别算法大致可分为自底向上与自顶向下两类。自底向上方法首先进行符号分割，之后进行符号识别。与此相对应，自顶向下方法将上述两个步骤集成在一个框架之下，同时进行符号分割与识别。这些方法大都采用传统的机器学习方法，在学习高层表示以及建模复杂结构方面存在一定的局限性，而这对于高精度的手写示意图识别具有重要意义。
二、方法简述
本文提出了一个基于实例图神经网络的联机手写文档符号分割与识别框架。该方法将联机手写文档建模为时空关系图，用以表示笔画之间的时序关系以及空间关系，通过节点和边分类可以对符号进行实例分割和识别。具体地，将笔画建模为图中的节点，而将笔画之间的相互关系建模为边。之后，通过特征工程方法，从原始文档中每个笔画提取27维描述笔画几何形状、方向、尺度等属性的特征作为节点的初始表示，提取19维笔画间时间空间关系作为边的初始表示。通过将笔画分类问题形式化为节点分类，将符号分割与识别建模为图中节点聚类或边分类问题，采用多任务学习的图神经网络架构同时进行笔画分类、符号分割与识别。整个系统的架构如下图1所示，其由特征提取与时空关系图构建、InstGNN模型（Instance Graph Neural Network，InstGNN）以及后处理三个模块组成。下文将对InstGNN模型进行详细介绍。
本文将每个文档表示为时空关系图（Space-Time Relationship Graph，STRG）。在STRG中，图中的节点 vi 表示笔画 si ，边表示笔画 si 与 sj 在空间上及时间上的相互关系。生成的图表示为，其中为节点集，为边集。每个节点与边均由一个实数特征向量来描述。对于图中边的构建，本文采用时间K近邻法及空间K近邻法。
每个节点学习层及边学习层的输入包括一系列节点特征，， 与边特征，其中， |V| 表示图中的节点数目，P、Q分别表示节点特征及边特征的维度。节点学习层对输入的边特征及节点特征融合后输出新的节点特征，， P′ 为输出的节点特征维度。类似地，每个边学习层对输入的边特征及节点特征融合后输出新的边特征，，其中， Q' 为输出的边特征维度。下文将对边学习层以及节点学习层的具体实现进行详细的描述。
节点学习层
节点学习层中，每个节点通过注意力机制聚合其邻居节点的特征，从而更新自己的原有表示。首先，我们采用自我注意力机制来度量节点与的相似性。
除了经典的自我注意力机制，我们引入了边注意力机制，利用边的特征来度量邻居的重要性：
[ wéi ]部首：纟笔画：11 基本解释 1. 系，连结 ：～系。～絷。2. 保持 ：～持。～护。～修。～生素。3. 纲 ：纲～（总纲，亦指法度）。4. 数学名词，几何学及空间理论的基本概念，通常的空间有“三维”，。
由于上述注意力系数在不同的节点之间无法比较，我们使用softmax函数对它们进行归一化，从而可得归一化的注意力权重如下：
其中，N(i)表示节点的邻居节点。
通过多头注意力权重聚合邻居节点的特征，可得节点学习层的输出特征如下：
上式中，表示由第k个注意力头计算所得的归一化的注意力权重，K为注意力头的数目。
在最后一层节点学习层中，我们采用均值池化来得到学习层的输出，并且去除了非线性变换：
边学习层
上式中，W为可学习参数矩阵。
损失函数
1. 符号间方差项，目标是使得属于相同符号的笔画的嵌入之间的距离足够小；
2. 符号内距离项，使得不同符号之间的嵌入相互远离；
3. 正则项，用以约束节点嵌入的幅值。
从而，可得嵌入损失的形式化定义如下：
在网络训练中，本文同时优化节点分类、边分类以及节点嵌入任务，总的损失函数定义如下：
三、主要实验结果及可视化结果
四、总结
维的笔画数： 11 维的笔画 名称： 撇折、撇折、提、撇、竖、点、横、横、横、竖、横、
本文提出了一种新颖的基于图神经网络的联机手写示意图识别框架InstGNN。将联机手写文档建模为时空关系图，将笔画建模为图中节点，将笔画之间在时间与空间上的关系建模为边，使用传统手工特征作为节点与边的初始表示，通过设计节点分类、边分类、节点特征联合学习的多任务图神经网络架构，同时完成笔画分类、符号分割与识别等任务。
通过在公开流程图数据集FC_A、FC_B，有限自动机基准数据集 FA 上进行大量的实验，本文提出的方法显著地超越先前的方法并取得目前最优的性能。通过一系列对比实验，验证了InstGNN各个模块的作用与功能。此外，本文构建了一个公开的大规模的联机手写流程图数据集CASIA-OHFC，并在该数据集上下进行了一系列基准实验。
相关资源：
联机手写流程图数据集CASIA-OHFC地址：
论文地址：
Illustrastion by Anna Antipina from Icons8
-The End-
笔画11——撇折、撇折、提、撇、竖、点、横、横、横、竖、横 部首--纟、结构--左右、繁体--维、五笔--XWYG、五行--土、拼音--wéi 写字技巧：“纟”两个撇折平行，与提画距离适中。“隹”竖画端正，左竖稍长。
“AI技术流”原创投稿计划
/ 最新技术解读/系统性知识分享 /
/ 前沿资讯解说/心得经历讲述 /
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励。
发送邮件到
chenhongyuan@thejiangmen.com
或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
>>> 投稿请添加工作人员微信！
【未集中】【糸部】维·康熙笔画：14·部外笔画：8 （wéi）《广韵》以追切。《集韵》《韵会》夷隹切。竝音惟。《说文》：车盖维也。又《博雅》：系也。《诗·小雅》：絷之维之。传：维，系也。《公羊传·昭。
扫码观看！
本周上新！
关于我“门”
维笔画：11 维（拼音：wéi）是汉语通用规范一级汉字（常用字） 。此字始见于西周金文，形声字，古字形从糸隹声。维的本义是系物的大绳。作动词表示系、联结，由系、联结引申为保全、保持。古代又常用作语气词，放于句。
▼
将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及。
将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:
