获取初始关系网络图;所述初始关系网络图包括分别归属于三个分类的多个节点,其
中,归属于第一个分类的节点为第一类节点,该第一类节点与数据仓库中的数据集相对应;
归属于第二个分类的节点为第二类节点,该第二类节点与数据集中的数据文件相对应;归
属于第三个分类的节点为第三类节点,该第三类节点与从数据文件中抽取的数据列相对
对于所述多个节点中的每个节点,根据对应数据集、数据文件或者数据列的名称包含
对于所述多个节点中归属于同一个分类的各节点,基于对应的名称向量,计算两两节
点之间的模式相似度,以及基于对应的内容向量,计算两两节点之间的内容相似度;其中,
任一节点的内容向量,根据对应数据集、数据文件或者数据列的内容包含的各词对应的词
基于所述模式相似度,在所述初始关系网络图中添加第二连接边,以及基于所述内容
相似度,在所述初始关系网络图中添加第三连接边,得到目标关系网络图,所述目标关系网
对于所述目标关系网络图中的任一节点,在所述目标关系网络图中,确定出经过预定
数量K1以内的第二连接边到达的、与所述任一节点归属于同一个分类的第一目标节点;将
所述第一目标节点对应的数据集、数据文件或者数据列,作为针对所述任一节点进行模式
对于所述目标关系网络图中的任一节点,在所述目标关系网络图中,确定出经过预定
数量K2以内的第三连接边到达的、与所述任一节点归属于同一个分类的第二目标节点;将
所述第二目标节点对应的数据集、数据文件或者数据列,作为针对所述任一节点进行内容
对于所述目标关系网络图,判断所述第三类节点对应的数据列是否为所述第二类节点
对应的数据文件的主键或者外键,若是,则在所述目标关系网络图中添加第四连接边。
基于word2vec网络,确定该节点对应的数据集、数据文件或者数据列的名称包含的各
词对应的第一词向量,以及基于WordNet,确定该节点对应的数据集、数据文件或者数据列
4.根据权利要求1所述的方法,其中,所述归属于同一个分类的各节点包括第一节点和
所述基于所述模式相似度,在所述初始关系网络图中添加第二连接边,包括:判断所述
第一节点与第二节点之间的模式相似度是否大于第一阈值,若是,则在所述第一节点与第
所述基于所述内容相似度,在所述初始关系网络图中添加第三连接边,包括:判断所述
第一节点与第二节点之间的内容相似度是否大于第二阈值,若是,则在所述第一节点与第
利用所述目标关系网络图对图神经网络进行训练,得到所述目标关系网络图中每个节
基于所述节点向量,计算两两节点之间的打分,所述打分指示两个节点之间存在连接
利用所述图神经网络对所述目标子图进行图嵌入处理,得到所述目标子图中每个节点
将所述目标子图整合到所述目标关系网络图;所述将所述目标子图整合到所述目标关
系网络图至少包括:基于所述目标子图以及目标关系网络图中各个节点的节点向量,依次
计算所述目标子图中各个节点与所述目标关系网络图中各个节点之间的链接相似度,并基
对于所述目标关系网络图中归属于同一个分类的两个节点,基于所述目标关系网络
基于所述目标路径包含的各连接边,确定该两个节点对应的数据集、数据文件或者数
获取单元,用于获取初始关系网络图;所述初始关系网络图包括分别归属于三个分类
的多个节点,其中,归属于第一个分类的节点为第一类节点,该第一类节点与数据仓库中的
数据集相对应;归属于第二个分类的节点为第二类节点,该第二类节点与数据集中的数据
文件相对应;归属于第三个分类的节点为第三类节点,该第三类节点与从数据文件中抽取
确定单元,用于对于所述多个节点中的每个节点,根据对应数据集、数据文件或者数据
计算单元,用于对于所述多个节点中归属于同一个分类的各节点,基于对应的名称向
量,计算两两节点之间的模式相似度,以及基于对应的内容向量,计算两两节点之间的内容
相似度;其中,任一节点的内容向量,根据对应数据集、数据文件或者数据列的内容包含的
添加单元,用于基于所述模式相似度,在所述初始关系网络图中添加第二连接边,以及
基于所述内容相似度,在所述初始关系网络图中添加第三连接边,得到目标关系网络图,所
分析单元,用于对于所述目标关系网络图中的任一节点,在所述目标关系网络图中,确
定出经过预定数量K1以内的第二连接边到达的、与所述任一节点归属于同一个分类的第一
目标节点;将所述第一目标节点对应的数据集、数据文件或者数据列,作为针对所述任一节
对于所述目标关系网络图中的任一节点,在所述目标关系网络图中,确定出经过预定
数量K2以内的第三连接边到达的、与所述任一节点归属于同一个分类的第二目标节点;将
所述第二目标节点对应的数据集、数据文件或者数据列,作为针对所述任一节点进行内容
据、业务数据、财务数据及第三方数据等诸多方面,普遍存在数据冗余、数据缺失、数据格式
不一致及数据分布不平衡等问题,迫切需要研究一种新型数据分析和增强的技术解决方
案,以便更高效、准确地改善数据质量,为大型供应链集成服务集团公司数字化转型奠定基
础。数据分析和增强是数据处理过程中的一项基本任务,用于确定并优化与数据处理及数
据应用项目相关的超大规模数据集。大宗商品供应链集成服务集团公司汇聚了超大规模的
机器可读和结构化数据集。这些数据一般收集在一个被称为数据湖或者数据仓库的数据存
储中。数据所有者一般通过一个数据中台系统提供这些数据集或构建新的数据集,如,国内
的阿里云MaxCompute系统、网易有数系统、袋鼠云数栈系统、数澜科技数栖系统和国外的
Talend系统等,这些大数据平台一般是通过数据资产目录或数据标签的形式支持检索目标
数据,使得用于寻找、下载、准备和整合相关数据的时间和精力都比较多。随着数据应用的
大量增加和数据分类、分级的管制,相似数据集大量存在,目标数据检索难度增大,数据处
理效率大大降低。因此,迫切需要提供一种解决方案,用于数据模型相似度评估、分析、处
理、优化,以及基于数据安全相关法律法规要求下进行数据服务和应用的数据处理工作,提
高数据处理工作效率和数据使用合规性,以实现高效和可扩展的数据分析和增强。
点,其中,归属于第一个分类的节点为第一类节点,该第一类节点与数据仓库中的数据集相
对应;归属于第二个分类的节点为第二类节点,该第二类节点与数据集中的数据文件相对
应;归属于第三个分类的节点为第三类节点,该第三类节点与从数据文件中抽取的数据列
两节点之间的模式相似度,以及基于对应的内容向量,计算两两节点之间的内容相似度;其
中,任一节点的内容向量,根据对应数据集、数据文件或者数据列的内容包含的各词对应的
内容相似度,在所述初始关系网络图中添加第三连接边,得到目标关系网络图,所述目标关
分类的多个节点,其中,归属于第一个分类的节点为第一类节点,该第一类节点与数据仓库
中的数据集相对应;归属于第二个分类的节点为第二类节点,该第二类节点与数据集中的
数据文件相对应;归属于第三个分类的节点为第三类节点,该第三类节点与从数据文件中
抽取的数据列相对应;在具有隶属关系的两个分类的节点之间通过第一连接边连接;
确定单元,用于对于所述多个节点中的每个节点,根据对应数据集、数据文件或者
称向量,计算两两节点之间的模式相似度,以及基于对应的内容向量,计算两两节点之间的
内容相似度;其中,任一节点的内容向量,根据对应数据集、数据文件或者数据列的内容包
添加单元,用于基于所述模式相似度,在所述初始关系网络图中添加第二连接边,
以及基于所述内容相似度,在所述初始关系网络图中添加第三连接边,得到目标关系网络
同类节点之间的隶属关系、同类节点之间的内容相似性和模式相似性等方面来构建目标关
系网络图,由此使得所构建的目标关系网络图可以用于多维度的数据分析和增强,进而可
用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对
于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其
图1示出根据一个实施例的供应链数据分析和增强处理系统示意图。图1中,该系
具体地,在将数据湖或数据仓库中的供应链数据(以下简称数据)通过数据接口的
方式汇聚到系统之后,在剖析装置,可以梳理出数据湖或者数据仓库中数据列、数据文件和
数据集之间的关系,同时计算出数据列、数据文件和数据集各自的内容向量并保存,以便于
在后续计算内容相似度时使用。在构建装置,可以构建出若干种核心关系,形成一张完整的
关系网络图。这里的若干种核心关系包括但不限于模式相似性关系、内容相似性关系以及
主外键关系等等。针对关系网络图,还可以基于业务人员核心知识进行整合和构建。在链接
器,基于已有核心关系,对图神经网络进行训练,得到每个节点的节点向量。之后,基于每个
节点的节点向量,可以计算任意两个节点之间的打分,从而对关系网络图进行补全。同时对
新增的数据集,可以推断出新增的数据集对应的子图中的节点与已有的关系网络图中的节
点的关系,完成对新增数据集关系的推断,增强数据发现和增强已有的关系网络图。
需要说明,上述系统可以对外提供服务接口。应理解,通过该服务接口,可以额外
提供多种数据分析方法,从而相比于传统的大数据平台,能够增强数据中的语义、模式等信
息,提升数据挖掘分析的效率和准确率,帮助准确发现和补全新的数据,提升企业的数据赋
图2示出根据一个实施例的关系网络图的构建方法流程图。可以理解,该方法可以
通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图2所示,该构建方法
类的各节点统称为第一类节点,该第一类节点与数据仓库(或者数据湖)中的数据集
(dataset)相对应(即每个第一类节点对应于一个数据集)。归属于第二个分类的各节点统
称为第二类节点,该第二类节点与数据集中的数据文件相对应(即每个第二类节点对应于
一个数据文件)。归属于第三个分类的各节点统称为第三类节点,该第三类节点与从数据文
件中抽取的数据列(column)相对应(即每个第三类节点对应于一个数据列)。
上述多个节点中,在具有隶属关系(即isPartof关系)的两个分类的节点之间通过
第一连接边连接。从而基于该第一连接边,可以查找具有隶属关系的数据列与数据文件,以
及数据文件与数据集,进而执行数据去重处理。比如,对于同属于一个数据集的两个数据文
件,可以进一步分析该两个数据文件的内容是否一致,并在相一致的情况下,去除一个数据
集的一部分)。这里的数据文件可以为以下中的任一种:表格文件、CSV文件、JSON文件以及
分布在大数据环境中的各种分布式数据(比如,以HDFS存储的大数据文件(big table))。本
说明书中,数据文件所存储的数据可以为多模态数据,比如,既可以为文本数据,也可以为
图像数据,以下描述中以文本数据为例进行说明。此外,一个数据文件可以包含若干数据列
(也即一个数据列可以为一个数据文件的一部分)。这里的数据列可以由字段以及对应的字
地,对于每个第三类节点,可以基于word2vec网络,确定该节点对应数据列的内容(即字段
值)包含的各词对应的词向量。之后,可以对各词对应的词向量进行求平均,得到第三类节
均,得到该第二类节点的内容向量,也即得到第二类节点对应数据文件的内容向量。
均,得到该第一类节点的内容向量,也即得到第一类节点对应数据集的内容向量。
后续使用。需要说明,由于这里只存储了每个节点的内容向量,而并没有存储原始数据,从
而可以减少隐私风险。此外,由于在本说明书实施例中,针对数据集、数据文件以及数据列
均确定了对应的内容向量,从而为后续从不同粒度进行内容相似性分析奠定了基础。
步骤204,对于多个节点中的每个节点,根据对应数据集、数据文件或者数据列的
上述确定该节点的名称向量具体可以包括:基于word2vec网络,确定该节点对应
的数据集、数据文件或者数据列的名称包含的各词对应的第一词向量,以及基于WordNet
(由普林斯顿大学认识科学实验室建立和维护的英语字典),确定该节点对应的数据集、数
据文件或者数据列的名称包含的各词对应的第二词向量。对各词对应的第一词向量和第二
词向量求平均,得到各词的向量表示。对各词的向量表示进行融合(比如,求平均),得到该
节点的名称向量。如此,就可以得到目标关系网络图中多个节点各自的名称向量。针对该名
步骤206,对于多个节点中归属于同一个分类的各节点,基于对应的名称向量,计
算两两节点之间的模式相似度,以及基于对应的内容向量,计算两两节点之间的内容相似
这里的模式相似度或内容相似度可以包括但不限于余弦相似度或者Ochiai系数
等。当然,在实际应用中,也可以基于欧氏距离、曼哈顿距离或者皮尔逊相关系数等,确定上
步骤206具体可以为:基于各第一类节点的名称向量,计算两两第一类节点之间的
模式相似度;基于各第二类节点的名称向量,计算两两第二类节点之间的模式相似度;以及
基于各第三类节点的名称向量,计算两两第三类节点之间的模式相似度。同理,基于预先存
储的各第一类节点的内容向量,计算两两第一类节点之间的内容相似度;基于预先存储的
各第二类节点的内容向量,计算两两第二类节点之间的内容相似度;以及基于预先存储的
似度和内容相似度,也可以只针对部分节点计算模式相似度和内容相似度,以减少计算量。
比如,只针对可能存在关联关系的节点计算模式相似度和内容相似度。这里的可能存在关
联关系的节点例如可以为对应数据对象(包括数据集、数据文件或者数据列)选自同一个部
步骤208,基于模式相似度,在初始关系网络图中添加第二连接边,以及基于内容
相似度,在初始关系网络图中添加第三连接边,得到目标关系网络图,该目标关系网络图用
节点和第二节点,那么上述在初始关系网络图中添加第二连接边可以包括:判断第一节点
与第二节点之间的模式相似度是否大于第一阈值,若是,则在第一节点与第二节点之间构
建第二连接边,且将该两者的模式相似度作为第二连接边的权重。类似地,可以在归属于每
在一个示例中,上述第二连接边可以表示为:第一节点,第二节点,模式相似度:
之间具有模式相似性(schemaSimilarity)关系。从而,基于该第二连接边,可以查找具有模
边可以包括:判断第一节点与第二节点之间的内容相似度是否大于第二阈值,若是,则在第
一节点与第二节点之间构建第三连接边,且将内容相似度作为第三连接边的权重。
在一个示例中,上述第三连接边可以表示为:第一节点,第二节点,内容相似度:
之间具有内容相似性(contentSimilarity)关系。从而,基于该第三连接边,可以查找具有
当然,在实际应用中,还可以在上述目标关系网络图中添加新连接边,以指示新的
在一个示例中,上述添加新连接边可以包括:对于目标关系网络图,判断第三类节
点对应的数据列是否为第二类节点对应的数据文件的主键(PrimaryKey)或者外键
也就是说,基于该第四连接边,可以查找具有主外键(prikeyForkey)关系的数据
图3示出根据一个实施例的目标关系网络图的示意图。图3中,目标关系网络图包
括归属于三个分类的多个节点,其中,第一类节点通过点虚线框示出,其代表数据集;第二
类节点通过横线虚线框示出,其代表数据文件;第三类节点通过实线框示出,其代表数据
列。此外,目标关系图还包括四种类型的连接边。其中,第一连接边连接具有隶属关系的节