KG 高引论文解读两篇 | 两种模型:多层卷积神经网络、知识感知路径递归网络


1、Convolutional 2D Knowledge Graph Embeddings

作者:

Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, Sebastian Riedel

论文出处:

The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI 2018)

文章链接:

https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/download/17366/15884

研究问题

知识图谱的链接预测任务是预测节点之间潜在的关系。传统的链接预测方法专注于浅的、快速的模型,因为这样可以扩展到大规模的KG中。但是浅层模型学习到的特征比深沉模型少很多,大大限制了模型的性能。解决该问题的方法之一是增加embedding的维度,但是会加模型参数量,不方便扩展到大规模KG中。此外,部分现有数据集中有测试集泄露问题:训练集中的三元组稍微翻转一下就可以得到测试集三元组,然后使用基于规则的模型就能达到最佳性能。文章通过构造一个简单的翻转来衡量这个问题严重性,并清洗了部分数据来解决该问题。

研究方法

文章提出一种多层卷积神经网络模型用于知识图谱的链接预测任务。与自然语言处理中常用的一维卷积不同,文章通过把多个向量堆叠成矩阵,就可以像图形一样用二维卷积核来抽取embedding之间的关系。

模型的流程总结为:

  • 经过look-up embedding得到实体和关系的向量表示,然后通过变形和堆叠转化为2D版本。

  • 用多个卷积核对堆叠后的矩阵进行卷积操作,得到一个特征图γ。

  • 把γ向量化,然后通过一个全连接层映射到k维空间中。

  • 最后与目标实体的embedding相乘获得相应的得分。

  • 将得分进行sigmoid操作得到概率p,从而最小化交叉熵来训练模型。

值得一提的是,与传统模型对三元组关系打分的一对一模式不同,ConvE以实体关系对作为输入,同时对所有候选实体进行打分。这种方式极大加快了计算速度。实验结果表明,即使实体规模扩大10倍,计算时间也只是增加了25%。

研究结果

文章在4个数据集WN18、FB15K、YAGO3-10、Countries上进行实验,与DisMult、R-GCN等模型进行了对比。实验结果表明:0.23M个参数的ConvE就与1.89M个参数的DistMult有相近的性能表现,总的来说ConvE的参数效率是R-GCN的17倍以上,是DistMult的8倍以上。此外,作者还发现ConvE在YAGO3-10和FB15k-237上的表现比在WN18RR上好,因为前两者包含入度很大的结点,这种复杂的KG需要更深层的模型,而浅层模型比如DistMult则在较简单的KG上有优势。

2、Explainable Reasoning over Knowledge Graphs for Recommendation

作者:

Xiang Wang, DingxianWang, Canran Xu, Xiangnan He, Yixin Cao, Tat-Seng Chua1

论文出处:

Proceedings of the AAAI Conference on Artificial Intelligence. 2019 (AAAI''19).

文章链接:

https://www.aaai.org/ojs/index.php/AAAI/article/view/4470/4348

研究问题

近年来如何将知识图谱融入推荐系统得到越来越多的关注,通过探索知识图谱中的用户到商品的路径,可以为用户与商品的交互行为提供丰富的补充信息。这些路径不仅揭示了实体和关系的语义,还能帮助理解用户的兴趣。然而现有的模型没能充分利用路径来推断用户偏好,尤其是在建模的顺序依赖关系和路径的整体语义方面。文章构建了知识感知路径递归网络模型(Knowledge aware Path Recurrent Network,KPRN),通过组合实体和关系的语义来生成路径表示。利用路径中的顺序依赖关系,可以基于路径进行有效推理,从而推断出用户-项目交互场景中的基本原理。此外,文章设计了一种新的权重池化操作,以区分用户与项目连接的不同路径的优势,赋予我们的模型一定的可解释性。下图为基于知识图谱的音乐推荐场景实例,虚线为关系,实线为用户-商品交互路径。

研究方法

知识图谱和路径:知识图谱由一组三元组(h,r,t)组成,代表实体h和实体t构成关系r。文章中知识图谱还融合了用户-商品的交互信息,即包含了三元组(用户,交互方式,商品), 其中交互方式为预定义的关系。路径的定义是一个由实体或关系组成的序列,并且以用户作为起始点,以商品作为终点。给定一个用户,商品,以及连接该用户和商品的路径的集合,我们希望模型能够计算该用户和商品之间存在交互的可能性,即是否存在三元组(用户,交互方式,商品)。

模型一共分为三层:在Embedding层对路径的每一个行为做embedding的计算。对于给定三元组,分别计算实体名称,实体类型和关系(或交互方式)的embedding后再拼接得到最终特征表示。LSTM层将路径上的每个单元的特征表示按照时间顺序输入并且将最后时刻的隐藏层状态作为该路径的特征表示。在pooling层,将所有路径的特征表示集合输入两层前馈神经网络,再对输出做带权重的池化操作得到最后的预测结果。

研究结果

文章在公开电影数据集MI和音乐数据集KKBox上进行了实验,验证了所提出的模型的有效性,并且相对于仅将实体映射为一个向量表示的方法,KPRN还能够从路径中挖掘用户和商品之间的交互原因,这提高了模型的可解释性。

如上图所示,在MovieLens-1M中随机选择的一个用户u4825,并从她的交互记录中选择电影“恋爱中的莎士比亚”。然后,我们提取连接用户-项对的所有限定路径,得到每个路径的分数s1 = 0.355, s2 = 0.289, s3 = 0.356,即模型更倾向于认为用户u4825是通过路径3和电影“恋爱中的莎士比亚”产生交互关系。

源链接   来源:机器之心   日期:2019-12-09 10:05:00  

推荐文章

上汽通用800亿投入研发,将推超60款新车型

王永清透露称,上汽通用明年还将至少推出10款全新或改款车型,覆盖轿车、SUV、MPV、豪华车和新能源车等各领域细分市场。


因深度学习成就,香港大学罗平入选《麻省理工科技评论》亚太区「35 岁以下创新者」榜单!

对于罗平教授本次入选  TR35  亚太地区榜单,《麻省理工技术评论》的颁奖词为:罗平博士开发了具创新性的人工智能技术,以教授机器人理解丰富的人类语言与行为,如人脸姿态与语言,人脸属性与情感,肢体动作,服饰和社会关系等。


英特尔或花费超过10亿美元收购AI芯片初创公司Habana Labs

雷锋网消息,以色列媒体Calcalist周二报道,美国科技巨头英特尔公司正在进行高级谈判,拟以10亿至20亿美元的价格收购以色列初创公司Habana  Labs。


洋葱数学更名“洋葱学院”,拓展全年龄段全学科的K12业务

雷锋网消息,12月4日,“洋葱数学”在京召开发布会,宣布将“洋葱数学”品牌名称变更为“洋葱学院”,这意味着,洋葱学院正式开始搭建全年龄段全学科的K12在线教育体系。


中国 AI 出海,大华等企业助力联合国制定面部识别标准

商汤科技相关负责人表示,工作组将紧密结合人脸识别领域产业发展需求,推进人脸识别技术、产品的标准体系建设,制定具体标准计划,全面开展国家标准制修订工作。