由 Unsplash 上的 chuttersnap 拍摄
在之前的故事中,我们介绍了图嵌入简介,节点嵌入中的随机游走, 4 图神经网络,以及当 GraphSAGE 遇到 Pinterest。
在本文中,我介绍了 TRESCAL、HolE 和 SimplE 在知识图嵌入中的应用。TRESCAL 和 HolE 都是 RESCAL 的增强版本。作者使用了不同的方法来克服重新标度的局限性。
TRESCAL (Chang 等人,2014 年)是 RESCAL(Nickle 等人,2011 年)的增强版。作者考虑了实体的类型和关系,以消除不必要的计算,从而减少所需的训练时间,并提高模型精度。这是零钱:
- 领域知识:比如我们可以确认,如果 R(关系)是“天生的”,而 E1(头部实体)和 E2(尾部实体)是一个人,则{E1,R,E2}无效。通过去除不相容的实体关系三元组,不仅减少了训练时间,而且改善了模型误差。
- 正则化:通过应用奇异值分解(SVD),降低了计算复杂度。
HolE (Nickel et al .,2015),又名全息嵌入,结合 RESCAL(Nickle et al .,2011)和 DistMult(Yang et al .,2015),以更少的计算资源实现更好的结果。为了表示关系,RESCAL 需要 D 的平方(维度的大小),而 HolE 只需要 D。另一方面,它利用循环相关性来计算关系,使得它可以支持非对称关系(即,有向图)。
简单的(卡泽米和普尔,2018),又名Simple Embedding
,提出使用两个关系向量来学习实体嵌入。在链接预测中,我们总是有一个三元组(头实体、关系和尾实体)来训练模型。所以有四个实体嵌入(2 头 2 尾)和一个关系嵌入。问题是,在不同的情况下,有两个嵌入来表示单个实体(分别是头部和尾部)。最终造成了业绩不佳。
作者建议使用两个关系嵌入而不是一个,这样它可以解决上述问题。将评分函数定义为:
1/2(实体 _ 1 _ 头*相关 _a 实体 _ 2 _ 尾+实体 _ 1 _ 尾相关 _b *实体 _ 2 _ 头)
换句话说,它同时计算头部和尾部实体嵌入。
- K.张文伟、易文泰、杨炳良、米克良。用于关系抽取的知识库的类型张量分解。 2014 年
- 米(meter 的缩写))尼克尔、l .罗萨斯科和 t .波吉奥。知识图的全息嵌入。2015
- 南卡泽米先生和普尔先生。知识图中链接预测的简单嵌入。2018