文献：Liu Q, Jiang H, Wei S, et al. Learning Semantic Word Embeddings based on Ordinal Knowledge Constraints[C]. ACL 2015: 1501-1511.
Motivation
1）纯数据驱动的SWE有可能使得一些反义词之间的距离比同义词之间的距离还要小；2）语料库的不完备（语义相近的一对词却在数据中较少共现）可能使得无法准确捕捉近义词对间的关系。
基本思想
将语义知识表示成条件不等式，从而可将SWE形式化条件最优问题。
构造语义不等式的规则
- 同义反义规则: sim(wi,wj)>sim(wi,wk) , wi 与 wj 是同义词， wi 与 wk 是反义词.
- 语义类别规则: 在wordnet、freebase等语义知识库中，处于同一语义类别中的词语间具有更大相似度.
- 语义层次规则
语义不等式与skip-gram模型相结合
- Q=1T∑t=1T∑−c⩽j⩽c,j≠0logp(wt+j|wt) ，其中 t 为目标词.
- { W(1),W(2)}=argmaxW(1),W(2)Q(W(1),W(2))
将所有的语义不等式 sij>sik,∀(i,j,k)∈S 转化为 D=∑(i,j,k)∈Sf(i,j,k) ，从而可将skip-gram模型中的Q函数转变为 Q′=Q−β⋅D ,其中 f(i,j,k) 可以用不同的规范函数来实现。例如:sigmoid函数 f(i,j,k)=1/(1+exp(sij−sik)) 或者 hinge函数 f(i,j,k)=max(δ,sij−sik)
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/53188.html