Revisiting Cosine Similarity via Normalized ICA-transformed Embeddings

本研究聚焦于经独立成分分析（ICA）转换后的嵌入的可解释轴，并提出了余弦相似度的新解释，即作为轴上语义相似性之和。余弦相似度被广泛用于衡量两个嵌入之间的相似性，而基于角度和相关系数的解释很常见。为了研究这个问题，我们首先通过实验证明未归一化的嵌入含有基于范数的人工因素。然后，我们展示了归一化的ICA转换后的嵌入具有稀疏性，每个轴和所有嵌入之间都有少量大值，从而通过勾勒清晰的语义贡献增强了可解释性。最后，为了验证我们的解释，我们使用带有特定语义组件和不带特定语义组件的理想嵌入进行检索实验。

本论文旨在探讨如何使用独立成分分析（ICA）转换的嵌入向量中的可解释轴来解释余弦相似度，并验证其有效性。

本论文提出了一种新的解释余弦相似度的方法，即将其视为轴上语义相似性的总和。同时，使用ICA转换可以使嵌入向量变得更加稀疏和可解释。

本论文通过实验验证了未归一化的嵌入向量存在范数导出的伪影，而归一化后的ICA转换嵌入向量则表现出稀疏性和可解释性。在理想嵌入向量上进行的检索实验也验证了该方法的有效性。需要注意的是，本论文没有提供开源代码。

最近在这个领域中，也有一些使用ICA进行嵌入向量转换的相关研究，如《Unsupervised Learning of Morphology with Inflectional Word Embeddings》。此外，余弦相似度的解释方法也有很多，如基于角度和相关系数的解释方法。