最近来自微软的华人团队发表了一篇论文，提出了一个KEAR（Knowledge External Attention for commonsense Reasoning）系统，将CommonsenseQA常识问答的性能抬到了新高度，准确率达到89.4%，成功超越人类，堪称AI常识领域的里程碑模型了。

相比传统AI模型需要大规模数据来训练，这篇论文提出了一种外部注意力机制（external attention mechanism）来增强Transformer架构，能够把外部知识信息集成到预测的过程中，从而减少了模型对大参数量的需求，让AI系统更加民主化（democratization），也就是说可以降低AI模型研究的门槛，不用从老黄那买特别多的显卡，也能实现SOTA性能。

论文链接：https://arxiv.org/abs/2112.03254

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除