ICLR 2022 | 基于对抗自注意力机制的预训练语言模型

使模型在被污染的模型结构中得到训练,分布的平滑)加入原始的注意力结构中。这些先验知识能够让模型从较小的语料中学习有用的知识。但是这些先验知识一般是任务特定的知识。使得模型很难扩展到丰富的任务上,adversarial training 通过给输入内容添加扰动来提升模型的鲁棒性。
1
1
0
KDD 2022 | 通过知识增强的提示学习实现统一的对话式推荐

本文基于知识增强的提示学习提出一种统一的对话推荐系统。已有的对话推荐系统通常包含对话和推荐两个模块,并采用不同的模型或技术实现,导致模块之间存在语义不一致的问题。本文采用提示学习的范式重新建模对话和推荐子任务,从而使得对话和推荐模块用一个预训练模型就能轻松实现。论文链接:https:论文代码;https; 
1
收藏
0
ECCV 2022 | PEBAL:用于城市自动驾驶系统的异常分割模型

本文研究如何有效利用abstain learning来有效检测城市自动驾驶系统中经常遭遇的异常物体,其提出PEBAL:一个融合像素级别弃权学习abstention learning 和能量模型的异常/OOD检测系统,性能表现SOTA!代码已经开源!论文链接:https://arxiv.org/abs/2111.12264:代码:https//github.com/tianyu0207/PEBAL
1
收藏
0
人工智能助力癌症、心血管、青光眼等疾病的诊断治疗及药物研发
近期人工智能助力癌症、心血管、青光眼等疾病的几项研究。目录:新的研究表明深度学习如何改善基因疗法和抗病毒药物:一种用于发现调节疾病特异性多靶点的天然化合物的深度学习方法使用机器学习在单细胞水平识别肿瘤细胞CancerNet用于泛癌诊断的统一深度学习网络深度学习帮助发现癌症中新的基因突变基于人工智能的图像分析自动检测严重的心脏病基于人工智能的心肌梗死风险预测模型使用深度学习预测青光眼患者的视力
1
1
0
推荐系统用户反馈延迟新解法!阿里提出CVR无偏估计算法
延迟反馈是流式样本中的典型问题,因此早期针对延迟反馈问题,一般都会引入一个模型预测转化的延迟时间进而利用延迟转化的样本,但是在业界的流式架构中很难避免这个预测转化时间的模型使用无偏样本训练,现在针对延迟反馈问题,延迟反馈的样本在不同的采样窗口中会分别生成不同label的样本,这会导致训练样本的分布与真实样本分布存在bias,需要使用重要性采样对延迟反馈的样本进行纠偏。
1
收藏
0
超越PaLM!北大硕士提出DiVeRSe,全面刷新NLP推理排行榜

来自北大和微软的研究人员基于自洽的新方法DiVeRSe,进一步提升了模型的推理能力。https;即从语言模型中采样不同的推理路径,使用多个prompt生成答案;能够生成更完整、互补的答案,在生成推理路径时。语言模型中并不存在一种机制来纠正先前步骤中的错误,对每个推理路径的正确性进行验证来引导投票机制。并非所有的推理机制都是相等重要的或都是好的,由于答案是基于多个步骤的推理而产生的。
1
收藏
1

查看更多 
热门榜单
- 加入社群