通用机器学习符号集

讨论数:2 点赞分享:1

数学符号,就是用一套符号来表示数学概念、数学关系。自15世纪以来,已形成包含200个符号的数学符号体系集,它们令数学作为科研通用语言,对包括计算机在内的现代科学蓬勃发展,起着举足轻重的作用。

但在人工智能、机器学习等新兴学科领域,方兴未艾的数学符号集尚存在符号不统一、容易混淆的问题,这在某种程度上阻挠了人工智能理论和技术交流的快速发展需要。为此,我们提出了机器学习领域的通用数学符号集。

第一版中,我们所选的主要是机器学习领域中常用、重要且对文章理解比较关键的一些符号。包括:数据集合(Dataset)、函数(Function)、损失函数(Loss function)、激活函数(Activation function)、双层神经网络(Two-layer neural network)、通用深度神经网络(General deep neural network)、复杂性(Complexity)、训练(Training)、傅里叶频率(Fourier Frequency)、卷积(Convolution)、符号表(Notation table)、L层神经网络(L-layer neural network)等类别。同时我们提供了这些符号的LaTeX代码,方便大家使用。

我们正在完善更多机器学习领域的符号定义,欢迎大家持续关注我们以后的定期版本更新。

阅读原文 >

Notation for Machine Learning - BAAI

\mathbf{y}_i)\}_{i=1}^n\)Dataset\(\mathcal{H}\)functionspace\(f_{\mathbf{\theta}}:

类似文章

爱奇艺 | vGPU 的探索与实践
作者:爱奇艺深度学习平台团队 来源:爱奇艺技术产品团队 随着人工智能技术的发展,爱奇艺内部越来越多的服务使用深度学习模型和技术来驱动,为我们的用户提供更加智能和便捷的在线视频观看体验。 其中在线类的服务,通常单个容器实例需要独占一个 GPU,以实现在毫秒/秒级延时内完成例如视频、图片、语音、文本的深度学习模型推理请求;为了保证响应延时,请求通常单独进行,无法对请求做batch以提升计算效率,且不同请求间隔随机,会导致这些服务的 GPU 计算资源的利用率通常较低、。且在线类服务请求量在一天或者一定时间周期内存在波峰波谷的现象,进一步降低了 GPU 的利用率。鉴于GPU本身高昂的价格,较低的 GPU 利用率浪费了大量计算资源,增加了 AI 服务的成本。 为了更好地适用于爱奇艺内部 AI 容器化应用场景,爱奇艺技术团队重新开发了容器场景下的 GPU 虚拟共享方案,基于CUDA API 截获方式实现显存及算力隔离和分配,并基于开源项目aliyun-gpushare scheduler实现 K8S 上对虚拟 GPU 的调度和分配,实现了多应用容器部署在一张 GPU 卡的目标。 感兴趣的可以继续戳原文。
欠拟合与过拟合技术总结
机器学习的模式是通过大量的数据喂给一个模型,模型会根据数据不断调整自身参数,最终具备判别这些数据的模式或特征的能力。若模型无法从这些数据中训练出一个很好的效果,则认为它是欠拟合。若模型在训练的时候达到很好的效果,而在未参与训练的数据上测试,效果不好,则认为它是过拟合。 在本文,将介绍欠拟合与过拟合的概念、特点、产生的原因、解决的方法。在认真阅读本文后,读者将会对欠拟合与过拟合有个全面的认识。 感兴趣的可以继续戳原文。
自监督学习 | 具有核依赖最大化的自监督学习
【论文标题】Self-Supervised Learning with Kernel Dependence Maximization 【作者团队】Yazhe Li, Roman Pogodin, Danica J. Sutherland, Arthur Gretton 【发表时间】2021/06/15 【机 构】伦敦大学 【论文链接】https://arxiv.org/pdf/2106.08320.pdf   【推荐理由】本文出自伦敦大学,在自监督学习问题上,从统计依赖的角度提出了使用希尔伯特-施密特独立准则 (SSL-HSIC) 的自监督学习,大限度地提高了图像转换版本的表示与图像身份之间的依赖关系,同时最大限度地减少了这些特征的核化方差。   本文在自监督学习处理图像表示方面,从统计依赖的角度提出了使用希尔伯特-施密特独立准则 (SSL-HSIC) 的自监督学习。 SSL-HSIC 最大限度地提高了图像转换版本的表示与图像身份之间的依赖关系,同时最大限度地减少了这些特征的核化方差。这种自监督学习框架产生了对 InfoNCE 的新理解,InfoNCE 是不同转换之间互信息 (MI) 的变分下界。虽然已知 MI 本身具有可能导致学习无意义表示的病理,但它的边界表现得更好:我们表明它隐式近似 SSL-HSIC(具有稍微不同的正则化器)。我们的方法还让我们深入了解 BYOL,因为 SSL-HSIC 类似地学习样本的本地邻域。 SSL-HSIC 允许我们直接优化批量大小的时间线性统计相关性,而无需限制性数据假设或间接互信息估计器。 SSL-HSIC 在有或没有目标网络的情况下进行训练,与当前最先进的图像网络标准线性评估、半监督学习和转移到其他分类和视觉任务(如语义分割、深度估计和对象识别)相匹配。   图1 SSL-HSIC架构图  

请填写删除理由

确认 取消

确认是否删除?

确认 取消