大模型长上下文运行的关键问题
近期，长上下文语言模型（LLM）的发展成为研究热点，GPT-4、MPT、Claude等模型相继问世，但扩大Transformer的上下文长度仍是挑战，因为其核心的注意力层时间和空间复杂度与输入序列长度的平方成正比。来自斯坦福大学、纽约州立大学布法罗的研究人员提出了一种新的Transformer架构，能够在不牺牲性能的情况下扩大上下文长度。
1
收藏
0
从「思想实验」中学习，自监督 AI 模型向科学家看齐
ChatGPT因其背后的“血汗工厂”而引起争议，这表明为AI模型准备大规模、预先标注的训练数据是一项极其耗费精力的工作。在计算成像和显微成像方面的现有应用中，这一问题也存在。加州大学洛杉矶分校的研究团队在Nature Machine Intelligence杂志上报告了一个名为GedankenNet的自监督模型，其突出特质是无需真实数据或实验对象投喂，可直接从思想实验和物理规律中学习，且具备优异的...
1
收藏
0
DeepMind放大招！Alpha家族添新丁，有望攻克人类遗传学难题
DeepMind团队开发了一种名为AlphaMissense的AI模型，可以识别致病的错义突变和未知致病基因。该模型分析了7100万个可能的错义突变，并对其中的89%进行了分类，其中32%可能是致病的，57%则可能为良性的。该成果于9月19日发布。
1
收藏
0
【配电网重构】基于遗传实现配电网重构附matlab实现
该作者是一位热爱科研的Matlab仿真开发者，专注于智能优化算法、神经网络预测、雷达通信、无线传感器、电力系统信号处理、图像处理和路径规划等领域的研究。其个人信条是“格物致知”，并提供Matlab完整代码及仿真定制服务。
1
收藏
0
长文综述：大脑中的熵、自由能、对称性和动力学
。该跨领域的整合符合对这些复杂抽象概念的直观理解;对于给定概念的所有复杂性层面没有全部被等价地刻画;在预测编码理论中使用简单的内部模型（如在做决策时;动力学被简化为转换）;但是简单的模型很难推广到更复杂的行为;当焦点在过程的推理部分时;实际上我们强调内部模型在大脑激活方面的神经基础以及要与复杂行为涌现的理论相联系;考虑到信息论概念（尤其是熵和自由能）的重要性;在预测编码方面;
1
3
3
Nat. Mach. Intell. | 自博弈的强化学习指导蛋白质工程
深圳华大智造的杨梦团队提出了一种基于AlphaZero算法的机器学习指导的蛋白质定向进化（MLDE）方法，可以高效采样蛋白质序列空间、加快优化周期、减少实验投入。该方法将蛋白质序列空间采样和序列优化任务转化为在棋盘上落子与对弈行为，具有重要的应用价值。
1
收藏
0
直播查看更多 
热门榜单
- 活动合作
- 微信社群
