2022已经过半，在过去半年时间里，多模态模型蓬勃发展，Text-to-Image模型展现惊人效果，NeRF相关研究依然活跃，更强的算力、更先进的架构、更灵活的软硬协同设计、以及更高效的并行算法也让巨型模型不断突破纪录。
以下是壁仞科技研究院在一些关键领域的文章精选，希望能够和大家一起学习进步。
DALL·E 2和Imagen等优秀的文本-图像生成模型“创作”的图像效果惊人，这一能力的核心是扩散概率模型。我们去年第一次接触扩散概率模型时就认为这是一个很有潜力的研究方向，并对此做过详细的分析。
新兴的神经渲染技术给计算机图形学带来了新的机遇，受到了学界和工业界的广泛关注。在近几年的计算机视觉和图形学顶会上，我们都可以看到各种令人耳目一新的神经渲染应用。神经渲染是以深度学习为基础的新型图形渲染方法，是实现时下热点概念“元宇宙”的关键要素。同时神经渲染也是深度学习的前沿方向，催生了许多新的深度学习方法与计算结构。
推荐系统和语音模型已经得到了广泛应用，我们从算法和架构层面对这些模型的实现进行了详细的分析。
Meta AI开源了OPT-175B，分布式训练框架日益完善，GPU算力日渐增强，模型的规模不断被刷新。为更好地支持“巨型”模型训练，我们一方面关注如何提供更强的算力，另一方面思考如何更高效地利用现有系统。
随着GPU能力的提升，支撑深度学习的软硬件生态得到了快速发展。通过深度学习来解决科学计算问题成了一种趋势，其中用深度学习来求解微分方程的方法也逐渐兴起。尤其引人注意的是一种称为物理导引神经网络的方法，其为科学计算领域注入了新的活力。
我们也会持续关注前沿技术的核心组件，整理新颖的方法和观点。
不管是我们已经比较熟悉的算法，还是新出现的算法，如何利用手中的工具去设计软硬件架构，高效地执行这些算法，是我们不断思考的问题，可以说是架构师的日常。当然，这个问题的答案也可能是一个重要决策，大的创新，甚至技术路线的改动。在壁仞研究院，我们会从设计空间的“扩展”和“压缩”这两个不同的方向出发来思考这个问题。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢