本期 Workshop，我们聚焦在模型推理优化及组织的 AI 智能化转型。
推理成本是当下大模型落地面临的难题之一，整个 AI 行业都在探索如何高效利用计算资源，并行处理更多的推理请求。国内的云厂商也都在针对现有的推理构架做优化，甚至推出新的异构算力的解决方案。比如腾讯此前推出了大模型推理加速引擎 Taco-LLM，表现全面优于 vLLM 框架，吞吐性能提高 78%。
腾讯云异构 AI 研发副总监叶帆将分享他对大模型推理加速工具的理解与实践。
很多企业都在关注 AI 的智能化数字转型，我们请到了腾讯乐享产品资深架构师沈林玲来做分享。
乐享源于腾讯内部，过去 15 年是腾讯 HR、行政、企业文化、业务部门的组织学习协作平台。2017 年开始乐享对外开放，至今服务超过 30 万企业，涉及 100 多个细分行业。2023 年，腾讯乐享发布 AI 助手，专注于向企业提供 AI 智能化体验。
更多阅读
Sora 的算力困局：如果正式推出，可能需要 72 万张 H100
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢