拥有本地大模型的技术秘籍

企业要拥有本地大模型，除了高门槛的自研，主要的方式还是基于预训练大模型进行本地化，无论是用私有数据微调，还是数据访问、模型推理阶段的加速，都是重中之重。本次大模型训练、推理与微调论坛，我们邀请到了Alluxio、英伟达、华为的专家，分享如何全方位优化并拥有本地大模型的技术秘籍。

嘉宾&议题

议题详情

个人介绍：阿里巴巴机器学习平台资深技术专家，长期参与超大规模模型训练、异构资源调度、MLOPS 等领域的研发。

个人介绍：张杰，长期从事大数据、云计算、深度学习相关方向，擅长云计算、深度学习平台、超大规模模型训练、自动模型并行策略等领域。负责PAI平台的深度学习框架ChatLearn、TorchAcc和EPL等。

演讲题目：PAI-ChatLearn：灵活易用、大规模 RLHF 高效训练框架

演讲提纲：PAI-ChatLearn 是阿里云机器学习平台 PAI 团队自主研发，灵活易用、大规模模型 RLHF 高效训练框架。支持大模型进行 SFT（有监督指令微调）、RM（奖励模型）、RLHF（基于人类反馈的强化学习）完整训练流程。PAI-ChatLearn 支持大规模（175B + 175B）模型的 RLHF 高效训练。本次演讲对 PAI-ChatLearn 的架构、性能、以及如何进行高效 RLHF 训练等进行简要的介绍。

个人介绍：本科毕业于上海交通大学电子系，随后取得香港中文大学信息工程博士学位，毕业后加入新加坡高级数字科学中心（美国伊利诺伊大学在新加坡的研究所）从事科研工作，在计算机网络和分布式系统领域相关的顶级国际会议发表多篇论文。加入Alluxio前，傅正佳曾在新加坡科技公司Bigo Technology担任机器学习研发总监。

演讲题目：简化并加速AI/ML模型训练&推理的数据访问

演讲提纲：人工智能（AI）的应用正在迅速增长，49% 的首席信息官表示他们已经使用或计划使用人工智能。最近，生成式人工智能的蓬勃发展进一步加速了这一应用，使人工智能成为企业创造收入、提高客户满意度和组织生产力的当务之急。成功的人工智能项目需要访问数据，为应用程序快速提供数据的能力至关重要。随着人工智能用例越来越复杂，我们需要了解数据访问模式以及如何使用正确的解决方案来解决这些问题。此次分享将介绍现代AI/ML平台中的数据访问模式，将探讨机器学习管道每个阶段的数据访问特点，以及为大规模AI优化数据访问的策略。具体包括：

1. AI/ML工作流在访问数据时的挑战

2. 针对分析和AI的高性能数据访问层介绍

3. 使用Alluxio进行模型训练的主要场景和价值

4. 主要用户案例分享

听众收益：了解全新的AI/ML训练解决方案，通过构建高校的数据平台架构快速生成分析结果。

个人介绍：2014 年毕业于中国科学院。毕业后加入 NVIDIA 至今，任 DevTech 团队研发经理。主要负责中国区大客户技术项目合作和技术研发。

演讲题目：TensorRT LLM 介绍

演讲提纲：TensorRT LLM 是 NVIDIA 加速 LLM 推理的开源解决方案。TensorRT LLM 提供了 python 接口，灵活的模块化组件，丰富的预定义主流模型，极大地方便了开发者在 NVIDIA平台上部署基于 LLM 的服务；同时，NVIDIA 投入了大量工程师对 TensorRT LLM 做了极致优化，包括主流的量化算法 （smoothQuant, GPTQ, and AWQ）, in-flight batching, Tensor 和 pipeline 并行等推理加速优化方法。TensorRT LLM 除了具备业界领先的推理性能，同时也在不断提高它的易用性。

1 什么是 TensorRT LLM?

2 TensorRT LLM 主要特点

3 如何使用 TensorRT LLM

4 TensorRT LLM 性能

5 TensorRT LLM 展望

听众收益：

1 理解 TensorRT LLM 产品定位

2 熟悉 TensorRT LLM 主要功能和使用方法

3 了解 TensorRT LLM 主要优化手段

个人介绍：南京邮电大学硕士研究生毕业，目前就职于华为，从事nlp算法研究工作，研究方向主要包括大模型、机器翻译、语音翻译和知识图谱等领域，相关研究成果发表于ACL，EMNLP和IJCKG等会议，发表论文共计10余篇，也参加过近两年的WMT、CCMT、IWSLT、NLPCC、CCKS比赛，并拿下了多个赛道的第一。

演讲题目：盘古大模型微调实践

演讲提纲：

1. 什么是大模型

2. 大模型发展历程

3. 大模型微调目的

4. 大模型微调技术

5. 大模型微调加速方法

6. 大模型微调效果提升手段

听众收益：

1. 如何进行大模型微调？

2. 如何加速大模型微调？

3. 如何提升大模型微调效果？

扫码报名咨询