大模型，小算力：揭开NVIDIA大模型推理服务优化的秘密

在大模型(LLM)的推理服务中，提高算力利用效率是一个关键而复杂的任务。在本期「NVIDIA大模型日之大模型没那么难」主题活动中，来自NVIDIA的资深解决方案工程师杜承翰老师，将为我们带来大模型的部署优化经验，通过结合Triton Inference Server及TensorRT-LLM优化 LLM 推理服务，通过结合 PEFT 模型搭配 TensorRT-LLM 扩展 LLM 推理服务。