Design and evaluation of AI copilots -- case studies of retail copilot templates

要建立一个成功的AI副驾驶员，需要采取系统性的方法。本文分为两个部分，分别涵盖副驾驶员的设计和评估。微软开发零售领域副驾驶员模板的案例研究被用来说明每个方面的作用和重要性。第一部分探讨了副驾驶员架构的关键技术组件，包括LLM、知识检索和行动插件、编排、系统提示和负责任的AI防护栏。第二部分讨论了测试和评估作为在商业环境中使用AI时促进期望结果和管理意外后果的原则性方法。我们讨论了如何通过一个端到端的人工智能决策循环框架来衡量和提高其质量和安全性。通过提供副驾驶员的解剖学和测试和评估的关键方面的见解，本文提供了具体证据，说明良好的设计和评估实践对于构建有效的以人为中心的AI助手至关重要。

构建成功的AI副驾驶需要系统的方法。本文分为两个部分，分别涵盖副驾驶的设计和评估。使用微软为零售领域开发副驾驶模板的案例研究来说明每个方面的作用和重要性。

第一部分探讨了副驾驶架构的关键技术组件，包括LLM、知识检索和行动插件、编排、系统提示和负责任的AI保障。第二部分讨论测试和评估作为在商业环境中使用AI时促进期望结果和管理意外后果的原则性方法。

本文提供了构建有效的以人为中心的AI助手所需的良好设计和评估实践的具体证据，探讨了副驾驶的解剖学和测试和评估的关键方面。

最近的相关研究包括《人工智能副驾驶：一项实证研究》、《使用深度学习方法的自动驾驶系统：综述》等。