Rethinking Software Engineering in the Foundation Model Era: A Curated Catalogue of Challenges in the Development of Trustworthy FMware

基础模型（FMs），例如大型语言模型（LLMs），通过启用新的用例和商业模型，彻底改变了软件开发。我们将使用FMs构建的软件称为FMware。FMware的独特属性（例如提示、代理和编排的需求），以及FMs的内在限制（例如幻觉），导致出现了一系列全新的软件工程挑战。基于我们的工业经验，我们确定了10个关键的SE4FMware挑战，这些挑战导致企业FMware开发效率低下、成本高昂且风险高。在本文中，我们详细讨论了这些挑战，并阐述了我们设想的创新路径。接下来，我们介绍了FMArts，这是我们长期努力的成果，旨在创建一个从头到尾的平台，用于工程化可信的FMware。最后，我们展示了FMArts的独特属性如何使我们能够及时设计和开发一个复杂的FMware，为一位大客户服务，并讨论了我们在此过程中所学到的经验教训。我们希望披露上述挑战及我们解决这些挑战的相关努力，不仅能提高人们的意识，还能促进软件工程学科的深入和进一步的讨论、知识共享和创新解决方案。

解决使用基于大型语言模型的软件开发（FMware）中遇到的软件工程挑战，提高生产力和降低风险。

提出了FMArts平台，实现从头到尾的可信FMware工程。该平台解决了FMware的唯一属性和FMs固有限制所带来的挑战。

论文提出了10个SE4FMware挑战，并提出了解决方案。FMArts平台成功地为大型客户开发了复杂的FMware。论文还讨论了未来的研究方向。

最近的相关研究包括GPT-3、Turing NLG、GShard等。