Face It Yourselves: An LLM-Based Two-Stage Strategy to Localize Configuration Errors via Logs

可配置的软件系统容易出现配置错误，导致公司遭受重大损失。然而，由于配置空间的广阔和复杂，诊断这些错误是具有挑战性的。这些错误对于有经验的维护人员和新的终端用户都带来了重大挑战，尤其是那些没有访问软件系统源代码的用户。鉴于大多数终端用户可以轻松访问日志，我们进行了初步研究，概述了利用日志定位配置错误的挑战和机会。基于从初步研究中获得的见解，我们提出了一种基于LLM的两阶段策略，用于根据日志定位根本原因的配置属性。我们进一步实现了一个工具LogConfigLocalizer，符合上述策略的设计，希望通过日志分析帮助终端用户应对配置错误。据我们所知，这是第一篇基于LLM和日志为终端用户定位根本原因配置属性的研究。我们通过LogConfigLocalizer在Hadoop上评估了所提出的策略，并证明了其高达99.91％的平均准确率。此外，我们还通过将其与两个其他变体和基准工具进行比较，证明了方法论不同阶段的有效性和必要性。此外，我们通过实际案例研究验证了所提出的方法论的有效性和可行性。

本文旨在解决可配置软件系统中的配置错误问题，尤其是对于没有源代码访问权限的最终用户，通过利用日志来定位配置错误的挑战和机会。

本文提出了一种基于大型语言模型和日志的两阶段策略，帮助最终用户定位根本原因的配置属性，提出了一个名为LogConfigLocalizer的工具，并在Hadoop上进行了评估。

本文提出的方法在Hadoop上的平均准确率高达99.91％，并通过实际案例研究验证了其有效性和可行性。

与本文相关的研究包括利用机器学习技术来分析日志的研究，以及利用静态和动态分析技术来诊断和修复配置错误的研究。