Log Parsing with Self-Generated In-Context Learning and Self-Correction

日志解析将日志消息转换为结构化格式，是日志分析的关键步骤。尽管已经提出了各种日志解析方法，但由于依赖于人工制定的规则或基于有限训练数据的学习模型，它们在演变的日志数据上的性能仍然不尽如人意。最近出现的大型语言模型(LLMs)展示了在理解自然语言和代码方面的强大能力，因此将LLMs应用于日志解析是有前途的。因此，一些研究提出了基于LLMs的日志解析器。然而，LLMs可能会产生不准确的模板，现有的基于LLMs的日志解析器直接使用LLM生成的模板作为解析结果，从而阻碍了日志解析的准确性。此外，这些日志解析器严重依赖于历史日志数据作为示范，这在处理稀缺历史日志数据或演变的日志数据时会带来挑战。为了解决这些挑战，我们提出了AdaParser，一种使用LLMs进行自我生成上下文学习(SG-ICL)和自我纠正的有效和适应性日志解析框架。为了促进准确的日志解析，AdaParser包括一个新颖的组件，即模板纠正器，它利用LLMs来纠正模板中可能存在的解析错误。此外，AdaParser维护一个动态候选集，由先前生成的模板作为示范来适应演变的日志数据。对公共大型数据集的广泛实验表明，AdaParser在所有指标上优于现有的方法，甚至在零-shot情况下也是如此。此外，当与不同的LLMs集成时，AdaParser始终显著提高所使用的LLMs的性能。

提出了一个使用自动生成的上下文学习和自我纠正的大型语言模型（LLM）的自适应日志解析框架AdaParser，以解决日志解析在处理稀缺历史日志数据或演化日志数据时的准确性问题。

AdaParser使用LLM生成模板，并使用模板纠正器来纠正潜在的解析错误。它还维护一个动态候选集，以适应演化的日志数据。

AdaParser在公共大规模数据集上的实验表明，它在所有指标上都优于现有方法，即使在零-shot场景下也是如此。此外，当与不同的LLM集成时，AdaParser始终大幅提高了所使用的LLM的性能。

最近的相关研究包括使用规则和基于学习的方法进行日志解析，以及使用LLM进行日志解析的其他方法。