ULog: Unsupervised Log Parsing with Large Language Models through Log Contrastive Units

日志解析是各种日志分析任务的必要前提。最近在这个领域的进展通过微调大型语言模型（LLMs）或从上下文演示中学习来利用日志中的语义，提高了解析准确性。然而，这些方法在实现最佳性能时严重依赖于标记示例。在实践中，由于日志的大规模和持续演变，收集足够的标记数据是具有挑战性的，导致现有日志解析器在部署后性能下降。为了解决这个问题，我们提出了ULog，一种基于无监督LLM的高效和现成的日志解析方法。我们的关键见解是，虽然LLMs可能在直接解析日志方面存在困难，但是通过跨多个仅在其参数部分不同的日志进行比较分析，它们的性能可以显著提高。我们将这样的日志组称为日志对比单元（LCUs）。鉴于日志的大量数量，获取LCUs是困难的。因此，ULog引入了一种混合排名方案，通过共性和变异性的联合考虑来有效地搜索LCUs。此外，ULog为LLMs设计了一种新颖的解析提示，以识别对比模式并从LCUs中提取有意义的日志结构。在大规模公共数据集上的实验证明，ULog在准确性和效率方面显著优于最先进的日志解析器，为实际部署提供了有效和可扩展的解决方案。

ULog: An Unsupervised Learning Approach for Efficient Log Parsing

使用多个参数相似但不同的日志进行对比分析，结合深度学习模型进行无监督学习，提高日志解析的准确性和效率。

ULog在大规模公共数据集上进行实验，表现出较高的准确性和效率。该方法可以应用于实际部署中，提供可扩展的解决方案。

与ULog相关的研究包括使用深度学习模型进行日志解析的方法，以及使用有监督学习方法进行日志解析的方法，例如：LogBERT、LogMine、LogParser等。