LogEval: A Comprehensive Benchmark Suite for Large Language Models In Log Analysis

日志分析对于确保信息系统的有序稳定运行至关重要，特别是在IT运维领域的人工智能（AIOps）中。大型语言模型（LLMs）在自然语言处理任务中已经展示出了显著的潜力。在AIOps领域，它们在异常检测、故障的根本原因分析、操作和维护脚本生成以及警报信息摘要等任务中表现出色。然而，当前LLMs在日志分析任务中的表现仍然没有得到充分的验证。为了解决这个问题，我们引入了LogEval，这是一个全面的基准套件，旨在首次评估LLMs在各种日志分析任务中的能力。这个基准涵盖了日志解析、日志异常检测、日志故障诊断和日志摘要等任务。LogEval使用4,000个公开可用的日志数据条目评估每个任务，并针对每个任务采用15个不同的提示，以确保全面公正的评估。通过对领先的LLMs进行严格评估，我们展示了各种LLM技术对日志分析性能的影响，重点关注自我一致性和少样本上下文学习等方面。我们还讨论了与模型量化、中英文问答评估和提示工程相关的发现。这些发现提供了有关LLMs在多语言环境中的优势和劣势以及不同提示策略的有效性的见解。针对不同任务采用不同的评估方法，以准确衡量LLMs在日志分析中的性能，确保全面评估。从LogEval的评估中获得的见解揭示了LLMs在日志分析任务中的优势和局限性，为研究人员和实践者提供了有价值的指导。

LogEval: A Benchmark Suite for Log Analysis using Large Language Models

The paper proposes LogEval, a comprehensive benchmark suite designed to evaluate the capabilities of Large Language Models (LLMs) in various log analysis tasks, including log parsing, anomaly detection, fault diagnosis, and summarization.

LogEval evaluates each task using 4,000 publicly available log data entries and employs 15 different prompts for each task to ensure a thorough and fair assessment. The paper rigorously evaluates leading LLMs and discusses findings related to model quantification, Chinese-English question-answering evaluation, and prompt engineering. The insights gained from LogEval's evaluation reveal the strengths and limitations of LLMs in log analysis tasks.

Related work includes research on natural language processing, AIOps, and log analysis, such as "LogBERT: Sequence Labeling for Log Analysis with Pretrained Language Models" and "DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning".