Carbon Filter: Real-time Alert Triage Using Large Scale Clustering and Fast Search

“警报疲劳”是安全运营中心（SOC）今天面临的最大挑战之一，分析师花费超过一半的时间来审查错误警报。终端检测产品通过模式匹配事件遥测与描述潜在恶意行为的行为规则来引发警报，但可能会遭受高误报的困扰，从而分散注意力。虽然基于数据来源的警报分类技术可能很有前途，但这些技术可能需要一分钟以上来检查单个警报，而EDR客户可能每天面临数千万个警报；当前的现实是，这些方法在生产环境中远远不够可扩展。 我们提出了Carbon Filter，这是一种基于统计学习的系统，可以大大减少分析师需要手动审查的警报数量。我们的方法基于这样一个观察：可以通过检查启动负责进程的进程启动上下文（例如，命令行）来高效地识别和分离错误警报触发器和可疑行为。通过使用快速搜索算法进行培训和推理，我们的方法可以扩展到每天数百万个警报。通过批处理查询模型，我们观察到理论上的最大吞吐量为每小时2000万个警报。基于对客户部署的数千万个警报的分析，我们的解决方案在不影响警报分类性能的情况下，使信噪比提高了6倍。

解决SOC中的“警报疲劳”问题，即分析师需要花费大量时间来审核虚假警报。

通过检查启动引导环境（例如命令行）来识别和分离虚假警报触发器和可疑行为，从而大大减少分析师需要手动审查的警报数量。

使用基于统计学习的系统Carbon Filter，通过快速搜索算法来训练和推理，可以处理每天数百万个警报。实验结果表明，该方法使信噪比提高了6倍，而不影响警报审核性能。

最近的相关研究包括基于数据来源的警报分类和其他基于机器学习的方法。