LLM-dCache: Improving Tool-Augmented LLMs with GPT-Driven Localized Data Caching

本文介绍了一种名为LLM-dCache的优化数据访问的方法，它将缓存操作视为可调用的API函数，这些函数暴露给了工具增强代理。通过提示，我们授予LLM管理缓存决策的自主权，并与现有的函数调用机制无缝集成。我们在一个跨越数百个GPT端点和数千兆字节图像的行业规模的并行平台上进行了测试，我们的方法通过各种LLM和提示技术的平均改进Copilot时间为1.24倍。

优化大型语言模型（LLMs）在处理大规模数据集时的缓存操作，以减少系统开销。

通过将缓存操作作为可调用的API函数暴露给工具增强代理，引入LLM-dCache来优化数据访问，并授予LLMs管理缓存决策的自主权。

在行业规模的大规模并行平台上进行测试，跨越数百个GPT端点和数千兆字节的图像数据集，我们的方法通过各种LLMs和提示技术平均提高了1.24倍的Copilot时间。

与缓存相关的其他研究包括：1.使用多级缓存的内存层次结构优化（Jin et al.，2019）；2.使用缓存感知的数据分区策略来优化数据访问（Wang et al.，2018）。