Jellyfish: A Large Language Model for Data Preprocessing

本文介绍了Jellyfish，它是一个基于Llama 2 13B模型的开源LLM，作为DP的通用任务求解器。Jellyfish针对包括错误检测、数据填充、模式匹配和实体匹配在内的几个典型DP任务进行了数据集调整，并提供了对其他任务的泛化能力。Jellyfish可以在本地、单个、低价GPU上运行，具有130亿个参数，确保数据安全并实现进一步调整。它在理解自然语言方面的熟练程度使用户能够手动为DP任务制定指令。与许多现有方法严重依赖先前知识不同，Jellyfish在调整过程中获取领域知识，并在推理过程中集成可选的知识注入。Jellyfish的一个独特特点是其解释器，它阐明了其输出决策。为了构建Jellyfish，我们开发了一系列预调整和DP调整技术。Jellyfish配备了一个实例序列化器，它可以自动将原始数据转换为模型提示，并配备一个知识注入器，它可以可选地引入任务和数据集特定的知识以增强DP性能。我们使用一系列真实数据集对Jellyfish进行评估，显示出它相对于最先进的方法的竞争力，并且对未见过的任务具有很强的泛化能力。Jellyfish的性能与GPT系列模型相当，并且其解释器相对于GPT-3.5具有增强的推理能力。此外，我们的评估突出了构建Jellyfish所采用技术的有效性。我们的模型可在Hugging Face上获得：https://huggingface.co/NECOUDBFM/Jellyfish。

本文旨在提出一种基于Llama 2 13B模型的开源LLM，名为Jellyfish，作为DP的通用任务解决器。它旨在解决错误检测、数据填充、模式匹配和实体匹配等典型DP任务，并具有通用性，可以应用于其他任务。

Jellyfish通过预调整和DP调整技术的组合来构建，具有实例序列化程序和知识注入器，以提高DP性能。与许多现有方法不同，Jellyfish在调整过程中获取领域知识，并在推理过程中集成可选的知识注入。

Jellyfish在单个低价GPU上运行，具有13亿个参数，确保数据安全并实现进一步调整。它的自然语言理解能力使用户能够手动为DP任务制定指令。Jellyfish的解释器阐明了其输出决策。本文使用一系列真实数据集对Jellyfish进行评估，表明它与最先进的方法相比具有竞争力，并且对未见过的任务具有强大的通用性。

最近在这个领域中，还有一些相关的研究，如基于Transformer的模型和GPT系列模型。