AmadeusGPT: a natural language interface for interactive animal behavioral analysis

S Ye, J Lauer, M Zhou, A Mathis, M W. Mathis
[EPFL]

AmadeusGPT：面向交互式动物行为分析的自然语言界面

  • 动机：动物行为的量化和分析涉及将动物行为的自然描述语言转化为机器可读的代码。然而，没有深入理解动物行为和技术机器学习知识，编码行为分析往往具有挑战性。为弥补这个差距，引入了AmadeusGPT：一个自然语言接口，可以将行为的自然语言描述转化为机器可执行的代码。

  • 方法：设计了AmadeusGPT，一个接受用户指导的控制器，使用一系列机器学习和计算机视觉模型作为协作执行器来分析动物行为，从原始视频开始，利用新的预训练姿态估计模型，可以在物种和设置之间进行推理，并使用强大的目标分割模型。AmadeusGPT使用LLM生成符合用户提示的Python可执行代码。为了建立这样的系统，需要LLM学习以受限的方式操纵核心过程资源。如果用户的提示不清楚或超出了系统的能力，生成的代码可能会导致需要编程专业知识的错误。

  • 优势：AmadeusGPT提供了一种自然语言接口，将用户的提示和为行为分析子任务设计的行为模块连接起来。结果显示，AmadeusGPT在MABE 2022行为挑战任务中，可以产生最先进的性能。AmadeusGPT为行为分析提供了一种新的人机交互方法，为那些对探索他们的行为数据感兴趣的人提供了独特的用户体验。


提出了一个名为AmadeusGPT的平台，利用大型语言模型(LLM)将自然语言描述的行为转化为机器可执行的代码，通过提供自然语言接口，将用户的提示和为行为分析子任务设计的行为模块连接起来，为行为分析提供了一种新的人机交互方法。

Code and demos can be found at: https://github.com/AdaptiveMotorControlLab/AmadeusGPT 

https://arxiv.org/abs/2307.04858 


图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除