谷歌悄悄上线了一个炸弹级模型——足足有5620亿参数！
PaLM-E 将真实世界的传感器信号与文本输入相结合，建立语言和感知的链接。
规模最大的模型“PaLM-E-562B”具有562B个参数，将540B的PaLM和22B的ViT集成在一起，这是目前报道的最大的视觉-语言模型。
模型输入包括视觉、连续状态估计值和文本输入。作者在多个任务（包括顺序机器人操作规划、视觉问答和字幕生成）中进行了端到端的训练，并通过评估表明，其模型能够有效地解决各种推理任务，并且在不同的观察模态和多个实体上表现出了积极的转移。该模型在进行机器人任务训练的同时，还具有先进的视觉-语言任务表现，并随着规模的增大保持了通用的语言能力。
论文链接：https://palm-e.github.io/assets/palm-e.pdf
PaLM-E 是什么
PaLM-E是一个单一通用的多模态语言模型，可用于感知推理任务、视觉语言任务和语言任务。它将来自视觉语言领域的知识转化为体验推理的知识，从具有复杂动态和物理约束的环境中进行机器人规划，到回答关于可观察世界的问题，都可轻松搞定！
它支持多模态输入，来自任意模态（例如图像、三维表示或状态，绿色和蓝色）的输入插入文本token（橙色）旁边作为LLM的输入，进行端到端的训练。
PaLM-E的主要架构思想：将连续的、可感知的观察数据注入预先训练的语言模型的嵌入空间中，以使其能够理解这些连续数据。这是通过将连续观测数据编码为与语言嵌入空间中的语言标记具有相同维度的向量序列来实现的。这种连续信息以类似于语言标记的方式注入语言模型中。
PaLM-E是一个仅具有解码器的语言模型，可以自动地根据前缀或提示生成文本完成结果。该模型使用预先训练的语言模型PaLM，并将其赋予感知推理的能力。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢