序列建模是各个领域中至关重要的一个领域，包括自然语言处理（NLP）、语音识别、时间序列预测、音乐生成和生物信息学等。循环神经网络（RNN）和长短期记忆网络（LSTM）在机器翻译、命名实体识别（NER）等序列建模任务中一直处于主导地位。然而，transformers的出现导致了这种范式的转变，因为它们具有更好的性能。然而，transformers存在$O(N^2)$的注意力复杂度和处理归纳偏差的挑战。已经提出了几种变体来解决这些问题，它们使用谱网络或卷积，在各种任务上表现良好。然而，它们仍然难以处理长序列。状态空间模型（SSM）已经成为这种情况下序列建模范式的有希望的替代方法，特别是随着S4及其变体（如S4nd、Hippo、Hyena、Diagnol State Spaces（DSS）、Gated State Spaces（GSS）、Linear Recurrent Unit（LRU）、Liquid-S4、Mamba等）的出现。在本调查中，我们根据三种范例，即门控架构、结构架构和循环架构，对基础SSM进行分类。本调查还强调了SSM在各个领域的多样化应用，包括视觉、视频、音频、语音、语言（特别是长序列建模）、医学（包括基因组学）、化学（如药物设计）、推荐系统和时间序列分析，包括表格数据。此外，我们还总结了SSM在基准数据集（如Long Range Arena（LRA）、WikiText、Glue、Pile、ImageNet、Kinetics-400、sstv2以及视频数据集，如Breakfast、COIN、LVU和各种时间序列数据集）上的性能。Mamba-360工作的项目页面可在此网页上找到：\url{https://github.com/badripatro/mamba360}。

本文的重点是利用语音基础编码器和大语言模型（LLM）来解决语音处理领域中最重要的任务之一，即自动语音识别（ASR）。最近的研究采用复杂的设计，例如对语音编码器的输出进行时间压缩，解决投影器的模态对齐问题，以及利用参数高效的微调来优化LLM。我们发现，精心设计并不是必要的，而一个非常简单的组合，包括现成的语音编码器、LLM和唯一可训练的线性投影器，就足以胜任ASR任务。更具体地说，我们对各种LLM和语音编码器的组合进行了基准测试和探索，得出了最佳的LLM-based ASR系统，我们称之为SLAM-ASR。所提出的SLAM-ASR提供了一个干净的设置和很少的任务特定设计，只需要训练线性投影器。据我们所知，SLAM-ASR在Librispeech基准测试中的性能是LLM-based ASR模型中最好的，甚至胜过了在大量配对数据上训练的最新的LLM-based音频通用模型。最后，我们探讨了LLM-based ASR在模态对齐过程中的能力发展。我们希望我们的研究能够促进扩展具有跨模态能力的LLM的研究，并为LLM-based ASR社区提供启示。

最近的研究成功地表明，大型语言模型（LLMs）可以成功地用于在自动语音识别（ASR）输出之上进行生成性错误校正（GER）。具体而言，LLM被用于从ASR系统生成的N个最佳假设列表直接映射到预测的输出转录。然而，尽管其有效性，GER引入了额外的数据不确定性，因为LLM在训练时没有考虑到语音信号中可用的声学信息。在这项工作中，我们旨在通过一种称为Uncertainty-Aware Dynamic Fusion（UADF）的新型后期融合解决方案注入声学信息，以在生成预测转录之前克服这种限制。UADF是一种多模态融合方法，实现在自回归解码过程中，并分为两个阶段：（i）首先分析和校准标记级LLM决策，（ii）然后动态吸收来自声学模态的信息。从各种ASR任务收集的实验证据表明，UADF在多个方面超越了现有的融合机制。它在减轻LLM中的数据不确定性和解决融合过程中单一模态的差的泛化方面产生了显着的词错误率（WER）改进。我们还展示了UADF如何无缝地适应视听语音识别。