PEFT for Speech: Unveiling Optimal Placement, Merging Strategies, and Ensemble Techniques

Parameter-Efficient Fine-Tuning (PEFT) 被越来越多地认为是语音处理中一种有效的方法。然而，最佳方法和 PEFT 方法的放置位置仍然没有定论。我们的研究进行了广泛的实验，比较了不同 PEFT 方法及其在适应 Differentiable Architecture Search (DARTS) 时的逐层放置。我们还探讨了使用集成学习来利用多样的 PEFT 策略。结果表明，DARTS 并没有超过基线方法，该方法涉及将相同的 PEFT 方法插入到自监督学习 (SSL) 模型的所有层中。相反，特别是采用多数表决的集成学习方法表现出优越的性能。我们的统计证据表明，不同的 PEFT 方法以不同的方式学习。这种差异可能解释了为什么通过集成学习的协同集成各种 PEFT 方法可以更有效地利用它们独特的学习能力，而不是通过单个逐层优化。

本论文旨在比较不同PEFT方法及其层次放置方式的有效性，以及探索使用集成学习来利用多样化的PEFT策略。该研究是否解决了当前该领域中的问题或验证了什么假设？

论文通过使用Differentiable Architecture Search（DARTS）来比较不同的PEFT方法及其层次放置方式，并探索集成学习的使用。与当前领域的研究相比，这篇论文的关键思路有什么新意？

本论文的实验设计了多个PEFT方法的比较，使用了不同的数据集，并探索了集成学习的使用。然而，结果表明DARTS并没有超越基线方法，而集成学习方法，特别是使用多数投票的方法，表现更好。此外，统计证据表明不同的PEFT方法学习方式不同，这可能解释了为什么通过集成学习来利用它们的独特学习能力比单独的层次优化更有效。

最近在该领域中的相关研究包括：'Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer'和 'Self-Supervised Learning of Pretext-Invariant Representations'等。