Your Spending Needs Attention: Modeling Financial Habits with Transformers

预测模型在金融行业中发挥着关键作用，能够实现风险预测、欺诈检测和个性化推荐，而核心模型性能的微小变化都可能带来数十亿美元的收入或损失。尽管金融机构可以获取海量的用户数据（例如银行交易记录、应用内事件和客户服务日志），但由于这些数据的复杂性和规模，如何有效地加以利用仍然是一个挑战。因此，在许多金融机构中，大多数生产环境中的模型仍然采用传统的机器学习（ML）方法，将非结构化数据转化为人工设计的表格特征。相比之下，其他领域（例如自然语言处理）已经成功应用了自监督学习（SSL），从原始数据中学习丰富的表示，从而消除了手动特征提取的需要。在本文中，我们研究了基于Transformer的交易数据表示学习模型，假设这些在大规模数据上训练的模型可以为理解客户行为提供一种新颖而强大的方法。我们提出了一种新方法，通过调整基于Transformer的模型以处理文本和结构化属性，从而实现交易数据上的自监督学习。我们的方法被称为nuFormer，它包含一种端到端的微调方式，将用户嵌入与现有的表格特征结合起来。实验结果表明，该方法在Nubank的大规模推荐问题上取得了显著改进。值得注意的是，这些提升完全来自于表示学习能力的增强，而非引入新的数据来源。

论文旨在解决金融行业中如何有效利用大量用户数据（如银行交易、应用内事件和客服日志）的问题。当前大多数金融模型依赖于手动特征工程，而这种方法在处理复杂和大规模数据时存在局限性。论文假设通过基于Transformer的自监督学习（SSL）方法，可以直接从原始交易数据中学习更丰富的用户行为表示。

论文提出nuFormer方法，将Transformer模型应用于金融交易数据，融合文本和结构化属性进行自监督表示学习，并通过端到端微调将用户嵌入与现有特征结合。其新意在于将NLP中常用的SSL技术引入金融领域的交易数据建模，跳过传统手动特征工程步骤。

1. 实验验证了nuFormer在Nubank的大规模推荐系统任务中的有效性 2. 性能提升仅来自表示学习的改进，而非引入新数据源 3. 展示了Transformer模型在金融领域的潜力，拓展了SSL的应用场景 4. 方法具备可扩展性，适用于其他金融预测任务

1. Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2018) 2. Liu et al., RoBERTa: A Robustly Optimized BERT Pretraining Approach (2019) 3. Dai et al., Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context (2019) 4. Liu et al., Self-supervised Representation Learning on Tabular Data using Denoising Transformers (2022) 5. Zhang et al., TabTransformer: Tabular Data Modeling Using Contextual Embeddings (2023)