Cost-Aware Abstention for LLM-Based IT Ticket Classification

LLM HDCE NLP Other NLP ML SL Other ML
2026年10月22日
错误地自动分派IT支持工单所造成的成本，可能高于人工初步分拣的成本。本文将“成本感知型拒绝决策”（cost-aware abstention）作为一种离线的、以成本为条件的就绪性评估方法进行评估：即先在标定数据集（calibration data）上，依据显式设定的各项成本，选定一种路由策略；随后将该策略“冻结”（即不再调整），仅在独立保留的测试数据集上进行一次最终评估。在一个公开的、包含47,837个工单、涵盖八个类别的语料库上，我们对比了四种经训练的非大语言模型（non-LLM）分类器与四种大语言模型（LLM）在零样本（zero-shot）和少样本（few-shot）提示下的表现。在示例性成本模型（正确分派成本c_ok、人工分拣成本c_triage、错误分派成本c_wrong）=（0, 1, 5）下，采用TF-IDF特征表示并结合逻辑回归分类器、且在标定阶段选定0.60为置信度阈值的方案，可将测试集上的平均单位工单成本由0.763降至0.472，实现38.1%的相对降幅（成对比率自助法95%置信区间为[35.7%, 40.4%]），同时将错误分派率从15.3%显著降低至3.5%。此外，在后续开展的成本参数敏感性分析中，针对16种不同成本组合设置，基于标定数据选定并冻结的路由策略，在其中14种设置下，其性能均优于“一律分派”（always-route）和“一律推迟”（always-defer）两种基线策略。在按类别均衡抽样的1,000个工单构成的测试子集上，表现最优的提示式（prompted）配置达到0.477的准确率；而同一测试子集上经微调的DistilBERT模型准确率为0.879。等渗校准（isotonic calibration）虽能有效降低期望校准误差（Expected Calibration Error, ECE），却未能稳定提升判别能力（discrimination）：例如GPT-4o-mini在少样本提示下的校准前后，其置信度分布均仅呈现单一取值，且正确性AUROC（即预测正确与否的受试者工作特征曲线下面积）仅为0.500。因此，本文除报告ECE外，还同步呈现正确性AUROC以及兼顾“并列结果”（ties）的风险–覆盖率面积（risk-coverage area）。在理论推导得出的盈亏平衡概率（break-even probability）0.80处，七种提示式配置均选择对全部工单执行“推迟处理”；而Haiku模型的少样本提示配置则仅对1,000个工单中的19个执行路由分派。为进一步区分模型校准能力与判别能力，我们还设计了纯大语言模型的一致性控制实验（LLM-only agreement control），以及基于置信边际（margin）和熵（entropy）的拒绝基线（rejection baselines）。需要强调的是，本研究的结论严格限定于当前所用数据集、提示工程设计、模型服务端点（model endpoints）以及上述示例性成本设定；本工作本质上是一项评估框架的构建与验证，而非提出一种新的拒绝决策算法，亦不构成面向通用场景的部署认证标准。
Wrong automatic routing of an IT support ticket can cost more than human triage. We evaluate cost-aware abstention as an offline, cost-conditional readiness assessment: select a routing policy on calibration data under explicit costs, then evaluate that frozen policy once on held-out test data. On a public 47,837-ticket, eight-class corpus, we compare four trained non-LLM classifiers with four large language models under zero- and few-shot prompting. Under the illustrative cost model (c_ok, c_triage, c_wrong) = (0, 1, 5), TF-IDF with logistic regression and a threshold of 0.60 selected on calibration reduces test cost from 0.763 to 0.472, a 38.1% relative reduction (paired ratio-bootstrap 95% CI [35.7%, 40.4%]), while lowering wrong routes from 15.3% to 3.5%. Frozen calibration-selected policies also beat both always-route and always-defer on held-out test data in 14 of 16 settings in a post-hoc cost-parameter analysis. The strongest prompted configuration reaches 0.477 accuracy on a stratified 1,000-ticket test subset, versus 0.879 for fine-tuned DistilBERT on the same tickets. Isotonic lowers expected calibration error without reliably improving discrimination: GPT-4o-mini few-shot has one confidence value before and after recalibration and correctness AUROC 0.500. We therefore report correctness AUROC and tie-aware risk-coverage area alongside ECE. At the analytically derived break-even probability 0.80, seven prompted configurations defer all tickets; Haiku few-shot routes only 19/1,000. An LLM-only agreement control and margin/entropy rejection baselines further separate calibration from discrimination. The findings are scoped to this dataset, prompt design, model endpoints, and illustrative costs; the work is an evaluation framework, not a new abstention algorithm or universal deployment certification.
许愿