Unblind Text Inputs: Predicting Hint-text of Text Input in Mobile Apps via LLM

移动应用程序已经成为访问和参与各种环境的必不可少的工具，特别是对于低视力用户来说。视力障碍用户可以使用屏幕阅读器来阅读每个屏幕的内容并理解需要操作的内容。屏幕阅读器需要读取文本输入组件中的提示文本属性，以提醒视力受损用户填写什么内容。不幸的是，根据我们对4,501个具有文本输入的Android应用程序的分析，超过0.76的应用缺少提示文本。这些问题主要是由于开发人员在考虑视力受损人群时缺乏意识所致。为了克服这些挑战，我们开发了一种基于LLM的提示文本生成模型，称为HintDroid，该模型分析输入组件的GUI信息，并使用上下文学习生成提示文本。为了确保提示文本生成的质量，我们还设计了一种基于反馈的检查机制来进一步调整提示文本。自动化实验展示了高BLEU分数，用户研究进一步证实了其有用性。HintDroid不仅可以帮助视力受损的人，还可以帮助普通人理解输入组件的要求。HintDroid演示视频：https://youtu.be/FWgfcctRbfI。

解决问题：论文旨在解决移动应用中存在的低视力用户无法正常使用的问题，特别是缺少hint-text属性的问题。

关键思路：论文提出了一种基于LLM的hint-text生成模型，名为HintDroid，通过分析输入组件的GUI信息，并使用上下文学习来生成hint-text，最终通过反馈机制进一步调整hint-text以提高生成质量。

其他亮点：论文进行了自动化实验和用户研究，结果表明HintDroid的BLEU值很高，并且提示文本的质量也很好。此外，论文还提出了一些未来研究的方向，例如如何进一步提高hint-text的生成质量和如何将HintDroid应用于其他领域。

相关研究：最近的相关研究包括“ScreenReaderFriendly: Improving Mobile Application Accessibility for Blind Users”和“Accessibility Guidelines for Mobile Apps: Improving Accessibility for Mobile Users with Disabilities”。