Vision-Braille: An End-to-End Tool for Chinese Braille Image-to-Text Translation

视力障碍者是一个庞大的群体，他们只能使用盲文进行阅读和写作。然而，缺乏特殊的教育资源是教育他们的瓶颈。教育公平是社会文明水平、文化平等和个人尊严的反映。促进和改善视力障碍者的终身学习渠道具有重要意义。他们的盲文作业或考试试卷无法被视力正常的老师理解，因为缺乏高精度的盲文翻译系统，特别是在有声调的中文中。盲文写作人员通常会省略声调以节省空间，导致当具有相同辅音和元音的盲文被翻译成中文时会产生混淆。以前的算法在提取上下文信息方面不足，导致盲文翻译成中文的准确度较低。本项目使用Encoder-decoder架构对mT5模型进行了信息微调，用于盲文到中文字符的转换。该研究从Leipzig Corpora中创建了一个盲文和相应中文文本的训练集。本项目通过课程学习微调方法，显著减少了盲文中的混淆，在验证集和测试集中分别达到了$62.4$和$62.3$的BLEU分数。通过结合盲文识别算法，本项目是第一个公开可用的盲文翻译系统，可以惠及许多准备参加中国大学考试的视力障碍学生和家庭，并帮助推动他们未来的大学梦想。我们的主页上有一个演示\footnote{\url{https://vision-braille.com/}}。

解决盲人读写教育中缺乏高精度中文盲文转换系统的问题，提高盲人的学习渠道和教育公平性。

使用经过信息精调的Encoder-decoder架构的mT5模型，将盲文转换为中文字符，通过课程学习的微调方法显著降低盲文转换中的混淆，首次提供公开的盲文翻译系统。

论文使用Leipzig Corpora创建了盲文与中文文本的训练集，实现了62.4和62.3的BLEU分数。通过结合盲文识别算法，为盲人学生和家庭提供了盲文翻译系统，有助于他们为中国大学考试做准备，并帮助推动他们未来的大学梦想。

最近的相关研究包括：1.基于深度学习的盲文转换方法的研究；2.盲文与视觉字符之间的翻译研究；3.盲文识别算法的研究。