原文链接：Research on Extraction and Translation of English Public Signs in Tourist Attractions Based on Machine Vision | IEEE Conference Publication | IEEE Xplore
《基于机器视觉的旅游景点英语公共标志提取与翻译研究》论文笔记
旅游景点有许多英文公共标志。使用数字成像技术和计算机技术来提取和翻译这些英语公共语言，有助于游客了解或警告周围环境。本研究构建了基于机器视觉技术和卷积神经网络（CNN）的识别系统，用于提取、识别和翻译英语公共标志。结果表明，该系统的平均识别准确率为98%;翻译的平均准确率为96.5%。以上结果表明，识别系统能够有效提取和翻译英文公共标志，有助于游客了解景区传达的信息。
第一节.介绍
旅游景点的公共标志可以为游客提供有效的信息，起到引导或警示游客的作用[1]。然而，旅游景点的公告中有相当一部分是英文的，这不利于游客的身份识别[2]。如今，技术和经济正在迅速发展，每人几乎只有一部智能手机[3]。因此，本研究利用智能手机的摄像功能，基于机器视觉技术和卷积神经网络，构建了旅游景点英语公共标志提取系统，实现了公式标志的提取、识别和翻译。结果表明，该系统能够更准确地提取和翻译英文公共标志，帮助游客更好地享受旅游的乐趣。
第二节.建设英语公共标志提取和翻译系统
A.景区英文公共标志的提取
写作是最常见的信息传播手段之一。旅游景点的公共标志可以引导道路或警告游客[4]。然而，许多景区的公共标志都是英文的，一些游客很难理解其含义[5]。随着科技的飞速发展，生活质量也得到了很大的提高，许多智能设备也开始流行起来，比如手机和笔记本电脑。通过使用智能设备的高清摄像头，可以实现英语公共标志的图像采集，然后可以相应地处理图像中的公共标志。SVM算法具有稀疏性和稳定性的优点，可以根据方法对非线性对象进行分类。因此，使用经过训练的SVM算法来检测前端设备收集的图像是否包含英文符号。投影法用于分割图像中的文本，因此，使用训练的支持向量计算法来识别和提取英语公共符号[6]。公共标志通常具有相同的笔触宽度。因此，通过计算笔画宽度，可以有效地提取文本信息，例如公式（1）。
dq=−dp±π/6 (1)
在式（1）中，dp表示边缘像素 p 的方向梯度值;d_{q} 表示像素点 q 从点 p 沿 d p 开始的方向梯度值。如果有像素满足公式 （1），则 p 和 q 之间的描边宽度为 \|p-q\|。投影法对图像中的字符进行分割，以方便后续的字符识别和翻译。
B. 基于卷积神经网络的英语公共符号识别
卷积神经网络是最常见的深度学习算法之一，已广泛应用于各个领域[7-8]。卷积神经网络是基于BP神经网络的改进。与BP神经网络相比，卷积神经网络可以使用卷积核进行特征提取，因此识别率和准确率更高[9]。卷积神经网络的拓扑结构分为卷积层、全连接层和输出层[10]。卷积神经网络的拓扑结构如图1所示。
图 1卷积神经网络的拓扑结构
其中，卷积层由N个卷积核组成，每个卷积核可以识别一个英文公共符号的局部特征，并执行卷积运算。全连接层使用卷积核执行全连接运算，提取旅游景点中英文公共标志的全局特征，并对全局特征进行分类。在输出层，根据误差输出函数计算误差，并进行反向网络权重和偏置更新。使用Dropout功能对网络权重和偏置进行部分更新，可以有效防止过拟合的发生。全连接层的输出值可以表示为函数（2）。
在函数 （2） 中，\hat{c}_{i} 表示某个特征平面的最大值，即与卷积核对应的特征。通过输入足够的英文数据来训练卷积网络，可以实现景区英语公共标志的分类和识别。根据以上内容，可以完成英文公共标志的提取和翻译系统的构建，如图2所示。
图2 英语公共标志提取和翻译系统的结构
该系统的建设可以有效帮助游客正确识别公共标志的信息，改善出行体验。系统步骤如下：通过智能设备的高清摄像头获取英文公共标志的图像;支持向量算法用于检测图像是否包含英文公共标志;然后，通过投影方法对图像中的文本进行分割，提取的文本被CNN识别，并在设备的翻译软件的帮助下进行翻译。
第三节.公共标志提取与翻译系统性能研究
A. 图像中文本分割的性能分析
对图像中的文本进行分割后，可以提高卷积网络的识别精度。为了验证公共标志提取和翻译系统对图像中文本的分割性能，对景区的公共标志图像进行二值化，然后添加水平投影像素值，并采用投影方法对图像的水平方向进行分割，如图3所示。
图3 图像中文本分割的性能分析
从图3可以看出，在景区的公共标志图像上进行水平投影实验后，图像分割效果与原始图像基本相同。以上结果表明，采用投影方法后，系统能够有效地分割图像中的文本，便于后续的文本识别和翻译。
B. 系统字符识别与翻译性能研究
为了验证旅游景点英语公共标志提取和翻译系统的字符识别和翻译性能，为英语单词词库中每个单词的每个字体生成一个图片数据，并随机选择1000个样本数据集，其中500个样本集用于训练系统，其余500个样本集用于测试训练系统。试验分为5次，每次100个样本。记录和分析旅游景点英语公共标志提取翻译系统的识别准确度和翻译准确性，如图4所示。
图4 英语公共标志系统的识别准确度和翻译准确度
从图4可以看出，在五次测试中，系统的识别准确率至少为96%，最高为100%，平均为98%;系统的翻译准确率平均为96.5%。将此算法的识别效果与传统的文本提取和识别算法（如CTPN，SSTD和端到端）进行比较。比较结果示于表1中。
表 1 本文算法的识别效果
从表1可以看出，本文算法的精度、召回率和F得分均优于传统的英文文本提取和识别算法。
第四节.结论
公共标志是旅游景点使用最广泛的信息传播手段。使用智能设备识别和翻译英文公式和表达方式，可以有效提高游客的安全和旅游体验。因此，本研究基于机器视觉技术，利用SVM检测前端设备采集的图像中是否存在英文公共标志，采用投影法对文本进行分割，最后利用CNN对公共标志进行识别和翻译，从而构建一个英文公共标志提取翻译系统。研究结果表明，该系统对英语公共标志的识别准确率达到98%，翻译准确率达到96.5%。以上结果表明，该系统能够有效识别和翻译英文公共标志，改善游客体验，具有较高的实用价值。
