[发明专利]基于深度神经网络的端到端的图像多字符定位和匹配方法

摘要

本发明涉及一种基于深度神经网络的端到端的图像多字符定位和匹配方法，其具有以下有益效果1）方法的运行效率更高，整个方法流程在深度神经网络训练好之后，每次使用，只需要经过一次深度神经网络的前向传播计算，而不像现有方法有多个神经网络需计算多次，还有用聚类算法做字符提取等比较耗时的步骤。2）方法的准确率更高。整个方法流程就是直接优化最终目标的准确率，通过深度神经网络可以很好的做到这一点。而现有技术，最终目标的准确率依赖于各个步骤流程的准确率，由于只能分别优化各个步骤的准确率，没法直接优化最终目标，导致准确率较低，也很难改进。

主权项

基于深度神经网络的端到端的图像多字符定位和匹配方法，其特征在于：包括有以下步骤：S1.令查询图片与对应的被查询图片为一对图片对，收集大量的图片对作为数据集，并对图片对中查询图片中的字符在被查询图片中的位置进行标注；S2.将数据集按照一定比例划分为三部分，分别为训练集、验证集和测试集；S3.搭建深度神经网络，利用训练集中的图片对作为输入对深度神经网络进行训练，并利用Adam算法对深度神经网络进行优化；S4.使用验证集中的图片对作为输入对优化后的深度神经网络进行验证，深度神经网络输出图片对中查询图片中的字符在被查询图片中的定位及匹配结果，由于步骤S1已经对图片对中查询图片中的字符在被查询图片中的位置进行标注，因此可计算深度神经网络在验证集上的准确率；S5.重复步骤S3~S4直至深度神经网络在验证集上的准确率满足设定的条件；S6.将测试集中的图片对作为输入对步骤S5训练好的深度神经网络进行测试，并根据深度神经网络输出的测试结果对深度神经网络的在测试集上的准确率进行统计，作为对深度神经网络的评估结果；S7.对于新的一对图片对，将其作为深度神经网络的输入，即可通过深度神经网络得到图片对中查询图片中的字符在被查询图片中的定位及匹配结果。