[发明专利]一种基于机器视觉的仪表示数识别方法

摘要

本发明公开了一种基于机器视觉的仪表示数识别方法，所述方法具体包括以下步骤：(1)对待识别示数的仪表图像，先通过级联姿态回归器(Cascaded Pose Regression)回归出该仪表图像与标准仪表图像的仿射变换矩阵，从而将待识别示数的仪表图像仿射变换到标准仪表图像的姿态下，实现仪表姿态的归一化；(2)利用基于几何约束的数字识别方法对步骤(1)得到的姿态归一化的仪表图像进行数字示数识别；(3)利用基于HOG特征的指针示数识别方法对步骤(1)得到的姿态归一化的仪表图像进行指针示数识别。本发明提出的数字示数和指针示数识别方法，解决了仪表示数识别中姿态和尺度问题，使数字示数识别的准确率和指针示数的示数识别的精度得到极大的提高。

主权项

1.一种基于机器视觉的仪表示数识别方法，其特征在于，所述方法具体包括以下步骤：(1)对待识别示数的仪表图像，先通过级联姿态回归器回归出该仪表图像与标准仪表图像的仿射变换矩阵，从而将待识别示数的仪表图像仿射变换到标准仪表图像的姿态下，实现仪表姿态的归一化；(2)利用基于几何约束的数字识别方法对步骤(1)得到的姿态归一化的仪表图像进行数字示数识别；所述步骤(2)具体为：(2.1)在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图像，在标准图像上，标记数字所在矩形区域；在所有样本图像上标记4个以上重复出现的标记点；(2.2)利用标记点，通过最小二乘法，计算所有样本图像与标准图像的仿射变换矩阵，将所有样本图像仿射变换到标准图像姿态下，然后采集数字0到9的数字模板；(2.3)将待识别仪表图像通过级联姿态回归器变换到标准图像的姿态下后，使用模板匹配的方法进行数字示数识别；此时待识别仪表图像上的数字区域图像记作ROI，若待识别仪表图像上数字示数为n位，则将ROI区域水平均分为n份，记作Ri，其中i＝1，2，…，n；在均分后的区域中，用数字模板进行模板匹配，数字模板记作Dj，其中j＝0，1，...，9；将Dj与Ri进行模板匹配，得到每个数字匹配的概率图，记作Gi，j(x，y)：其中(x，y)是在Ri上的坐标，Ri(x，y)表示为Ri上坐标为(x，y)处的灰度值；(x′，y′)是Dj上的坐标，Dj(x′，y′)表示为Dj上坐标为(x′，y′)处的灰度值；(2.4)在Ri的(xi，yi)处匹配数字di，则有能量项Ei：(2.5)对n个数字，在Ri上匹配的坐标位置是一致的，对数字之间的几何约束能量项为：其中λi和ki为可调参数；(2.6)对n个数字，则最终优化目标为：优化求解得到(xi，yi，di)，其中di 为Ri的数字识别结果，(xi，yi)为Ri上匹配识别结果对的位置；(3)利用基于HOG特征的指针示数识别方法对步骤(1)得到的姿态归一化的仪表图像进行指针示数识别；所述步骤(3)具体为：(3.1)在工业现场采集N张目标仪表的样本图像，然后选取一张正面拍摄样本作为标准图像，在标准图像上，标记指针所在扇形区域；(3.2)将待识别仪表图像变换到标准图像的姿态下后，将扇形区域用极坐标r‑θ表示，其中r是扇形区域的半径，θ是角度；坐标系的原点即为仪表指针所在扇形区域的圆心；将扇形区域通过双线性插值算法，转化到笛卡尔直角坐标系下的矩形图像；(3.3)将扇形区双线性变换为矩形图像后，指针的位置处于竖直方向；首先截取标准图像中经过双线性变换后的指针图像作为指针模板，选取梯度方向直方图(HOG)作为特征描述，计算其HOG特征，记作Xt；(3.4)在待识别仪表图像经过双线性变换后的矩形图像中从左到右用与指针模板同样大小的窗口进行滑动，计算每个窗口的HOG特征，记作Yt，计算Yt和Xt指针模板的相关性：其中m为HOG特征的维数；t为1、2、3…m，选取相关系数最大的位置，即为识别出的指针所在位置，该位置横坐标除以矩形图像的长度再乘以指针量程即为识别出的指针示数。