[发明专利]基于多层次词袋聚类的快速无序图像拼接方法

摘要

本发明公开了一种基于多层次BOW聚类的快速无序图像拼接方法，用于解决现有基于SIFT特征进行自动全景图像拼接方法耗时长的技术问题。技术方案是在进行图像特征点匹配前对图像进行分类，利用多层次BOW聚类找出每张图片的BOW特征，BOW特征相似的两张图片可认为是同一类。然后再对属于同一类的任意两张图片进行特征点匹配、外点去除以及单应变换矩阵的求解。通过在自有数据集中进行测试，本发明能够在低耗时的情况下完成大量无序图像序列的拼接。由于先使用SIFT描述子来寻找图像中的特征点，再对无序图像利用多层级BOW进行分类，因此除去了不必要的匹配过程和计算过程，减少了耗时，从而实现了对无序图像的快速拼接。

主权项

1.一种基于多层次BOW聚类的快速无序图像拼接方法，其特征在于包括以下步骤： 步骤一、将整个无序图像序列作为输入，使用SIFT特征提取算法处理，提取每一张图片中的SIFT特征点，将提取到的每一个特征点看作一个样本X_i，这样所有的特征点构成一个样本集合(X₁,X₂,…,X_n)^T，其中n表示特征点的数量； 步骤二、对步骤一得到的样本集合(X₁,X₂,…,X_n)^T使用层次K-均值进行BOW聚类，过程如下： 1)随机选取样本集合(X₁,X₂,…,X_n)^T中k个样本作为聚类中心，最终的聚类中心个数不超过k； 2)计算样本集合(X₁,X₂,…,X_n)^T中每个样本X_i(x_i,y_i)到各个聚类中心X_c(x_c,y_c)的欧式距离d_i，计算公式如下： 3)根据计算出的d_i，将每个样本聚类到离它最近的中心； 4)重新计算每个新类的聚类中心； 5)重复以上步骤直到每个类的聚类中心不再改变； 6)对新生成的每个收敛的类重复以上步骤，重复次数满足一定迭代次数； 完成以上6)步，得到一个收敛的拥有聚类中心点的集合(X_c1,X_c2,…,X_cn)^T；然后统计每一张图像的特征点在集合(X_c1,X_c2,…,X_cn)^T中各个元素上的分布，将分布特征点数量最多的聚类中心，作为此张图像的BOW特征；将BOW特征相似程度高的图片归为同一类；假设两张图像的BOW特征分别为bow₁(n,k_n)，bow₂(n',k_n'')，其中n，n'表示分布特征点最多的聚类中心的编号，k_n，k_n''分别表示第1张图像，第2张图像在聚类中心n，n'上分布的特征点的数量；BOW特征相似度判断方法如下： 1)如果n=n'，认为两张图像属于同一类； 2)如果n≠n'，当k_n'/k_n>0.3或者k_n'/k_n''>0.3，即当两张图像的相似特征点超过30%时，也认为两张图像属于同一类； 3)对于其余的情况，认为两张图像不属于同一类； 步骤三、根据步骤二图像分类的结果，对属于同一类的图像进行特征点匹配，并使用RANSAC算法去除错误匹配； 步骤四、根据步骤三得到的同一类中任意两幅图像特征点的匹配结果，计算这两幅图像之间的一个单应变换矩阵；根据单应变换矩阵，完成图像拼接；具体步骤如下： 1)初始化一张空白图像，然后将需要拼接的第一张图像直接逐像素复制到该空白图像中； 2)对于待拼接的下一副图像，假设其与上一幅图之间的单应变换矩阵为： 待拼接图像中任意像素p=(x,y,1)^T，那么要得到此像素在上一幅图像的对应像素p'=(x',y',1)^T，则由下式计算： 写成矩阵的形式为： 获取到对应像素p'后，直接将像素p的颜色赋值给对应像素p'；直到待拼接图像中每一个像素都被访问到，此步骤才结束； 3)如果出现类似这种情况，如第1张图像与第2张图像之间存在单应变换矩阵，第2张图像与第3张图像之间存在单应变换矩阵，但是第1张图像与第3张图像之间没有直接计算得到的单应变换矩阵，想要将第3张图像与第1张图像拼接起来，则需根据下面的公式计算得到第1张图像与第3张图像之间的单应变换矩阵： H_1,3=H_1,2·H_2,3   (4) 式中，H_1,2表示第1张图与第2张图之间的单应变换矩阵，H_2,3表示第2张图与第3张图之间的单应变换矩阵。