[发明专利]一种基于子空间的自步跨模态匹配方法

摘要

本发明公开一种基于子空间的自步跨模态匹配方法。该方法通过提取数据集中不同模态数据的特征向量；利用子空间自步学习得到训练集中与不同模态对应的不同映射矩阵，利用该映射矩阵将测试集中数据样本的不同模态类别映射到同一空间，使训练集与测试集的数据映射到统一空间，然后度量测试集中的查询数据和目标数据间的相似度从而得到跨模态匹配的结果。本发明可将不同模态的数据映射到统一空间度量，且在映射同时进行样本选择和特征学习，提高了匹配的鲁棒性和准确性。

主权项

1.一种基于子空间的自步跨模态匹配方法，其特征在于，包括步骤：S1，收集不同模态的数据样本建立跨模态数据库，并将所述跨模态数据库分为训练集和测试集；S2，提取所述跨模态数据库中不同模态数据样本的特征向量；S3，基于所述训练集中不同模态数据的特征向量建立目标函数并求解目标函数，得到与所述不同模态分别对应的映射矩阵；S4，利用所述映射矩阵将所述测试集中数据样本的模态类别映射到同一空间；S5，将映射到同一空间的测试集中同一模态类别的数据作为查询集，另一模态类别的数据作为目标集；S6，通过度量数据间的相似度在所述目标集中查询与所述查询集中的一个数据样本相匹配的数据，从而得到跨模态匹配的结果；步骤S3包括步骤：S31，基于所述训练集中不同模态数据的特征向量建立目标函数；S32，使用迭代算法求解所述目标函数，得到与所述不同模态分别对应的映射矩阵；所述目标函数为：其中，a,b分别代表两种模态,p,q的取值分别为a,b两种模态中的一种，U_p是p模态对应的映射矩阵，U_p^T是矩阵U_p的转置，X_p是p模态数据特征，U_q是q模态对应的映射矩阵，X_q是q模态数据特征，X_q^T是矩阵X_q的转置，Y是聚类标记，代表损失项权重，v_i是向量v的第i个元素，k为常量，代表自步学习的学习率，α和β为权重参数，||·||_F为求取F‐范数操作，Tr(·)是矩阵的迹，L_pq是模态p和模态q的拉普拉斯矩阵，Y∈{0,1}^c×n，n为特征向量的个数，c为模态类别的个数，Y_i,j是Y的第i行、第j列的元素；步骤S32包括步骤：S321，使用k均值算法对文本特征聚类以初始化聚类标记Y，然后创建多模态图，多模态图是由不同模态数据特征之间的语义聚类标记和同一模态中数据特征之间的相似性构建；再计算多模态图约束拉普拉斯矩阵L,设置映射矩阵Up,p∈{a,b}初始值都为单位矩阵，设置最大迭代次数N，迭代次数的初始值为1；S322，计算每个样本的经验损失并与k比较，得出每个样本的损失项权重vi；其中，是第i个样本的损失函数，xⁱ_P是第i个p模态数据特征，yⁱ是第i个样本对应的聚类标记；S323，通过求解下式中的线性问题求得映射矩阵Up：其中，I为单位矩阵，V＝diag(v)，VT是矩阵V的转置；S324，一列一列地优化聚类标记Y，即优化聚类标记Y其中一列时，固定其它所有列，一次学习Y的一列，求解Y的目标函数等价于：其中,通过计算，将上式转化为：其中，υ是矩阵V的第i列,是矩阵Y移除第i列后得到的矩阵；是矩阵V移除第i列后得到的矩阵；e是矩阵E的第i列，是矩阵E移除第i列后得到的矩阵；f是矩阵F的第i列，是矩阵F移除第i列后得到的矩阵；g是矩阵G的第i列；h是矩阵H的第i列，以上对y的优化使用如下公式解决：其中h(m)返回m中最大值的索引，经过2～3次内部迭代，可以获得完整的Y；S325，W为多模态图的相似性矩阵，通过下式计算W：其中，γ为模态间的相似性矩阵与同一模态内的局部相似性的权重参数，取γ＝1，W^ab＝W^ba＝Y^TY是模态间的相似性矩阵，W^a和W^b为同一模态内的局部相似性，采用高斯核函数度量局部相似性：其中Nr(·)是最邻近的r个样本的集合，σ为方差；S326，判断此时的迭代次数是否小于最大迭代次数N，若是则转向S322继续迭代；若否则停止迭代，得到所述映射矩阵Ua和Ub。