[发明专利]一种基于功能磁共振成像的视频记忆性判别方法

摘要

本发明涉及一种基于功能磁共振成像的视频记忆性判别方法，利用视频数据库中少量视频数据的底层视觉特征和这些视频数据对应的脑功能成像空间特征构建特征子空间模型，将没有进行功能磁共振成像的视频数据的底层视觉特征映射到特征子空间中，得到所有视频数据的基于功能磁共振成像的特征，然后训练支持向量回归机，给定一个记忆性值未知的视频数据，判定得到该视频数据的记忆值。本发明可以用功能磁共振成像数据中提取的脑功能成像空间特征来指导视频记忆性判定，将人脑认知信息应用到视频记忆性判定中，与传统的利用底层视觉特征如颜色、形状、纹理等进行视频记忆性判定的方法相比，大大提高了视频数据记忆性判定的准确率。

主权项

1.一种基于功能磁共振成像的视频记忆性判别方法，其特征在于步骤如下： 步骤1、提取所有视频数据的底层视觉特征： 步骤a：视频数据库中共包含N∈[100,1000]个视频数据，对每个视频数据，提取其每一秒的第一帧作为视频数据的关键帧； 步骤b：利用Li-Jia Li在2010年发布的object bank程序包，对每一关键帧，利用下采样技术得到输入图像的12个尺度图像，并将这12个尺度图像与object bank程序中的208个物体模板进行卷积计算，使每一关键帧得到208×12幅响应图像； 再利用二插值方法，将每一关键帧对应于每个模板的12个尺度的响应图像插值，得到相同尺寸的响应图像；计算每一个像素点在12个相同尺度的响应图像上的最大值，构成一个最大响应图像； 然后求最大响应图像的像素平均值，得到每一关键帧的一个208维的特征向量，将每一视频数据的所有关键帧的208维的特征做平均，得到每一视频数据的208维的特征向量，称之为视频数据的object bank特征； 步骤c：首先将每一个视频数据的关键帧转换到Lab颜色空间，对每一颜色特征子空间中的图像子层做2层小波变换，得到每一关键帧的每一子带小波系数，将得到的小波系数做L∈[1,256]级直方图，利用公式E=-Σ_ip_ilog(p_i)计算每一子带的熵值；其中p_i,i＝0,1,2,…,L-1为直方图的概率分布； 将所有子带的熵值相加，分别得到每一颜色特征子空间的熵值E_L，E_a，E_b；然后利用公式SC＝0.84×E_L+0.08×E_a+0.08×E_b得到关键帧的场景复杂度特征；将每一视频数据的所有关键帧的场景复杂度特征平均，得到每一视频数据的场景复杂度特征； 步骤d：首先将每一个视频数据的关键帧其转换成灰度图像，对灰度图像做直方图，其中可区分的灰度级数目为L∈[1,256]；令p(z_i),i＝0,1,2,…,L-1为对应的直方图，其中：z是一个代表灰度级的随机变量； 利用公式计算灰度图像的n阶矩特征，其中m是z的平均灰度级；令n＝2以及n＝3分别得到灰度图像的二阶矩特征和三阶矩特征；令σ²(z)为灰度图像的二阶矩，则利用公式得到灰度图像的平滑度特征；利用公式计算灰度图像的一致性特征；利用公式计算灰度图像的平均熵特征；将灰度图像的二阶矩特征，三阶矩特征，平滑度特征，一致性特征，平均熵特征串联相接，得到关键帧的纹理特征。将每一视频数据的所有关键帧的纹理特征做平均，得到每一视频数据的纹理特征； 步骤e：首先提取每一个视频数据的音频信号，然后利用Mel频率倒谱系数算法，提取每一个视频数据的MFCC特征； 步骤f：将每一视频数据的Object bank特征，场景复杂度特征，纹理特征和MFCC特征首尾串联在一起，得到每一视频数据的底层视觉特征； 步骤2、从功能磁共振成像数据中提取视频数据的脑功能成像空间特征：利用专利号为201110114991的方法提取视频数据库中N_f∈[10,100]个具有功能磁共振成像数据的视频数据的脑功能成像空间特征；将得到的脑功能成像空间特征用方差分析进行降维，取方差分析的参数为然后再利用Gavin提出的特征选择方法BLOGREG算法对脑功能成像空间特征进行进一步降维。得到视频数据的脑功能成像空间特征矩阵f_B；步骤3、构建特征子空间模型： 步骤a：对N_f∈[10,100]个视频数据的脑功能成像空间特征f_B作主成分分析PCA，令阈值为T∈[0.95,0.99]，得到去除冗余信息的特征f_Bpca，将N_f个视频的特征f_Bpca按行排列，得到N_f个视频的特征矩阵F₁； 其中：i∈[1,N_f]表示N_f个具有对应功能磁共振成像数据的视频数据中的第i个视频数据，n_B为特征的维数； 步骤b:对N_f∈[10,100]个视频数据的底层视觉特征f_l做主成分分析PCA，令阈值为T∈[0.95,0.99]，得到去除冗余信息的特征f_Lpca；将N_f个视频的特征f_Lpca按行排列，得到N_f个视频的特征矩阵F₂： 其中：i∈[1,N_f]表示N_f个具有对应功能磁共振成像数据的视频数据中的第i个视频数据，n_L为特征的维数； 步骤c：利用典型相关分析CCA算法，得到特征子空间的映射矩阵，原始特征空间与特征子空间的映射关系为 其中：F₁，F₂为特征矩阵，A，B为特征子空间映射矩阵，U,V为特征矩阵在特征子空间上的映射； 步骤4、将视频数据库中所有N∈[100,1000]个视频数据映射到特征子空间中：将视频数据库中所有N∈[100,1000]个视频数据的底层视觉特征按行排列，得到底层视觉特征矩阵F_N，对F_N做主成分分析PCA，令阈值为T∈[0.95,0.99]，得到去除冗余信息的特征矩阵F_Npca； 利用公式V_N＝F_Npca×B，将特征矩阵F_Npca映射到特征子空间中，得到特征子空间的特征矩阵V_N； 步骤5、视频记忆性预测模型训练：利用特征子空间特征矩阵V_N，以及标注实验得到的视频记忆性真值，训练支持向量回归机SVR模型； 步骤6、预测视频的记忆性值：对于任意一个记忆性数值未知的视频数据，首先利用步骤1的方法提取底层视觉特征，然后与步骤3中的步骤c得到的特征子空间映射矩阵B相乘，得到映射后的特征子空间特征，将此特征子空间特征输入到步骤5训练好的支持向量回归机(SVR)模型中，得到该视频数据的记忆性数值。