[发明专利]基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法

摘要

本发明涉及一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，通过被试在自然场景图像刺激下采集到的fMRI视觉功能数据，训练深度卷积神经网络模型，将其映射到关注目标类别标签上进行模型优化；构造与优化后的深度卷积神经网络对称的深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果优化该模型参数，获得fMRI视觉功能数据到逐像素语义分割结果的映射；采集被试观看测试图像的fMRI视觉功能数据，确定被试关注目标类别和逐像素语义分割结果，分割出关注目标区域和相应目标语义。本发明对被试观看自然场景图像时所引发的fMRI视觉功能数据进行解析，提取出刺激图像中所有目标类别并获得语义分割结果，提高关注目标提取的准确性。

主权项

1.一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，其特征在于：包含如下步骤：步骤1、采集被试在自然场景图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，将训练得到的深度卷积神经网络模型映射到线性映射模型上，进行网络模型优化；步骤2、构造一个与网络模型优化后的深度卷积神经网络对称的反卷积深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果对反卷积深度网络模型进行优化处理，获得fMRI视觉功能数据到逐像素语义分割结果的映射，得到语义分割深度网络模型；步骤3、采集被试观看测试图像时的fMRI视觉功能数据，通过语义分割深度网络模型，得到图像逐像素语义分割结果；步骤4、通过关注目标类别的线性映射模型，得到被试图像关注的目标类别；步骤5、根据步骤3得到的图像逐像素语义分割结果及步骤4中得到的被试图像关注的目标类别，分割出被试关注的目标区域和相应目标语义。