[发明专利]一种基于互信息典型相关分析的跨模态数据配准方法

摘要

本发明公开了一种基于互信息典型相关分析的跨模态数据配准方法，包括：基于互信息度量网络分别衡量一个批次中两个模态数据X、Y与各自相应代表f(X；θ)、之间的非线性相关程度；将所述两个模态数据X、Y分别通过多模态编码器f和g投影，以得到相应的代表f(X；θ)、之间的典型相关度最大化；根据f(X；θ)、进行SVD分解及对ω、θ、优化求导，生成典型相关隐空间进行匹配的配准器；根据所述配准器，对输入的一个批次中的待分析两个模态数据进行配准。该方法分析所得到的模态数据在配准空间的表示既保留了模态的独有特征，也保留了模态之间的公有特征，提高了跨模态数据的解析程度。