[发明专利]一种基于时间变化度的场景切换检测方法、装置、设备

摘要

本发明公开一种基于时间变化度的场景切换检测方法、装置、设备。属于视频编解码领域，所述方法通过获取待检测帧图像的y，u，v信息的时间变化度统计特性，根据亮度和/或色度信息变化的不同情况，确定亮度细致判定阈值和色度细致判定阈值，根据亮度和/或色度的统计信息变化、亮度细致判定阈值和色度细致判定阈值，进行判定有无场景切换。利用本发明方法可使得编码器能动态调整编码策略，从而优化编码性能。

主权项

一种基于时间变化度的场景切换检测方法，其特征在于，所述方法包括：步骤A，分别获取待检测帧图像的y，u，v信息的时间变化度统计特性；步骤B，根据亮度和色度信息变化的不同情况，确定亮度细致判定阈值和色度细致判定阈值；步骤C，根据亮度和色度的统计信息变化、亮度细致判定阈值和色度细致判定阈值，进行判定有无场景切换；所述步骤A具体包括：步骤a，确定待检测帧图像关键区域Regiont；步骤b，判断待检测帧中的当前块是否属于待检测帧图像关键区域，是则进入步骤c，否则进入当前块下一块blockt,n+1，重新返回步骤b进行判断；步骤c，计算当前块blockt,n的y、u、v信息时间变化度的第一统计特性向量、第二统计特性向量；步骤d，判断当前帧图像关键区域内是否所有的块都已经求取统计特性向量，是则进入步骤e，否则进入当前块下一个块blockt,n+1，重新进入步骤b；步骤e，计算待检测帧图像的y、u、v信息时间变化度的第一统计特性、第二统计特性；其中：t表示待检测帧在视频序列中的帧序号，第t帧为待检测帧，Regiont表示第t帧图像关键区域，blockt,n表示第t帧图像的第n块，第n块为待检测块，也即当前块，blockt,n+1表示第t帧图像的第n+1块，y表示图像的亮度分量，u、v分别表示图像的色度分量；所述步骤B具体为：如果((Ts_frameu,t(2)‑Ts_frameu,t(1))/Ts_frameu,t(2)>Thres_u1||(Ts_frameu,t(2)‑Ts_frameu,t(3))/Ts_frameu,t(2)>Thres_u1)或者((Ts_framev,t(2)‑Ts_framev,t(1))/Ts_framev,t(2)>Thres_v1||(Ts_framev,t(2)‑Ts_framev,t(3))/Ts_framev,t(2)>Thres_v1)则：令亮度细致判定阈值Thres_y1和Thres_y2分别为亮度第一类判定阈值Thres_y_1和Thres_y_2；令色度细致判定阈值Thres_uv1和Thres_uv2分别为色度第一类细致判定阈值Thres_uv_1和Thres_uv_2；即Thres_y1＝Thres_y_1,Thres_y2＝Thres_y_2Thres_uv1＝Thres_uv_1,Thres_uv2＝Thres_uv_2然后，进入步骤C其中，Thres_y_1为亮度第一类判定阈值的相对阈值，通过统计至少25个场景切换片源的非色度信息缺乏图像(Ts_framey,t(2)‑Ts_framey,t(1))/Ts_framey,t(2)、(Ts_framey,t(2)‑Ts_framey,t(3))/Ts_framey,t(2)数值分布，确定最大概率对应的数值作为相应亮度第一类判定阈值相对阈值；Thres_y_2为亮度第一类判定阈值绝对阈值，通过统计至少25个场景切换片源的非色度信息缺乏图像Ts_framey,t(2)‑Ts_framey,t(1)、Ts_framey,t(2)‑Ts_framey,t(3)数值分布，确定最大概率对应的数值作为相应亮度第一类判定阈值绝对阈值；Thres_uv_1为色度第一类判定阈值差阈值，通过统计至少25个场景切换片源的非色度信息缺乏图像fabs(Tm_frameu,t(2)‑Tm_framev,t(2))数值分布，确定最大概率对应的数值作为色度第一类判定阈值差阈值；Thres_uv_2为色度第一类判定阈值和阈值，通过统计至少25个场景切换片源的非色度信息缺乏图像Tm_frameu,t(2)+Tm_framev,t(2)数值分布，确定最大概率对应的数值作为色度第一类判定阈值和阈值；Thres_u1为色度信息变化剧烈场景时对应色度u的相对阈值，通过统计至少25个场景切换的片源的非色度信息缺乏图像(Ts_frameu,t(2)‑Ts_frameu,t(1))/Ts_frameu,t(2)(Ts_frameu,t(2)‑Ts_frameu,t(3))/Ts_frameu,t(2)数值分布，确定最大概率对应的数值作为色度信息变化剧烈场景时对应色度u的相对阈值,Thres_v1为色度信息变化剧烈场景时对应色度v的相对阈值，通过统计至少25个场景切换的片源的非色度信息缺乏图像(Ts_framev,t(2)‑Ts_framev,t(1))/Ts_framev,t(2)(Ts_framev,t(2)‑Ts_framev,t(3))/Ts_framev,t(2)数值分布，确定最大概率对应的数值作为色度信息变化剧烈场景时对应色度v的相对阈值，非色度信息缺乏图像是指图像中至少存在一个像素点的色度能量大于判定阈值Thresup的图像即其中为一个像素点的色度能量，u(i,j)、v(i,j)，分别为位于图像第i行j列色度分量u，v的数值，Thresup为非色度信息缺乏图像的判定阈值，Thresup>30；否则如果((Ts_frameu,t(2)‑Ts_frameu,t(1))/Ts_frameu,t(2)>Thres_u2||(Ts_frameu,t(2)‑Ts_frameu,t(3))/Ts_frameu,t(2)>Thres_u2))并且((Ts_framev,t(2)‑Ts_framev,t(1))/Ts_framev,t(2)>Thres_v2||(Ts_framev,t(2)‑Ts_framev,t(3))/Ts_framev,t(2)>Thres_v2)则：令亮度细致判定阈值Thres_y1和Thres_y2分别为亮度第二类判定阈值Thres_y_3和Thres_y_4，令色度细致判定阈值Thres_uv1和Thres_uv2分别为色度第二类细致判定阈值Thres_uv_3和Thres_uv_4；即Thres_y1=Thres_y_3,Thres_y2=Thres_y_4Thres_uv1=Thres_uv_3,Thres_uv2=Thres_uv_4,]]>进入步骤C，其中，Thres_y_3为亮度第二类判定阈值相对阈值，通过统计至少25个场景切换片源的色度信息缺乏图像(Ts_framey,t(2)‑Ts_framey,t(1))/Ts_framey,t(2)、(Ts_framey,t(2)‑Ts_framey,t(3))/Ts_framey,t(2)数值分布，确定最大概率对应的数值作为相应亮度第二类判定阈值相对阈值；Thres_y_4为亮度第二类判定阈值绝对阈值，通过统计至少25个场景切换片源的色度信息缺乏图像Ts_framey,t(2)‑Ts_framey,t(1)、Ts_framey,t(2)‑Ts_framey,t(3)数值分布，确定最大概率对应的数值作为相应亮度第二类判定阈值绝对阈值；Thres_uv_3为色度第二类判定阈值差阈值，通过统计至少25个场景切换片源的色度信息缺乏图像fabs(Tm_frameu,t(2)‑Tm_framev,t(2))数值分布，确定最大概率对应的数值作为色度第二类判定阈值差阈值；Thres_uv_4为色度第二类判定阈值和阈值，通过统计至少25个场景切换片源的色度信息缺乏图像Tm_frameu,t(2)+Tm_framev,t(2)数值分布，确定最大概率对应的数值作为色度第二类判定阈值和阈值；Thres_u2为色度信息变化小场景时对应色度u的相对阈值，通过统计至少25个场景切换的片源的色度信息缺乏图像(Ts_frameu,t(2)‑Ts_frameu,t(1))/Ts_frameu,t(2)(Ts_frameu,t(2)‑Ts_frameu,t(3))/Ts_frameu,t(2)数值分布，确定最大概率对应的数值作为色度信息变化小场景时对应色度u的相对阈值,Thres_v2为色度信息变化小场景时对应色度v的相对阈值，通过统计至少25个场景切换的片源的色度信息缺乏图像(Ts_framev,t(2)‑Ts_framev,t(1))/Ts_framev,t(2)(Ts_framev,t(2)‑Ts_framev,t(3))/Ts_framev,t(2)数值分布，确定最大概率对应的数值作为色度信息变化小场景时对应色度v的相对阈值,色度信息缺乏图像是指图像所有像素点色度能量均小于判定阈值Thresdown的图像即其中为一个像素点的色度能量，u(i,j)、v(i,j)，分别为位于图像第i行j列色度分量u，v的数值,Thresdown为色度信息缺乏图像的判定阈值，Thresdown<15,否则：确定第t帧非场景切换帧，令t＝t+1，重新进入所述步骤A进入下一帧的判定；Ts_framey,t称为第t帧图像亮度信息时间变化度的第一统计特性，Ts_frameu,t，Ts_framev,t称为第t帧图像色度信息时间变化度的第一统计特性，Tm_framey,t称为第t帧图像亮度信息时间变化度的第二统计特性，Tm_frameu,t，Tm_framev,t称为第t帧图像色度信息时间变化度的第二统计特性；Ts_framey,t(1)、Ts_framey,t(2)、Ts_framey,t(3)分别为Ts_framey,t各分量的表示法；Ts_frameu,t(1)、Ts_frameu,t(2)Ts_frameu,t(3)分别为Ts_frameu,t各分量的表示法；Ts_framev,t(1)、Ts_framev,t(2)、Ts_framev,t(3)分别为Ts_framev,t各分量的表示法；Tm_framey,t(1)、Tm_framey,t(2)、Tm_framey,t(3)分别为Tm_framey,t各分量的表示法；Tm_frameu,t(1)、Tm_frameu,t(2)、Tm_frameu,t(3)分别为Tm_frameu,t各分量的表示法；Tm_framev,t(1)、Tm_framev,t(2)、Tm_framev,t(3)分别为Tm_framev,t各分量的表示法；所述步骤C具体为：如果((Ts_framey,t(2)‑Ts_framey,t(1))/Ts_framey,t(2)>Thres_y1||(Ts_framey,t(2)‑Ts_framey,t(3))/Ts_framey,t(2)>Thres_y1)并且((Ts_framey,t(2)‑Ts_framey,t(1))>Thres_y2||(Ts_framey,t(2)‑Ts_framey,t(3))>Thres_y2)并且(fabs(Tm_frameu,t(2)‑Tm_framev,t(2))>Thres_uv1||fabs(Tm_frameu,t(2)+Tm_framev,t(2))>Thres_uv2)并且(fabs(Tm_frameu,t(2)‑Tm_framev,t(2))+△>fabs(Tm_frameu,t(1)‑Tm_framev,t(1))&&fabs(Tm_frameu,t(2)‑Tm_framev,t(2))+△>fabs(Tm_frameu,t(3)‑Tm_framev,t(3)))则：确定第t帧图像为新场景的起始帧，其中，△是漂移值常量，“||”、“&&”、“fabs”分别为C语言中“或”、“与”，“取绝对值运算”,△通过统计至少25个场景切换的片源图像的fabs(Tm_frameu,t(1)‑Tm_framev,t(1))‑fabs(Tm_frameu,t(2)‑Tm_framev,t(2))和fabs(Tm_frameu,t(3)‑Tm_framev,t(3))‑fabs(Tm_frameu,t(2)‑Tm_framev,t(2))数值分布，确定最大概率对应的数值作为漂移值常量△；其中，所述步骤c具体为：c1：获取blockt,n的f信息时间变化度的3个集合bf,t‑2,n、bf,t‑1,n、bf,t,n；f分别等于y、u、v，y表示图像的亮度分量，u、v分别表示图像的色度分量，集合bf,t‑2,n、bf,t‑1,n、bf,t,n的计算公式如(1)所示：bf,m,n={fm+1(i,j)-fm(i,j)fm+1(i,j)∈blockm+1,n∩fm(i,j)∈blockm,n}---(1)]]>公式(1)中的m分别等于t‑2、t‑1、t，即可分别获取bf,t‑2,n、bf,t‑1,n、bf,t,n，blockm,n表示第m帧图像第n块，blockm+1,n表示第m+1帧图像第n块，fm(i,j)表示第m帧图像第i行第j列f信息的数值，fm+1,n(i,j)表示第m+1帧图像第i行第j列f信息的数值，fm(i,j)∈blockm,n表示位于blockm,n块内的第m帧图像第i行第j列f信息的数值，fm+1(i,j)∈blockm+1,n表示位于blockm+1,n块内的第m+1帧图像第i行第j列f信息的数值，表示满足fm+1(i,j)∈blockm+1,n并且fm(i,j)∈blockm,n的所有fm+1(i,j)‑fm(i,j)的集合，fm+1(i,j)‑fm(i,j)为对应f信息的数值的减法运算，c2：求取blockt,n的f信息时间变化度3个集合bf,t‑2,n、bf,t‑1,n、bf,t,n的第一统计特性，分别记为Std(bf,t‑2,n)、Std(bf,t‑1,n)、Std(bf,t,n)，Std表示求均方差；c3：求取blockt,n的f信息时间变化度3个集合bf,t‑2,n、bf,t‑1,n、bf,t,n的第二统计特性，分别记为mean(bf,t‑2,n)、mean(bf,t‑1,n)、mean(bf,t,n)，mean表示求均值；c4：构建blockt,n的f信息时间变化度第一统计特性向量Ts_bf,t,n和第二统计特性向量Tm_bf,t,n，其构建方法如下：Ts_bf,t,n＝(Std(bf,t‑2,n),Std(bf,t‑1,n),Std(bf,t,n))   (2)Tm_bf,t,n＝(mean(bf,t‑2,n),mean(bf,t‑1,n),mean(bf,t,n))   (3)；其中，所述步骤e具体为：对第t帧图像关键区内所有块的Ts_bf,t,n求均值，作为第t帧图像的f信息时间变化度的第一统计特性Ts_framef,t，对第t帧图像关键区内所有块的Tm_bf,t,n求均值，作为第t帧图像的f信息时间变化度的第二统计特性Tm_framef,t，Ts_framef,t＝mean(Ts_bf,t,n)   (4)Tm_framef,t＝mean(Tm_bf,t,n)   (5)。