一种基于区域的图像显著图提取方法

技术领域

本发明涉及一种图像信号的处理方法，尤其是涉及一种基于区域的图像显著图提取方法。

背景技术

在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。

现有的显著图模型是一种模拟生物体视觉注意机制的选择性注意模型，其通过计算每个像素点在颜色、亮度、方向方面与周边背景的对比，并将所有像素点的显著值构成一张显著图，然而这类方法并不能很好地提取出图像显著图信息，这是因为基于像素点的显著特征并不能很好地反映人眼观看时的显著语义特征，而基于区域的显著特征能够有效地提高提取的稳定性和准确性，因此，如何对图像进行区域分割，如何对各个区域的特征进行提取，如何对各个区域的显著特征进行描述，如何度量区域本身的显著度和区域与区域之间的显著度，都是对基于区域的显著图提取中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种符合显著语义特征，且有较高提取稳定性和准确性的基于区域的图像显著图提取方法。

本发明解决上述技术问题所采用的技术方案为：一种基于区域的图像显著图提取方法，其特征在于包括以下步骤：

①将待处理的源图像记为{I_i(x,y)}，其中，1≤x≤W，1≤y≤H，W表示{I_i(x,y)}的宽，H表示{I_i(x,y)}的高，I_i(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，i＝1,2,3，第1个分量为R分量、第2个分量为G分量和第3个分量为B分量；

②采用超像素分割技术将{I_i(x,y)}分割成M个互不重叠的区域；然后将{I_i(x,y)}重新表示为M个区域的集合，记为{SP_h}；再计算{SP_h}中的各个区域之间的相似性，将{SP_h}中的第p个区域与第q个区域之间的相似性记为Sim(SP_p,SP_q)，Sim(SP_p,SP_q)＝Sim_c(SP_p,SP_q)×Sim_t(SP_p,SP_q)×Sim_d(SP_p,SP_q)；其中，M≥1，SP_h表示{SP_h}中的第h个区域，1≤h≤M，1≤p≤M，1≤q≤M，p≠q，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，Sim_c(SP_p,SP_q)表示SP_p与SP_q之间的颜色相似性，Sim_c(SP_p,SP_q)的值根据SP_p和SP_q中的每个像素点的各个分量的颜色值量化后得到的颜色直方图获得，Sim_t(SP_p,SP_q)表示SP_p与SP_q之间的纹理相似性，Sim_t(SP_p,SP_q)的值根据SP_p和SP_q中的每个像素点的纹理特征矢量获得，Sim_d(SP_p,SP_q)表示SP_p与SP_q之间的空间相似性，Sim_d(SP_p,SP_q)的值根据SP_p和SP_q中的中心像素点的坐标位置获得；

③通过计算{SP_h}中的每个区域的颜色对比度，并结合{SP_h}中的各个区域之间的相似性，获取{SP_h}中的每个区域的基于颜色对比度的显著值，从而获得{I_i(x,y)}的基于区域颜色对比度的图像显著图，记为{SC(x,y)}，其中，SC(x,y)表示{SC(x,y)}中坐标位置为(x,y)的像素点的像素值；

④通过计算{SP_h}中的每个区域的纹理对比度，并结合{SP_h}中的各个区域之间的相似性，获取{SP_h}中的每个区域的基于纹理对比度的显著值，从而获得{I_i(x,y)}的基于区域纹理对比度的图像显著图，记为{ST(x,y)}，其中，ST(x,y)表示{ST(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑤通过计算{SP_h}中的每个区域的空间紧密度，并结合{SP_h}中的各个区域之间的相似性，获取{SP_h}中的每个区域的基于空间紧密度的显著值，从而获得{I_i(x,y)}的基于空间紧密度的图像显著图，记为{SS(x,y)}，其中，SS(x,y)表示{SS(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑥对{SC(x,y)}、{ST(x,y)}及{SS(x,y)}进行融合，得到{I_i(x,y)}的最终的图像显著图，记为{Sal(x,y)}，将{Sal(x,y)}中坐标位置为(x,y)的像素点的像素值记为Sal(x,y)，Sal(x,y)＝SC(x,y)×ST(x,y)×SS(x,y)。

所述的步骤②中获取{SP_h}中的第p个区域与第q个区域之间的相似性Sim(SP_p,SP_q)的具体过程为：

②-1、对{SP_h}中的每个区域中的每个像素点的各个分量的颜色值分别进行量化，得到{SP_h}中的每个区域的量化区域，将{SP_h}中的第h个区域的量化区域记为{P_h,i(x_h,y_h)}，将{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点的第i个分量的颜色值记为P_h,i(x_h,y_h)，假设{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点在{I_i(x,y)}中的坐标位置为(x,y)，则其中，1≤x_h≤W_h,1≤y_h≤H_h，W_h表示{SP_h}中的第h个区域的宽度，H_h表示{SP_h}中的第h个区域的高度，符号“”为向下取整符号；

②-2、计算{SP_h}中的每个区域的量化区域的颜色直方图，将{P_h,i(x_h,y_h)}的颜色直方图记为其中，表示{P_h,i(x_h,y_h)}中属于第k种颜色的所有像素点的个数；

②-3、对{SP_h}中的每个区域的量化区域的颜色直方图进行归一化操作，得到对应的归一化后的颜色直方图，将对进行归一化操作后得到的归一化后的颜色直方图记为$$ \left\{{H^{\′}}_{{\mathrm{SP}}_h}\left(k\right)\right|0\≤k\≤4095\},$$$$ {H^{\′}}_{{\mathrm{SP}}_h}\left(k\right)=\frac{H_{{\mathrm{SP}}_h}\left(k\right)}{\underset{h^{\′}=1}{\overset{M}{\mathrm{\Σ}}}{H}_{{\mathrm{SP}}_{h^{\′}}}\left(k\right)},$$其中，表示{P_h,i(x_h,y_h)}中属于第k种颜色的像素点的出现概率，表示{SP_h}中的第h'个区域的量化区域{P_h',i(x_h',y_h')}中属于第k种颜色的所有像素点的个数，1≤x_h'≤W_h',1≤y_h'≤H_h'，W_h'表示{SP_h}中的第h'个区域的宽度，H_h'表示{SP_h}中的第h'个区域的高度，P_h',i(x_h',y_h')表示{P_h',i(x_h',y_h')}中坐标位置为(x_h',y_h')的像素点的第i个分量的颜色值；

②-4、计算{SP_h}中的第p个区域与第q个区域之间的颜色相似性，记为Sim_c(SP_p,SP_q)，$$ {\mathrm{Sim}}_c({\mathrm{SP}}_p,{\mathrm{SP}}_q)=\underset{k=0}{\overset{4095}{\mathrm{\Σ}}}\min ({H^{\′}}_{{\mathrm{SP}}_p}\left(k\right),{H^{\′}}_{{\mathrm{SP}}_q}\left(k\right)),$$其中，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，表示{SP_h}中的第p个区域的量化区域{P_p,i(x_p,y_p)}中属于第k种颜色的像素点的出现概率，表示{SP_h}中的第q个区域的量化区域{P_q,i(x_q,y_q)}中属于第k种颜色的像素点的出现概率，P_p,i(x_p,y_p)表示{P_p,i(x_p,y_p)}中坐标位置为(x_p,y_p)的像素点的第i个分量的颜色值，P_q,i(x_q,y_q)表示{P_q,i(x_q,y_q)}中坐标位置为(x_q,y_q)的像素点的第i个分量的颜色值，1≤x_p≤W_p,1≤y_p≤H_p，W_p表示{SP_h}中的第p个区域的宽度，H_p表示{SP_h}中的第p个区域的高度，1≤x_q≤W_q,1≤y_q≤H_q，W_q表示{SP_h}中的第q个区域的宽度，H_q表示{SP_h}中的第q个区域的高度，min()为取最小值函数；

②-5、采用Gabor滤波器对{I_i(x,y)}进行滤波处理，得到{I_i(x,y)}中的每个像素点在不同中心频率和不同方向因子下的频率响应的振幅；然后获取{I_i(x,y)}中的每个像素点的纹理特征矢量，将{I_i(x,y)}中坐标位置为(x,y)的像素点的纹理特征矢量记为t(x,y)，t(x,y)＝[I_L(x,y),GX(x,y),GY(x,y),I_G(x,y)]；其中，t(x,y)的维数为4，符号“[]”为矢量表示符号，I_L(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的亮度值，GX(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的水平梯度值，GY(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值，I_G(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的振幅值，G(x,y；ω,θ)表示{I_i(x,y)}中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应的振幅，ω表示Gabor滤波器的中心频率，Φ_ω表示Gabor滤波器的中心频率的集合，θ表示Gabor滤波器的方向因子，Φ_θ表示Gabor滤波器的方向因子的集合；

②-6、根据{I_i(x,y)}中的每个像素点的纹理特征矢量，计算{SP_h}中的每个区域的协方差矩阵，将{SP_h}中的第h个区域的协方差矩阵记为$$ C_{{\mathrm{SP}}_h}=\frac{1}{N_{{\mathrm{SP}}_h}-1}\underset{(x,y)\∈Z_{{\mathrm{SP}}_h}}{\mathrm{\Σ}}(t(x,y)-{\mathrm{\μ}}_{{\mathrm{SP}}_h}){(t(x,y)-{\mathrm{\μ}}_{{\mathrm{SP}}_h})}^T,$$其中，表示{SP_h}中的第h个区域中包含的像素点的总个数，表示{SP_h}中的第h个区域中的所有像素点的坐标位置的集合，表示{SP_h}中的第h个区域中的所有像素点的纹理特征矢量的均值矢量，为的转置矢量；

②-7、计算{SP_h}中的第p个区域与第q个区域之间的纹理相似性，记为Sim_t(SP_p,SP_q)，其中，表示{SP_h}中的第p个区域的协方差矩阵，表示{SP_h}中的第q个区域的协方差矩阵，表示与之间的距离，$$ d(C_{{\mathrm{SP}}_p},C_{{\mathrm{SP}}_q})=\sqrt{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left(\ln \left({\mathrm{\λ}}_k(C_{{\mathrm{SP}}_p},C_{{\mathrm{SP}}_q})\right)\right)}^2},$$表示和的第k个广义特征值，n表示和的广义特征值的总个数，ln()表示以自然基数e为底的对数函数；

②-8、计算{SP_h}中的第p个区域与第q个区域之间的空间相似性，记为Sim_d(SP_p,SP_q)，其中，表示{SP_h}中的第p个区域中的中心像素点的坐标位置，表示{SP_h}中的第q个区域中的中心像素点的坐标位置，符号“|| ||”为求欧式距离符号，exp()表示以自然基数e为底的指数函数；

②-9、计算{SP_h}中的第p个区域与第q个区域之间的相似性，记为Sim(SP_p,SP_q)，Sim(SP_p,SP_q)＝Sim_c(SP_p,SP_q)×Sim_t(SP_p,SP_q)×Sim_d(SP_p,SP_q)。

所述的步骤③的具体过程为：

③-1、计算{SP_h}中的每个区域的颜色对比度，将{SP_h}中的第h个区域的颜色对比度记为$$ {\mathrm{CC}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{Sim}}_d({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×N_{{\mathrm{SP}}_h}\×\left|\right|m_{{\mathrm{SP}}_h}-m_{{\mathrm{SP}}_q}\left|\right|,$$其中，SP_h表示{SP_h}中的第h个区域，SP_q表示{SP_h}中的第q个区域，Sim_d(SP_h,SP_q)表示SP_h与SP_q之间的空间相似性，表示SP_h中包含的像素点的总个数，符号“|| ||”为求欧式距离符号，表示SP_h的颜色均值向量，表示SP_q的颜色均值向量；

③-2、对{SP_h}中的每个区域的颜色对比度进行归一化操作，得到对应的归一化后的颜色对比度，将对进行归一化操作后得到的归一化后的颜色对比度记为其中，CC_min表示{SP_h}中的M个区域中最小的颜色对比度，CC_max表示{SP_h}中的M个区域中最大的颜色对比度；

③-3、计算{SP_h}中的每个区域的基于颜色对比度的显著值，将{SP_h}中的第h个区域的基于颜色对比度的显著值记为$$ {\mathrm{SC}}_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}(\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×{\mathrm{NCC}}_{{\mathrm{SP}}_q})}{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)},$$其中，Sim(SP_h,SP_q)表示SP_h与SP_q之间的相似性，表示对SP_q的颜色对比度进行归一化操作后得到的归一化后的颜色对比度；

③-4、将{SP_h}中的每个区域的基于颜色对比度的显著值作为对应区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域颜色对比度的图像显著图，记为{SC(x,y)}，其中，SC(x,y)表示{SC(x,y)}中坐标位置为(x,y)的像素点的像素值。

所述的步骤④的具体过程为：

④-1、计算{SP_h}中的每个区域的纹理对比度，将{SP_h}中的第h个区域的纹理对比度记为$$ {\mathrm{TC}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{Sim}}_d({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×N_{{\mathrm{SP}}_h}\×d(C_{S{P}_h},C_{{\mathrm{SP}}_q}),$$其中，SP_h表示{SP_h}中的第h个区域，SP_q表示{SP_h}中的第q个区域，Sim_d(SP_h,SP_q)表示SP_h与SP_q之间的空间相似性，表示SP_h中包含的像素点的总个数，表示SP_h的协方差矩阵与SP_q的协方差矩阵之间的距离；

④-2、对{SP_h}中的每个区域的纹理对比度进行归一化操作，得到对应的归一化后的纹理对比度，将对进行归一化操作后得到的归一化后的纹理对比度记为其中，TC_min表示{SP_h}中的M个区域中最小的纹理对比度，TC_max表示{SP_h}中的M个区域中最大的纹理对比度；

④-3、计算{SP_h}中的每个区域的基于纹理对比度的显著值，将{SP_h}中的第h个区域的基于纹理对比度的显著值记为$$ {\mathrm{ST}}_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}(\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×{\mathrm{NTC}}_{{\mathrm{SP}}_q})}{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)},$$其中，Sim(SP_h,SP_q)表示SP_h与SP_q之间的相似性，表示对SP_q的纹理对比度进行归一化操作后得到的归一化后的纹理对比度；

④-4、将{SP_h}中的每个区域的基于纹理对比度的显著值作为对应区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域纹理对比度的图像显著图，记为{ST(x,y)}，其中，ST(x,y)表示{ST(x,y)}中坐标位置为(x,y)的像素点的像素值。

所述的步骤⑤的具体过程为：

⑤-1、计算{SP_h}中的每个区域的空间紧密度，将{SP_h}中的第h个区域的空间紧密度记为$$ {\mathrm{SD}}_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}(\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×D_{{\mathrm{SP}}_q})}{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)},$$其中，SP_h表示{SP_h}中的第h个区域，SP_q表示{SP_h}中的第q个区域，Sim(SP_h,SP_q)表示SP_h与SP_q之间的相似性，表示SP_q中的中心像素点与{I_i(x,y)}中的中心像素点之间的欧氏距离；

⑤-2、对{SP_h}中的每个区域的空间紧密度进行归一化操作，得到{SP_h}中的每个区域的归一化后的空间紧密度，将对进行归一化操作后得到的归一化后的空间紧密度记为然后将{SP_h}中的每个区域的归一化后的空间紧密度作为对应区域的基于空间紧密度的显著值；其中，SD_min表示{SP_h}中的M个区域中最小的空间紧密度，SD_max表示{SP_h}中的M个区域中最大的空间紧密度；

⑤-3、将{SP_h}中的每个区域的基于空间紧密度的显著值作为对应区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域空间紧密度的图像显著图，记为{SS(x,y)}，其中，SS(x,y)表示{SS(x,y)}中坐标位置为(x,y)的像素点的像素值。

与现有技术相比，本发明的优点在于：

1)本发明方法采用超像素分割技术对源图像进行分割，然后分别计算各个区域之间的颜色相似性、纹理相似性和空间相似性，再根据各个区域之间的颜色相似性、纹理相似性和空间相似性得到各个区域之间的相似性，接着利用各个区域之间的相似性获得源图像的基于区域颜色对比度的图像显著图、基于区域纹理对比度的图像显著图和基于区域空间紧密度的图像显著图，最终对三幅图像显著图进行融合，得到源图像的最终的图像显著图，这种方式能够提取符合显著语义的特征信息。

2)本发明方法通过分别计算得到基于区域颜色对比度的图像显著图、基于区域纹理对比度的图像显著图和基于区域空间紧密度的图像显著图，并最终融合得到图像显著图，所获得的图像显著图能够较好地反映图像的显著变化情况，且稳定性和准确性高。

附图说明

图1为本发明方法的总体实现框图；

图2a为“Image1”的原始图像；

图2b为“Image1”图像的真实眼动图；

图2c为采用本发明方法对图2a所示的原始图像进行处理得到的“Image1”图像的基于区域颜色对比度的图像显著图；

图2d为采用本发明方法对图2a所示的原始图像进行处理得到的“Image1”图像的基于区域纹理对比度的图像显著图；

图2e为采用本发明方法对图2a所示的原始图像进行处理得到的“Image1”图像的基于区域空间紧密度的图像显著图；

图2f为采用本发明方法对图2a所示的原始图像进行处理得到的“Image1”图像的最终的图像显著图；

图3a为“Image2”的原始图像；

图3b为“Image2”图像的真实眼动图；

图3c为采用本发明方法对图3a所示的原始图像进行处理得到的“Image2”图像的基于区域颜色对比度的图像显著图；

图3d为采用本发明方法对图3a所示的原始图像进行处理得到的“Image2”图像的基于区域纹理对比度的图像显著图；

图3e为采用本发明方法对图3a所示的原始图像进行处理得到的“Image2”图像的基于区域空间紧密度的图像显著图；

图3f为采用本发明方法对图3a所示的原始图像进行处理得到的“Image2”图像的最终的图像显著图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于区域的图像显著图提取方法，其总体实现框图如图1所示，其包括以下步骤：

①将待处理的源图像记为{I_i(x,y)}，其中，1≤x≤W，1≤y≤H，W表示{I_i(x,y)}的宽，H表示{I_i(x,y)}的高，I_i(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，i＝1,2,3，第1个分量为R分量、第2个分量为G分量和第3个分量为B分量。

②采用超像素(Superpixel)分割技术将{I_i(x,y)}分割成M个互不重叠的区域；然后将{I_i(x,y)}重新表示为M个区域的集合，记为{SP_h}；再考虑局部显著性，图像中相似的区域之间一般具有较低的显著性，因此本发明计算{SP_h}中的各个区域之间的相似性，将{SP_h}中的第p个区域与第q个区域之间的相似性记为Sim(SP_p,SP_q)，Sim(SP_p,SP_q)＝Sim_c(SP_p,SP_q)×Sim_t(SP_p,SP_q)×Sim_d(SP_p,SP_q)；其中，M≥1，在本实施例中可取M＝200，SP_h表示{SP_h}中的第h个区域，1≤h≤M，1≤p≤M，1≤q≤M，p≠q，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，Sim_c(SP_p,SP_q)表示SP_p与SP_q之间的颜色相似性，Sim_c(SP_p,SP_q)的值根据SP_p和SP_q中的每个像素点的各个分量的颜色值量化后得到的颜色直方图获得，Sim_t(SP_p,SP_q)表示SP_p与SP_q之间的纹理相似性，Sim_t(SP_p,SP_q)的值根据SP_p和SP_q中的每个像素点的纹理特征矢量获得，Sim_d(SP_p,SP_q)表示SP_p与SP_q之间的空间相似性，Sim_d(SP_p,SP_q)的值根据SP_p和SP_q中的中心像素点的坐标位置获得。

在此具体实施例中，步骤②中获取{SP_h}中的第p个区域与第q个区域之间的相似性Sim(SP_p,SP_q)的具体过程为：

②-1、对{SP_h}中的每个区域中的每个像素点的各个分量的颜色值分别进行量化，得到{SP_h}中的每个区域的量化区域，将{SP_h}中的第h个区域的量化区域记为{P_h,i(x_h,y_h)}，将{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点的第i个分量的颜色值记为P_h,i(x_h,y_h)，假设{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点在{I_i(x,y)}中的坐标位置为(x,y)，则其中，1≤x_h≤W_h,1≤y_h≤H_h，W_h表示{SP_h}中的第h个区域的宽度，H_h表示{SP_h}中的第h个区域的高度，符号“”为向下取整符号。

②-2、计算{SP_h}中的每个区域的量化区域的颜色直方图，将{P_h,i(x_h,y_h)}的颜色直方图记为其中，表示{P_h,i(x_h,y_h)}中属于第k种颜色的所有像素点的个数。

②-3、对{SP_h}中的每个区域的量化区域的颜色直方图进行归一化操作，得到对应的归一化后的颜色直方图，将对进行归一化操作后得到的归一化后的颜色直方图记为$$ \left\{{H^{\′}}_{{\mathrm{SP}}_h}\left(k\right)\right|0\≤k\≤4095\},$$$$ {H^{\′}}_{{\mathrm{SP}}_h}\left(k\right)=\frac{H_{{\mathrm{SP}}_h}\left(k\right)}{\underset{h^{\′}=1}{\overset{M}{\mathrm{\Σ}}}{H}_{{\mathrm{SP}}_{h^{\′}}}\left(k\right)},$$其中，表示{P_h,i(x_h,y_h)}中属于第k种颜色的像素点的出现概率，表示{SP_h}中的第h'个区域的量化区域{P_h',i(x_h',y_h')}中属于第k种颜色的所有像素点的个数，1≤x_h'≤W_h',1≤y_h'≤H_h'，W_h'表示{SP_h}中的第h'个区域的宽度，H_h'表示{SP_h}中的第h'个区域的高度，P_h',i(x_h',y_h')表示{P_h',i(x_h',y_h')}中坐标位置为(x_h',y_h')的像素点的第i个分量的颜色值。

②-4、计算{SP_h}中的第p个区域与第q个区域之间的颜色相似性，记为Sim_c(SP_p,SP_q)，$$ {\mathrm{Sim}}_c({\mathrm{SP}}_p,{\mathrm{SP}}_q)=\underset{k=0}{\overset{4095}{\mathrm{\Σ}}}\min ({H^{\′}}_{{\mathrm{SP}}_p}\left(k\right),{H^{\′}}_{{\mathrm{SP}}_q}\left(k\right)),$$其中，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，表示{SP_h}中的第p个区域的量化区域{P_p,i(x_p,y_p)}中属于第k种颜色的像素点的出现概率，表示{SP_h}中的第q个区域的量化区域{P_q,i(x_q,y_q)}中属于第k种颜色的像素点的出现概率，P_p,i(x_p,y_p)表示{P_p,i(x_p,y_p)}中坐标位置为(x_p,y_p)的像素点的第i个分量的颜色值，P_q,i(x_q,y_q)表示{P_q,i(x_q,y_q)}中坐标位置为(x_q,y_q)的像素点的第i个分量的颜色值，1≤x_p≤W_p,1≤y_p≤H_p，W_p表示{SP_h}中的第p个区域的宽度，H_p表示{SP_h}中的第p个区域的高度，1≤x_q≤W_q,1≤y_q≤H_q，W_q表示{SP_h}中的第q个区域的宽度，H_q表示{SP_h}中的第q个区域的高度，min()为取最小值函数。

②-5、采用Gabor滤波器对{I_i(x,y)}进行滤波处理，得到{I_i(x,y)}中的每个像素点在不同中心频率和不同方向因子下的频率响应的振幅；然后获取{I_i(x,y)}中的每个像素点的纹理特征矢量，将{I_i(x,y)}中坐标位置为(x,y)的像素点的纹理特征矢量记为t(x,y)，t(x,y)＝[I_L(x,y),GX(x,y),GY(x,y),I_G(x,y)]；再将由{I_i(x,y)}中的所有像素点的纹理特征矢量构成的集合作为{I_i(x,y)}的纹理特征矢量，记为{t(x,y)}；其中，t(x,y)的维数为4，符号“[]”为矢量表示符号，I_L(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的亮度值，GX(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的水平梯度值，GY(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值，I_G(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的振幅值，G(x,y；ω,θ)表示{I_i(x,y)}中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应的振幅，ω表示Gabor滤波器的中心频率，Φ_ω表示Gabor滤波器的中心频率的集合，在本实施例中Φ_ω＝{1.74,2.47,3.49,4.93,6.98}，θ表示Gabor滤波器的方向因子，Φ_θ表示Gabor滤波器的方向因子的集合，在本实施例中Φ_θ＝{0°,90°,180°,270°}。

②-6、根据{I_i(x,y)}中的每个像素点的纹理特征矢量，计算{SP_h}中的每个区域的协方差矩阵，将{SP_h}中的第h个区域的协方差矩阵记为$$ C_{{\mathrm{SP}}_h}=\frac{1}{N_{{\mathrm{SP}}_h}-1}\underset{(x,y)\∈Z_{{\mathrm{SP}}_h}}{\mathrm{\Σ}}(t(x,y)-{\mathrm{\μ}}_{{\mathrm{SP}}_h}){(t(x,y)-{\mathrm{\μ}}_{{\mathrm{SP}}_h})}^T,$$其中，表示{SP_h}中的第h个区域中包含的像素点的总个数，表示{SP_h}中的第h个区域中的所有像素点的坐标位置的集合，表示{SP_h}中的第h个区域中的所有像素点的纹理特征矢量的均值矢量，为的转置矢量。

②-7、计算{SP_h}中的第p个区域与第q个区域之间的纹理相似性，记为Sim_t(SP_p,SP_q)，其中，表示{SP_h}中的第p个区域的协方差矩阵，表示{SP_h}中的第q个区域的协方差矩阵，表示与之间的距离，$$ d(C_{{\mathrm{SP}}_p},C_{{\mathrm{SP}}_q})=\sqrt{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left(\ln \left({\mathrm{\λ}}_k(C_{{\mathrm{SP}}_p},C_{{\mathrm{SP}}_q})\right)\right)}^2},$$表示和的第k个广义特征值，n表示和的广义特征值的总个数，ln()表示以自然基数e为底的对数函数，e＝2.71828183…。

②-8、计算{SP_h}中的第p个区域与第q个区域之间的空间相似性，记为Sim_d(SP_p,SP_q)，其中，表示{SP_h}中的第p个区域中的中心像素点的坐标位置，表示{SP_h}中的第q个区域中的中心像素点的坐标位置，符号“|| ||”为求欧式距离符号，exp()表示以自然基数e为底的指数函数，e＝2.71828183…。

②-9、计算{SP_h}中的第p个区域与第q个区域之间的相似性，记为Sim(SP_p,SP_q)，Sim(SP_p,SP_q)＝Sim_c(SP_p,SP_q)×Sim_t(SP_p,SP_q)×Sim_d(SP_p,SP_q)。

③通过计算{SP_h}中的每个区域的颜色对比度，并结合{SP_h}中的各个区域之间的相似性，获取{SP_h}中的每个区域的基于颜色对比度的显著值，从而获得{I_i(x,y)}的基于区域颜色对比度的图像显著图，记为{SC(x,y)}，其中，SC(x,y)表示{SC(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤③的具体过程为：

③-1、计算{SP_h}中的每个区域的颜色对比度，将{SP_h}中的第h个区域的颜色对比度记为$$ {\mathrm{CC}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{Sim}}_d({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×N_{{\mathrm{SP}}_h}\×\left|\right|m_{{\mathrm{SP}}_h}-m_{{\mathrm{SP}}_q}\left|\right|,$$其中，SP_h表示{SP_h}中的第h个区域，SP_q表示{SP_h}中的第q个区域，Sim_d(SP_h,SP_q)表示SP_h与SP_q之间的空间相似性，表示SP_h中包含的像素点的总个数，符号“|| ||”为求欧式距离符号，表示SP_h的颜色均值向量，即将SP_h中的所有像素点的颜色向量求平均得到表示SP_q的颜色均值向量，即将SP_q中的所有像素点的颜色向量求平均得到

③-2、对{SP_h}中的每个区域的颜色对比度进行归一化操作，得到对应的归一化后的颜色对比度，将对进行归一化操作后得到的归一化后的颜色对比度记为其中，CC_min表示{SP_h}中的M个区域中最小的颜色对比度，CC_max表示{SP_h}中的M个区域中最大的颜色对比度。

③-3、计算{SP_h}中的每个区域的基于颜色对比度的显著值，将{SP_h}中的第h个区域的基于颜色对比度的显著值记为$$ {\mathrm{SC}}_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}(\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×{\mathrm{NCC}}_{{\mathrm{SP}}_q})}{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)},$$其中，Sim(SP_h,SP_q)表示SP_h与SP_q之间的相似性，表示对SP_q的颜色对比度进行归一化操作后得到的归一化后的颜色对比度。

③-4、将{SP_h}中的每个区域的基于颜色对比度的显著值作为对应区域中的所有像素点的显著值，即对于{SP_h}中的第h个区域，将{SP_h}中的第h个区域的基于颜色对比度的显著值作为该区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域颜色对比度的图像显著图，记为{SC(x,y)}，其中，SC(x,y)表示{SC(x,y)}中坐标位置为(x,y)的像素点的像素值。

④通过计算{SP_h}中的每个区域的纹理对比度，并结合{SP_h}中的各个区域之间的相似性，获取{SP_h}中的每个区域的基于纹理对比度的显著值，从而获得{I_i(x,y)}的基于区域纹理对比度的图像显著图，记为{ST(x,y)}，其中，ST(x,y)表示{ST(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤④的具体过程为：

④-1、计算{SP_h}中的每个区域的纹理对比度，将{SP_h}中的第h个区域的纹理对比度记为$$ {\mathrm{TC}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{Sim}}_d({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×N_{{\mathrm{SP}}_h}\×d(C_{S{P}_h},C_{{\mathrm{SP}}_q}),$$其中，SP_h表示{SP_h}中的第h个区域，SP_q表示{SP_h}中的第q个区域，Sim_d(SP_h,SP_q)表示SP_h与SP_q之间的空间相似性，表示SP_h中包含的像素点的总个数，表示SP_h的协方差矩阵与SP_q的协方差矩阵之间的距离。

④-2、对{SP_h}中的每个区域的纹理对比度进行归一化操作，得到对应的归一化后的纹理对比度，将对进行归一化操作后得到的归一化后的纹理对比度记为其中，TC_min表示{SP_h}中的M个区域中最小的纹理对比度，TC_max表示{SP_h}中的M个区域中最大的纹理对比度。

④-3、计算{SP_h}中的每个区域的基于纹理对比度的显著值，将{SP_h}中的第h个区域的基于纹理对比度的显著值记为$$ {\mathrm{ST}}_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}(\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×{\mathrm{NTC}}_{{\mathrm{SP}}_q})}{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)},$$其中，Sim(SP_h,SP_q)表示SP_h与SP_q之间的相似性，表示对SP_q的纹理对比度进行归一化操作后得到的归一化后的纹理对比度。

④-4、将{SP_h}中的每个区域的基于纹理对比度的显著值作为对应区域中的所有像素点的显著值，即对于{SP_h}中的第h个区域，将{SP_h}中的第h个区域的基于纹理对比度的显著值作为该区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域纹理对比度的图像显著图，记为{ST(x,y)}，其中，ST(x,y)表示{ST(x,y)}中坐标位置为(x,y)的像素点的像素值。

⑤通过计算{SP_h}中的每个区域的空间紧密度，并结合{SP_h}中的各个区域之间的相似性，获取{SP_h}中的每个区域的基于空间紧密度的显著值，从而获得{I_i(x,y)}的基于空间紧密度的图像显著图，记为{SS(x,y)}，其中，SS(x,y)表示{SS(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1、计算{SP_h}中的每个区域的空间紧密度，将{SP_h}中的第h个区域的空间紧密度记为其中，SP_h表示{SP_h}中的第h个区域，SP_q表示{SP_h}中的第q个区域，Sim(SP_h,SP_q)表示SP_h与SP_q之间的相似性，表示SP_q中的中心像素点与{I_i(x,y)}中的中心像素点之间的欧氏距离。

⑤-2、对{SP_h}中的每个区域的空间紧密度进行归一化操作，得到{SP_h}中的每个区域的归一化后的空间紧密度，将对进行归一化操作后得到的归一化后的空间紧密度记为然后将{SP_h}中的每个区域的归一化后的空间紧密度作为对应区域的基于空间紧密度的显著值，即对于{SP_h}中的第h个区域，将{SP_h}中的第h个区域的归一化后的空间紧密度作为该区域的基于空间紧密度的显著值；其中，SD_min表示{SP_h}中的M个区域中最小的空间紧密度，SD_max表示{SP_h}中的M个区域中最大的空间紧密度。

⑤-3、将{SP_h}中的每个区域的基于空间紧密度的显著值作为对应区域中的所有像素点的显著值，即对于{SP_h}中的第h个区域，将{SP_h}中的第h个区域的基于空间紧密度的显著值作为该区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域空间紧密度的图像显著图，记为{SS(x,y)}，其中，SS(x,y)表示{SS(x,y)}中坐标位置为(x,y)的像素点的像素值。

⑥对{SC(x,y)}、{ST(x,y)}及{SS(x,y)}进行融合，得到{I_i(x,y)}的最终的图像显著图，记为{Sal(x,y)}，将{Sal(x,y)}中坐标位置为(x,y)的像素点的像素值记为Sal(x,y)，Sal(x,y)＝SC(x,y)×ST(x,y)×SS(x,y)。

以下就利用本发明方法对法国南特大学提供的三维人眼跟踪数据库(3Deye-tracking database)中的Image1和Image2两组图像的图像显著图进行提取。图2a给出了“Image1”的原始图像，图2b给出了“Image1”图像的真实眼动图，图2c给出了采用本发明方法对图2a所示的原始图像进行处理得到的“Image1”图像的基于区域颜色对比度的图像显著图、图2d给出了采用本发明方法对图2a所示的原始图像进行处理得到的“Image1”图像的基于区域纹理对比度的图像显著图、图2e给出了采用本发明方法对图2a所示的原始图像进行处理得到的“Image1”图像的基于区域空间紧密度的图像显著图、图2f给出了采用本发明方法对图2a所示的原始图像进行处理得到的“Image1”图像的最终的图像显著图；图3a给出了“Image2”的原始图像，图3b给出了“Image2”图像的真实眼动图，图3c给出了采用本发明方法对图3a所示的原始图像进行处理得到的“Image2”图像的基于区域颜色对比度的图像显著图、图3d给出了采用本发明方法对图3a所示的原始图像进行处理得到的“Image2”图像的基于区域纹理对比度的图像显著图、图3e给出了采用本发明方法对图3a所示的原始图像进行处理得到的“Image2”图像的基于区域空间紧密度的图像显著图、图3f给出了采用本发明方法对图3a所示的原始图像进行处理得到的“Image2”图像的最终的图像显著图。从图2a至图3f中可以看出，采用本发明方法得到的图像显著图由于考虑了全局和局部区域的显著变化情况，因此能够很好地符合显著语义的特征。