一种基于特征融合的立体图像质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于特征融合的立体图像质量客观评价方法。

背景技术

随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。由于采集系统、存储压缩及传输设备的影响，立体图像会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时保证两个通道的图像质量，对其进行质量评价具有非常重要的意义。然而，目前对立体图像质量缺乏有效的客观评价方法进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。

目前的立体图像质量客观评价方法是直接将平面图像质量评价方法直接应用于评价立体图像质量，然而，对立体图像的左右视点图像进行融合产生立体感的过程并不是简单的左右视点图像叠加的过程，还难以用简单的数学方法来表示，因此，如何在立体图像质量评价过程中有效地对双目立体融合进行模拟，如何提取有效的特征信息对评价结果进行融合，使得客观评价结果更加感觉符合人类视觉系统，都是在对立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种能够有效提高客观评价结果与主观感知的相关性的基于特征融合的立体图像质量客观评价方法。

本发明解决上述技术问题所采用的技术方案为：一种基于特征融合的立体图像质量客观评价方法，其特征在于它的处理过程为：首先，根据原始的无失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，及原始的无失真的立体图像的左视点图像和右视点图像之间的失真图像，获得原始的无失真的立体图像的独眼图；根据待评价的失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，及原始的无失真的立体图像的左视点图像和右视点图像之间的失真图像，获得待评价的失真的立体图像的独眼图；其次，根据两个独眼图中的每个像素点的均值和标准差，获得待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值；再次，根据原始的无失真的立体图像的独眼图的振幅和相位，获得对应的显著图；根据待评价的失真的立体图像的独眼图的振幅和相位，获得对应的显著图；然后，根据两个显著图及两个独眼图之间的失真图，对待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值进行融合，得到待评价的失真的立体图像的图像质量客观评价预测值；最后，按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值。

本发明的一种基于特征融合的立体图像质量客观评价方法的具体步骤为：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，此处(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②根据{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}、{R_dis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，对应获取{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}、{R_dis(x,y)}中的每个像素点的振幅，然后根据{L_org(x,y)}和{R_org(x,y)}中的每个像素点的振幅及{L_org(x,y)}与{R_org(x,y)}之间的视差图像中的每个像素点的像素值，计算S_org的独眼图，记为{CM_org(x,y)}，并根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的振幅及{L_org(x,y)}与{R_org(x,y)}之间的视差图像中的每个像素点的像素值，计算S_dis的独眼图，记为{CM_dis(x,y)}，其中，CM_org(x,y)表示{CM_org(x,y)}中坐标位置为(x,y)的像素点的像素值，CM_dis(x,y)表示{CM_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

③根据{CM_org(x,y)}和{CM_dis(x,y)}中的每个像素点的均值和标准差，计算{CM_dis(x,y)}中的每个像素点的客观评价度量值，将{CM_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值记为Q_image(x,y)；

④根据{CM_org(x,y)}的振幅和相位，计算{CM_org(x,y)}的显著图，记为{SM_org(x,y)}，并根据{CM_dis(x,y)}的振幅和相位，计算{CM_dis(x,y)}的显著图，记为{SM_dis(x,y)}，其中，SM_org(x,y)表示{SM_org(x,y)}中坐标位置为(x,y)的像素点的像素值，SM_dis(x,y)表示{SM_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑤计算{CM_org(x,y)}与{CM_dis(x,y)}之间的失真图，记为{DM(x,y)}，将{DM(x,y)}中坐标位置为(x,y)的像素点的像素值记为DM(x,y)，DM(x,y)=(CM_org(x,y)-CM_dis(x,y))²；

⑥根据{SM_org(x,y)}和{SM_dis(x,y)}及{DM(x,y)}，对{CM_dis(x,y)}中的每个像素点的客观评价度量值进行融合，得到S_dis的图像质量客观评价预测值，记为Q，$$ Q={\left[\frac{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{Q}_{\mathrm{image}}(x,y)\×\mathrm{SM}(x,y)}{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{SM}(x,y)}\right]}^{\mathrm{\γ}}\×{\left[\frac{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{Q}_{\mathrm{image}}(x,y)\×\mathrm{DM}(x,y)}{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{DM}(x,y)}\right]}^{\mathrm{\β}},$$其中，Ω表示像素域范围，SM(x,y)=max(SM_org(x,y),SM_dis(x,y))，max()为取最大值函数，γ和β为权重系数；

⑦采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；

⑧按照步骤①至步骤⑥计算S_dis的图像质量客观评价预测值的操作，分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

所述的步骤②的具体过程为：

②-1、对{L_org(x,y)}进行滤波处理，得到{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为e_α,θ(x,y)，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为o_α,θ(x,y)，其中，α表示滤波所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波所采用的滤波器的方向因子，1≤θ≤4；

②-2、根据{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算{L_org(x,y)}中的每个像素点的振幅，将{L_org(x,y)}中坐标位置为(x,y)的像素点的振幅记为$$ {\mathrm{GE}}_{\mathrm{org}}^L(x,y),$$$$ {\mathrm{GE}}_{\mathrm{org}}^L(x,y)=\underset{\mathrm{\θ}=1}{\overset{4}{\mathrm{\Σ}}}\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}\sqrt{e_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2+o_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2};$$

②-3、按照步骤②-1至步骤②-2获取{L_org(x,y)}中的每个像素点的振幅的操作，以相同的方式获取{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的振幅，将{R_org(x,y)}中坐标位置为(x,y)的像素点的振幅记为将{L_dis(x,y)}中坐标位置为(x,y)的像素点的振幅记为将{R_dis(x,y)}中坐标位置为(x,y)的像素点的振幅记为

②-4、采用块匹配法计算{L_org(x,y)}与{R_org(x,y)}之间的视差图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值；

②-5、根据{L_org(x,y)}和{R_org(x,y)}中的每个像素点的振幅及中的每个像素点的像素值，计算S_org的独眼图，记为{CM_org(x,y)}，将{CM_org(x,y)}中坐标位置为(x,y)的像素点的像素值记为CM_org(x,y)，$$ {\mathrm{CM}}_{\mathrm{org}}(x,y)=\frac{{\mathrm{GE}}_{\mathrm{org}}^L(x,y)\×L_{\mathrm{org}}(x,y)+{\mathrm{GE}}_{\mathrm{org}}^R(x-d_{\mathrm{org}}^L(x,y),y)\×R_{\mathrm{org}}(x-d_{\mathrm{org}}^L(x,y),y)}{{\mathrm{GE}}_{\mathrm{org}}^L(x,y)+{\mathrm{GE}}_{\mathrm{org}}^R(x-d_{\mathrm{org}}^L(x,y),y)},$$其中，表示{R_org(x,y)}中坐标位置为的像素点的振幅，表示{R_org(x,y)}中坐标位置为的像素点的像素值；

②-6、根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的振幅及中的每个像素点的像素值，计算S_dis的独眼图，记为{CM_dis(x,y)}，将{CM_dis(x,y)}中坐标位置为(x,y)的像素点的像素值记为CM_dis(x,y)，$$ {\mathrm{CM}}_{\mathrm{dis}}(x,y)=\frac{{\mathrm{GE}}_{\mathrm{dis}}^L(x,y)\×L_{\mathrm{dis}}(x,y)+{\mathrm{GE}}_{\mathrm{dis}}^R(x-d_{\mathrm{org}}^L(x,y),y)\×R_{\mathrm{dis}}(x-d_{\mathrm{org}}^L(x,y),y)}{{\mathrm{GE}}_{\mathrm{dis}}^L(x,y)+{\mathrm{GE}}_{\mathrm{dis}}^R(x-d_{\mathrm{org}}^L(x,y),y)},$$其中，表示{R_dis(x,y)}中坐标位置为的像素点的振幅，表示{R_dis(x,y)}中坐标位置为的像素点的像素值。

所述的步骤②-1中对{L_org(x,y)}进行滤波处理采用的滤波器为log-Garbor滤波器。

所述的步骤③的具体过程为：

③-1、计算{CM_org(x,y)}和{CM_dis(x,y)}中的每个像素点的均值和标准差，将{CM_org(x,y)}中坐标位置为(x₁,y₁)的像素点的均值和标准差分别记为μ_org(x₁,y₁)和σ_org(x₁,y₁)，将{CM_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的均值和标准差分别记为μ_dis(x₁,y₁)和σ_dis(x₁,y₁)，$$ {\mathrm{\μ}}_{\mathrm{org}}(x_1,y_1)=\frac{\underset{(x_1,y_1)\∈N(x_1,y_1)}{\mathrm{\Σ}}{\mathrm{CM}}_{\mathrm{org}}(x_1,y_1)}{M},$$$$ {\mathrm{\σ}}_{\mathrm{org}}(x_1,y_1)=\sqrt{\frac{\underset{(x_1,y_1)\∈N(x_1,y_1)}{\mathrm{\Σ}}{({\mathrm{CM}}_{\mathrm{org}}(x_1,y_1)-{\mathrm{\μ}}_{\mathrm{org}}(x_1,y_1))}^2}{M}},$$$$ {\mathrm{\μ}}_{\mathrm{dis}}(x_1,y_1)=\frac{\underset{(x_1,y_1)\∈N(x_1,y_1)}{\mathrm{\Σ}}{\mathrm{CM}}_{\mathrm{dis}}(x_1,y_1)}{M},$$$$ {\mathrm{\σ}}_{\mathrm{dis}}(x_1,y_1)=\sqrt{\frac{\underset{(x_1,y_1)\∈N(x_1,y_1)}{\mathrm{\Σ}}{({\mathrm{CM}}_{\mathrm{dis}}(x_1,y_1)-{\mathrm{\μ}}_{\mathrm{dis}}(x_1,y_1))}^2}{M}},$$其中，1≤x₁≤W，1≤y₁≤H，N(x₁,y₁)表示以坐标位置为(x₁,y₁)的像素点为中心的8×8邻域窗口，M表示N(x₁,y₁)内的像素点的个数，CM_org(x₁,y₁)表示{CM_org(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，CM_dis(x₁,y₁)表示{CM_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值；

③-2、根据{CM_org(x,y)}和{CM_dis(x,y)}中的每个像素点的均值和标准差，计算{CM_dis(x,y)}中的每个像素点的客观评价度量值，将{CM_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的客观评价度量值记为Q_image(x₁,y₁)，$$ Q_{\mathrm{image}}(x_1,y_1)=\frac{4\×({\mathrm{\μ}}_{\mathrm{org}}(x_1,y_1)\×{\mathrm{\μ}}_{\mathrm{dis}}(x_1,y_1))\×({\mathrm{\σ}}_{\mathrm{org}}(x_1,y_1)\×{\mathrm{\σ}}_{\mathrm{dis}}(x_1,y_1))+C}{({\mathrm{\μ}}_{\mathrm{org}}{(x_1+y_1)}^2+{\mathrm{\μ}}_{\mathrm{dis}}{(x_1,y_1)}^2)\×({\mathrm{\σ}}_{\mathrm{org}}{(x_1,y_1)}^2+{\mathrm{\σ}}_{\mathrm{dis}}{(x_1,y_1)}^2)+C},$$其中，C为控制参数。

所述的步骤④的具体过程为：

④-1、对{CM_org(x,y)}进行离散傅立叶变换，得到{CM_org(x,y)}的振幅和相位，分别记为{M_org(u,v)}和{A_org(u,v)}，其中，u表示变换域的振幅或相位的宽度，v表示变换域的振幅或相位的高度，1≤u≤W，1≤v≤H，M_org(u,v)表示{M_org(u,v)}中坐标位置为(u,v)的像素点的振幅值，A_org(u,v)表示{A_org(u,v)}中坐标位置为(u,v)的像素点的相位值；

④-2、计算{M_org(u,v)}的高频分量的振幅，记为{R_org(u,v)}，将{R_org(u,v)}中坐标位置为(u,v)的像素点的高频分量的振幅值记为R_org(u,v)，R_org(u,v)=log(M_org(u,v))-h_m(u,v)*log(M_org(u,v))，其中，log()为以e为底的对数函数，e=2.718281828，“*”为卷积操作符号，h_m(u,v)表示m×m的均值滤波；

④-3、根据{R_org(u,v)}和{A_org(u,v)}进行离散傅立叶反变换，将获得的反变换图像作为{CM_org(x,y)}的显著图，记为{SM_org(x,y)}，其中，SM_org(x,y)表示{SM_org(x,y)}中坐标位置为(x,y)的像素点的像素值；

④-4、按照步骤④-1至步骤④-3获取{CM_org(x,y)}的显著图的操作，以相同的方式获取{CM_dis(x,y)}的显著图，记为{SM_dis(x,y)}，其中，SM_dis(x,y)表示{SM_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

与现有技术相比，本发明的优点在于：

1）本发明方法通过分别计算原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图，并直接对失真的立体图像的独眼图进行评价，这样能够有效地对双目立体融合过程进行模拟，避免了对左视点图像和右视点图像的客观评价度量值进行线性加权的过程。

2）本发明方法通过计算原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图的显著图及两个独眼图之间的失真图，并对待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值进行融合，可使得评价结果更加感觉符合人类视觉系统，从而有效地提高了客观评价结果与主观感知的相关性。

附图说明

图1为本发明方法的总体实现框图；

图2a为Akko（尺寸为640×480）立体图像的左视点图像；

图2b为Akko（尺寸为640×480）立体图像的右视点图像；

图3a为Altmoabit（尺寸为1024×768）立体图像的左视点图像；

图3b为Altmoabit（尺寸为1024×768）立体图像的右视点图像；

图4a为Balloons（尺寸为1024×768）立体图像的左视点图像；

图4b为Balloons（尺寸为1024×768）立体图像的右视点图像；

图5a为Doorflower（尺寸为1024×768）立体图像的左视点图像；

图5b为Doorflower（尺寸为1024×768）立体图像的右视点图像；

图6a为Kendo（尺寸为1024×768）立体图像的左视点图像；

图6b为Kendo（尺寸为1024×768）立体图像的右视点图像；

图7a为LeaveLaptop（尺寸为1024×768）立体图像的左视点图像；

图7b为LeaveLaptop（尺寸为1024×768）立体图像的右视点图像；

图8a为Lovebierd1（尺寸为1024×768）立体图像的左视点图像；

图8b为Lovebierd1（尺寸为1024×768）立体图像的右视点图像；

图9a为Newspaper（尺寸为1024×768）立体图像的左视点图像；

图9b为Newspaper（尺寸为1024×768）立体图像的右视点图像；

图10a为Puppy（尺寸为720×480）立体图像的左视点图像；

图10b为Puppy（尺寸为720×480）立体图像的右视点图像；

图11a为Soccer2（尺寸为720×480）立体图像的左视点图像；

图11b为Soccer2（尺寸为720×480）立体图像的右视点图像；

图12a为Horse（尺寸为720×480）立体图像的左视点图像；

图12b为Horse（尺寸为720×480）立体图像的右视点图像；

图13a为Xmas（尺寸为640×480）立体图像的左视点图像；

图13b为Xmas（尺寸为640×480）立体图像的右视点图像；

图14为失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于特征融合的立体图像质量客观评价方法，其总体实现框图如图1所示，其处理过程为：首先，根据原始的无失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，及原始的无失真的立体图像的左视点图像和右视点图像之间的失真图像，获得原始的无失真的立体图像的独眼图；根据待评价的失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，及原始的无失真的立体图像的左视点图像和右视点图像之间的失真图像，获得待评价的失真的立体图像的独眼图；其次，根据两个独眼图中的每个像素点的均值和标准差，获得待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值；再次，根据原始的无失真的立体图像的独眼图的振幅和相位，获得对应的显著图；根据待评价的失真的立体图像的独眼图的振幅和相位，获得对应的显著图；然后，根据两个显著图及两个独眼图之间的失真图，对待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值进行融合，得到待评价的失真的立体图像的图像质量客观评价预测值；最后，按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值。

本发明方法具体包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，此处(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②根据{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}、{R_dis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，对应获取{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}、{R_dis(x,y)}中的每个像素点的振幅，然后根据{L_org(x,y)}和{R_org(x,y)}中的每个像素点的振幅及{L_org(x,y)}与{R_org(x,y)}之间的视差图像中的每个像素点的像素值，计算S_org的独眼图（cyclopean map），记为{CM_org(x,y)}，并根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的振幅及{L_org(x,y)}与{R_org(x,y)}之间的视差图像中的每个像素点的像素值，计算S_dis的独眼图，记为{CM_dis(x,y)}，其中，CM_org(x,y)表示{CM_org(x,y)}中坐标位置为(x,y)的像素点的像素值，CM_dis(x,y)表示{CM_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

在本实施例中，步骤②的具体过程为：

②-1、对{L_org(x,y)}进行滤波处理，得到{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为e_α,θ(x,y)，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为o_α,θ(x,y)，其中，α表示滤波所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波所采用的滤波器的方向因子，1≤θ≤4。

在此，对{L_org(x,y)}进行滤波处理采用的滤波器为log-Garbor滤波器。

②-2、根据{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算{L_org(x,y)}中的每个像素点的振幅，将{L_org(x,y)}中坐标位置为(x,y)的像素点的振幅记为$$ {\mathrm{GE}}_{\mathrm{org}}^L(x,y),$$$$ {\mathrm{GE}}_{\mathrm{org}}^L(x,y)=\underset{\mathrm{\θ}=1}{\overset{4}{\mathrm{\Σ}}}\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}\sqrt{e_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2+o_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2}.$$

②-3、按照步骤②-1至步骤②-2获取{L_org(x,y)}中的每个像素点的振幅的操作，以相同的方式获取{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的振幅，将{R_org(x,y)}中坐标位置为(x,y)的像素点的振幅记为将{L_dis(x,y)}中坐标位置为(x,y)的像素点的振幅记为将{R_dis(x,y)}中坐标位置为(x,y)的像素点的振幅记为如获取{L_dis(x,y)}中的每个像素点的振幅的操作过程为：1）对{L_dis(x,y)}进行滤波处理，得到{L_dis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{L_dis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为e_α,θ'(x,y)，将{L_dis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为o_α,θ'(x,y)，其中，α表示滤波所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波所采用的滤波器的方向因子，1≤θ≤4；2）根据{L_dis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算{L_dis(x,y)}中的每个像素点的振幅，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的振幅记为$$ {\mathrm{GE}}_{\mathrm{dis}}^L(x,y)=\underset{\mathrm{\θ}=1}{\overset{4}{\mathrm{\Σ}}}\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}\sqrt{{e_{\mathrm{\α},\mathrm{\θ}}}^{\′}{(x,y)}^2+{o_{\mathrm{\α},\mathrm{\θ}}}^{\′}{(x,y)}^2}.$$

②-4、采用块匹配法计算{L_org(x,y)}与{R_org(x,y)}之间的视差图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值。

②-5、根据{L_org(x,y)}和{R_org(x,y)}中的每个像素点的振幅及中的每个像素点的像素值，计算S_org的独眼图，记为{CM_org(x,y)}，将{CM_org(x,y)}中坐标位置为(x,y)的像素点的像素值记为CM_org(x,y)，$$ {\mathrm{CM}}_{\mathrm{org}}(x,y)=\frac{{\mathrm{GE}}_{\mathrm{org}}^L(x,y)\×L_{\mathrm{org}}(x,y)+{\mathrm{GE}}_{\mathrm{org}}^R(x-d_{\mathrm{org}}^L(x,y),y)\×R_{\mathrm{org}}(x-d_{\mathrm{org}}^L(x,y),y)}{{\mathrm{GE}}_{\mathrm{org}}^L(x,y)+{\mathrm{GE}}_{\mathrm{org}}^R(x-d_{\mathrm{org}}^L(x,y),y)},$$其中，表示{R_org(x,y)}中坐标位置为的像素点的振幅，表示{R_org(x,y)}中坐标位置为的像素点的像素值。

②-6、根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的振幅及中的每个像素点的像素值，计算S_dis的独眼图，记为{CM_dis(x,y)}，将{CM_dis(x,y)}中坐标位置为(x,y)的像素点的像素值记为CM_dis(x,y)，$$ {\mathrm{CM}}_{\mathrm{dis}}(x,y)=\frac{{\mathrm{GE}}_{\mathrm{dis}}^L(x,y)\×L_{\mathrm{dis}}(x,y)+{\mathrm{GE}}_{\mathrm{dis}}^R(x-d_{\mathrm{org}}^L(x,y),y)\×R_{\mathrm{dis}}(x-d_{\mathrm{org}}^L(x,y),y)}{{\mathrm{GE}}_{\mathrm{dis}}^L(x,y)+{\mathrm{GE}}_{\mathrm{dis}}^R(x-d_{\mathrm{org}}^L(x,y),y)},$$其中，表示{R_dis(x,y)}中坐标位置为的像素点的振幅，表示{R_dis(x,y)}中坐标位置为的像素点的像素值。

③根据{CM_org(x,y)}和{CM_dis(x,y)}中的每个像素点的均值和标准差，计算{CM_dis(x,y)}中的每个像素点的客观评价度量值，将{CM_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值记为Q_imsge(x,y)，将{CM_dis(x,y)}中的所有像素点的客观评价度量值用集合表示为{Q_image(x,y)}。

在本实施例中，步骤③的具体过程为：

③-1、计算{CM_org(x,y)}和{CM_dis(x,y)}中的每个像素点的均值和标准差，将{CM_org(x,y)}中坐标位置为(x₁,y₁)的像素点的均值和标准差分别记为μ_org(x₁,y₁)和σ_org(x₁,y₁)，将{CM_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的均值和标准差分别记为μ_dis(x₁,y₁)和σ_dis(x₁,y₁)，$$ {\mathrm{\μ}}_{\mathrm{org}}(x_1,y_1)=\frac{\underset{(x_1,y_1)\∈N(x_1,y_1)}{\mathrm{\Σ}}{\mathrm{CM}}_{\mathrm{org}}(x_1,y_1)}{M},$$$$ {\mathrm{\σ}}_{\mathrm{org}}(x_1,y_1)=\sqrt{\frac{\underset{(x_1,y_1)\∈N(x_1,y_1)}{\mathrm{\Σ}}{({\mathrm{CM}}_{\mathrm{org}}(x_1,y_1)-{\mathrm{\μ}}_{\mathrm{org}}(x_1,y_1))}^2}{M}},$$$$ {\mathrm{\μ}}_{\mathrm{dis}}(x_1,y_1)=\frac{\underset{(x_1,y_1)\∈N(x_1,y_1)}{\mathrm{\Σ}}{\mathrm{CM}}_{\mathrm{dis}}(x_1,y_1)}{M},$$$$ {\mathrm{\σ}}_{\mathrm{dis}}(x_1,y_1)=\sqrt{\frac{\underset{(x_1,y_1)\∈N(x_1,y_1)}{\mathrm{\Σ}}{({\mathrm{CM}}_{\mathrm{dis}}(x_1,y_1)-{\mathrm{\μ}}_{\mathrm{dis}}(x_1,y_1))}^2}{M}},$$其中，1≤x₁≤W，1≤y₁≤H，N(x₁,y₁)表示以坐标位置为(x₁,y₁)的像素点为中心的8×8邻域窗口，M表示N(x₁,y₁)内的像素点的个数，CM_org(x₁,y₁)表示{CM_org(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，CM_dis(x₁,y₁)表示{CM_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值。

③-2、根据{CM_org(x,y)}和{CM_dis(x,y)}中的每个像素点的均值和标准差，计算{CM_dis(x,y)}中的每个像素点的客观评价度量值，将{CM_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的客观评价度量值记为Q_image(x₁,y₁)，$$ Q_{\mathrm{image}}(x_1,y_1)=\frac{4\×({\mathrm{\μ}}_{\mathrm{org}}(x_1,y_1)\×{\mathrm{\μ}}_{\mathrm{dis}}(x_1,y_1))\×({\mathrm{\σ}}_{\mathrm{org}}(x_1,y_1)\×{\mathrm{\σ}}_{\mathrm{dis}}(x_1,y_1))+C}{({\mathrm{\μ}}_{\mathrm{org}}{(x_1+y_1)}^2+{\mathrm{\μ}}_{\mathrm{dis}}{(x_1,y_1)}^2)\×({\mathrm{\σ}}_{\mathrm{org}}{(x_1,y_1)}^2+{\mathrm{\σ}}_{\mathrm{dis}}{(x_1,y_1)}^2)+C},$$其中，C为控制参数，在本实施例中，取C=0.01。

④根据{CM_org(x,y)}的光谱冗余特性，即根据{CM_org(x,y)}的振幅和相位，计算{CM_org(x,y)}的显著图（saliency map），记为{SM_org(x,y)}，并根据{CM_dis(x,y)}的光谱冗余特性，即根据{CM_dis(x,y)}的振幅和相位，计算{CM_dis(x,y)}的显著图，记为{SM_dis(x,y)}，其中，SM_org(x,y)表示{SM_org(x,y)}中坐标位置为(x,y)的像素点的像素值，SM_dis(x,y)表示{SM_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

在本实施例中，步骤④的具体过程为：

④-1、对{CM_org(x,y)}进行离散傅立叶变换，得到{CM_org(x,y)}的振幅和相位，分别记为{M_org(u,v)}和{A_org(u,v)}，其中，u表示变换域的振幅或相位的宽度，v表示变换域的振幅或相位的高度，1≤u≤W，1≤v≤H，M_org(u,v)表示{M_org(u,v)}中坐标位置为(u,v)的像素点的振幅值，A_org(u,v)表示{A_org(u,v)}中坐标位置为(u,v)的像素点的相位值。

④-2、计算{M_org(u,v)}的高频分量的振幅，记为{R_org(u,v)}，将{R_org(u,v)}中坐标位置为(u,v)的像素点的高频分量的振幅值记为R_org(u,v)，R_org(u,v)=log(M_org(u,v))-h_m(u,v)*log(M_org(u,v))，其中，log()为以e为底的对数函数，e=2.718281828，“*”为卷积操作符号，h_m(u,v)表示m×m的均值滤波，在本实施例中，取m=3。

④-3、根据{R_org(u,v)}和{A_org(u,v)}进行离散傅立叶反变换，将获得的反变换图像作为{CM_org(x,y)}的显著图，记为{SM_org(x,y)}，其中，SM_org(x,y)表示{SM_org(x,y)}中坐标位置为(x,y)的像素点的像素值。

④-4、按照步骤④-1至步骤④-3获取{CM_org(x,y)}的显著图的操作，以相同的方式获取{CM_dis(x,y)}的显著图，记为{SM_dis(x,y)}，其中，SM_dis(x,y)表示{SM_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

⑤计算{CM_org(x,y)}与{CM_dis(x,y)}之间的失真图（distortion map），记为{DM(x,y)}，将{DM(x,y)}中坐标位置为(x,y)的像素点的像素值记为DM(x,y)，DM(x,y)=(CM_org(x,y)-CM_dis(x,y))²。

⑥根据{SM_org(x,y)}和{SM_dis(x,y)}及{DM(x,y)}，对{CM_dis(x,y)}中的每个像素点的客观评价度量值进行融合，得到S_dis的图像质量客观评价预测值，记为Q，$$ Q={\left[\frac{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{Q}_{\mathrm{image}}(x,y)\×\mathrm{SM}(x,y)}{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{SM}(x,y)}\right]}^{\mathrm{\γ}}\×{\left[\frac{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{Q}_{\mathrm{image}}(x,y)\×\mathrm{DM}(x,y)}{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{DM}(x,y)}\right]}^{\mathrm{\β}},$$其中，Ω表示像素域范围，SM(x,y)=max(SM_org(x,y),SM_dis(x,y))，max()为取最大值函数，γ和β为权重系数，在本实施例中，取γ=1.601，β=0.501。

⑦采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1。

在本实施例中，利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图10a和图10b构成的立体图像、图11a和图11b构成的立体图像、图12a和图12b构成的立体图像、图13a和图13b构成的立体图像共12幅（n=12）无失真的立体图像建立了其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合共包括4种失真类型的252幅失真的立体图像，其中JPEG压缩的失真的立体图像共60幅，JPEG2000压缩的失真的立体图像共60幅，高斯模糊（Gaussian Blur）的失真的立体图像共60幅，H.264编码的失真的立体图像共72幅。

⑧按照步骤①至步骤⑥计算S_dis的图像质量客观评价预测值的操作，分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

采用图2a至图13b所示的12幅无失真的立体图像在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊和H.264编码失真情况下的252幅失真的立体图像来分析本实施例得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Pearson linear correlation coefficient，PLCC）、Spearman相关系数（Spearman rank order correlation coefficient，SROCC），Kendall相关系数（Kendall rank-order correlation coefficient，KROCC)，均方误差（root mean squared error，RMSE），PLCC和RMSE反映失真的立体图像评价客观模型的准确性，SROCC和KROCC反映其单调性。将按本发明方法计算得到的失真的立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合，PLCC、SROCC和KROCC值越高，RMSE值越低说明客观评价方法与平均主观评分差值相关性越好。将分别采用本发明方法与不采用本发明方法得到失真的立体图像的图像质量客观评价预测值与主观评分之间的Pearson相关系数、Spearman相关系数、Kendall相关系数和均方误差进行比较，比较结果如表1、表2、表3和表4所示，从表1、表2、表3和表4中可以看出，采用本发明方法得到的失真的立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

图14给出了失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图，散点越集中，说明客观评介结果与主观感知的一致性越好。从图14中可以看出，采用本发明方法得到的散点图比较集中，与主观评价数据之间的吻合度较高。

表1利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的Pearson相关系数比较

表2利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的Spearman相关系数比较

表3利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的Kendall相关系数比较

表4利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的均方误差比较