一种基于三维结构相似度的立体图像质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于三维结构相似度的立体图像质量客观评价方法。

背景技术

随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。由于采集系统、存储压缩及传输设备的影响，立体图像会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时保证两个通道的图像质量，对其进行质量评价具有非常重要的意义。然而，目前对立体图像质量缺乏有效的客观评价方法进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。

目前的立体图像质量客观评价方法是直接将平面图像质量评价方法直接应用于评价立体图像质量，或通过评价视差图的质量来评价立体图像深度感知，然而，对立体图像进行融合产生立体感的过程并不是简单的平面图像质量评价方法的扩展，并且人眼并不直接观看视差图，以视差图的质量来评价立体图像深度感知并不十分准确。因此，如何在立体图像质量评价过程中有效地对双目立体感知过程进行模拟，使得评价结果能够更加客观地反映人类视觉系统，都是在对立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种能够有效提高客观评价结果与主观感知的相关性的基于三维结构相似度的立体图像质量客观评价方法。

本发明解决上述技术问题所采用的技术方案为：一种基于三维结构相似度的立体图像质量客观评价方法，其特征在于它的处理过程为：首先，根据原始的无失真的立体图像的左视点图像中的每个像素点和右视点图像中对应坐标位置的像素点在多个视差值下的视差空间值，获得原始的无失真的立体图像的视差空间图；根据待评价的失真的立体图像的左视点图像中的每个像素点和右视点图像中对应坐标位置的像素点在多个视差值下的视差空间值，获得待评价的失真的立体图像的视差空间图；其次，通过计算两个视差空间图之间的三维结构相似度，获得待评价的失真的立体图像的图像质量客观评价预测值；最后，按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值。

本发明的一种基于三维结构相似度的立体图像质量客观评价方法，其具体包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②根据{L_org(x,y)}中的每个像素点和{R_org(x,y)}中对应坐标位置的像素点在多个视差值下的视差空间值，获得S_org的视差空间图，记为{DSL_org(x,y,d)}，并根据{L_dis(x,y)}中的每个像素点和{Rdis(x,y)}中对应坐标位置的像素点在多个视差值下的视差空间值，获得S_dis的视差空间图，记为{DSL_dis(x,y,d)}，其中，DSL_org(x,y,d)表示{DSL_org(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，DSL_dis(x,y,d)表示{DSL_dis(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，0≤d≤d_max，d_max表示最大视差值；

③通过计算{DSL_org(x,y,d)}与{DSL_dis(x,y,d)}之间的三维结构相似度，得到S_dis的图像质量客观评价预测值，记为Q；

④采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；

⑤按照步骤①至步骤③计算S_dis的图像质量客观评价预测值的操作，以相同的方式分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

所述的步骤②中S_org的视差空间图的获取过程为：

②-a1、将{L_org(x,y)}中当前正在处理的像素点定义为当前第一像素点，将{R_org(x,y)}中当前正在处理的像素点定义为当前第二像素点；

②-a2、假设当前第一像素点为{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点，假设当前第二像素点为{R_org(x,y)}中坐标位置为(x₁,y₁)的像素点，取视差值d₀=0，然后计算当前第一像素点和当前第二像素点在该视差值d₀下的视差空间值，记为DSI_org(x₁,y₁,d₀)，DSI_org(x₁,y₁,d₀)=|L_org(x₁,y₁)-R_org(x₁-d₀,y₁)|，其中，1≤x₁≤W，1≤y₁≤H，0≤d₀≤d_max，d_max表示最大视差值，L_org(x₁,y₁)表示{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，R_org(x₁-d₀,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₀,y₁)的像素点的像素值，“||”为取绝对值符号；

②-a3、选取d_max个与d₀各不相同的视差值，分别记为d₁,d₂,…,d_i,…,然后分别计算当前第一像素点和当前第二像素点在该d_max个各不相同的视差值下的视差空间值，对应的分别记为

$$ {\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_1),{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_2),...,{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_i),...,{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_{d_{\max }}),$$

DSI_org(x₁,y₁,d₁)=|L_org(x₁,y₁)-R_org(x₁-d₁,y₁)|，

DSI_org(x₁，y₁，d₂)=|L_org(x₁,y₁)-R_org(x₁-d₂,y₁)|，

DSI_org(x₁,y₁，d_i)=|L_org(x₁，y₁)-R_org(x₁-d_i,y₁)|，

$$ {\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_{d_{\max }})=|L_{\mathrm{org}}(x_1,y_1)-R_{\mathrm{org}}(x_1-d_{d_{\max }},y_1)|,$$其中，1≤i≤d_max，d_i=d₀+i，DSI_org(x₁,y₁,d₁)表示当前第一像素点和当前第二像素点在视差值d₁下的视差空间值，DSI_org(x₁,y₁,d₂)表示当前第一像素点和当前第二像素点在视差值d₂下的视差空间值，DSI_org(x₁,y₁,d_i)表示当前第一像素点和当前第二像素点在视差值d_i下的视差空间值，表示当前第一像素点和当前第二像素点在视差值下的视差空间值，R_org(x₁-d₁,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₁,y₁)的像素点的像素值，R_org(x₁-d₂,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₂,y₁)的像素点的像素值，R_org(x₁-d_i,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d_i,y₁)的像素点的像素值，表示{R_org(x,y)}中坐标位置为的像素点的像素值；

②-a4、将{L_org(x,y)}中下一个待处理的像素点作为当前第一像素点，将{R_org(x,y)}中下一个待处理的像素点作为当前第二像素点，然后返回步骤②-a2继续执行，直至{L_org(x,y)}和{R_org(x,y)}中的所有像素点处理完毕，获得S_org的视差空间图，记为{DSL_org(x,y,d)}，其中，DSL_org(x,y,d)表示{DSL_org(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，$$ d_0\≤d{\≤d}_{d_{\max }};$$

所述的步骤②中S_dis的视差空间图的获取过程为：

②-b1、将{L_dis(x,y)}中当前正在处理的像素点定义为当前第一像素点，将{R_dis(x,y)}中当前正在处理的像素点定义为当前第二像素点；

②-b2、假设当前第一像素点为{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点，假设当前第二像素点为{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点，取视差值d₀=0，然后计算当前第一像素点和当前第二像素点在该视差值d₀下的视差空间值，记为DSI_dis(x₁,y₁,d₀)，DSI_dis(x₁,y₁,d₀)=|L_dis(x₁,y₁)-R_dis(x₁-d₀,y₁)|，其中，1≤x₁≤W，1≤y₁≤H，0≤d₀≤d_max，d_max表示最大视差值，L_dis(x₁,y₁)表示{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，R_dis(x₁-d₀,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₀,y₁)的像素点的像素值，“||”为取绝对值符号；

②-b3、选取d_max个与d₀各不相同的视差值，分别记为d₁,d₂,…,d_i,…,然后分别计算当前第一像素点和当前第二像素点在该d_max个各不相同的视差值下的视差空间值，对应的分别记为

$$ {\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_1),{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_2),...,{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_i),...,{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_{d_{\max }}),$$

DSI_dis(x₁,y₁,d₁)=|L_dis(x₁,y₁)-R_dis(x₁-d₁,y₁)|，

DSI_dis(x₁,y₁,d₂)=|L_dis(x₁,y₁)-R_dis(x₁-d₂,y₁)|，

DSI_dis(x₁,y₁,d_i)=|L_dis(x₁,y₁)-R_dis(x₁-d_i,y₁)|，

$$ {\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_{d_{\max }})=|L_{\mathrm{dis}}(x_1,y_1)-R_{\mathrm{dis}}(x_1-d_{d_{\max }},y_1)|,$$其中，1≤i≤d_max，d_i=d₀+i，DSI_dis(x₁,y₁,d₁)表示当前第一像素点和当前第二像素点在视差值d₁下的视差空间值，DSI_dis(x₁,y₁,d₂)表示当前第一像素点和当前第二像素点在视差值d₂下的视差空间值，DSI_dis(x₁,y₁,d_i)表示当前第一像素点和当前第二像素点在视差值d_i下的视差空间值，表示当前第一像素点和当前第二像素点在视差值下的视差空间值，R_dis(x₁-d₁,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₁,y₁)的像素点的像素值，R_dis(x₁-d₂,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₂,y₁)的像素点的像素值，R_dis(x₁-d_i,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d_i,y₁)的像素点的像素值，表示{R_dis(x,y)}中坐标位置为的像素点的像素值；

②-b4、将{L_dis(x,y)}中下一个待处理的像素点作为当前第一像素点，将{R_dis(x,y)}中下一个待处理的像素点作为当前第二像素点，然后返回步骤②-b2继续执行，直至{L_dis(x,y)}和{R_dis(x,y)}中的所有像素点处理完毕，获得S_dis的视差空间图，记为{DSL_dis(x,y,d)}，其中，DSL_dis(x,y,d)表示{DSL_dis(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，$$ d_0\≤d{\≤d}_{d_{\max }}.$$

所述的步骤③的具体过程为：

③-1、将{DSL_org(x,y,d)}和{DSL_dis(x,y,d)}分别划分成个互不重叠的尺寸大小为α×β×γ的单元，其中，d_max表示最大视差值，α、β和γ分别表示每个单元的长度、宽度和高度；

③-2、将{DSL_org(x,y,d)}中当前正在处理的第l个单元定义为当前第一单元，记为将{DSL_dis(x,y,d)}中当前正在处理的第l个单元定义为当前第二单元，记为其中，(u₁,v₁,w₁)表示当前第一单元和当前第二单元中的像素点的坐标位置，1≤u₁≤α,1≤v₁≤β，1≤w₁≤γ，表示当前第一单元中坐标位置为(u₁,v₁,w₁)的像素点的像素值，表示当前第二单元中坐标位置为(u₁,v₁,w₁)的像素点的像素值；

③-3、计算当前第一单元的均值和标准差，分别记为和$$ u_l^{\mathrm{org}}=\frac{\underset{u_1=1}{\overset{\mathrm{\α}}{\mathrm{\Σ}}}\underset{v_1=1}{\overset{\mathrm{\β}}{\mathrm{\Σ}}}\underset{w_1=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{f}_1^{\mathrm{org}}(u_1,v_1,w_1)}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}},$$$$ {\mathrm{\σ}}_l^{\mathrm{org}}=\sqrt{\frac{\underset{u_1=1}{\overset{\mathrm{\α}}{\mathrm{\Σ}}}\underset{v_1=1}{\overset{\mathrm{\β}}{\mathrm{\Σ}}}\underset{w_1=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{(f_l^{\mathrm{org}}(u_1,v_1,w_1)-u_l^{\mathrm{org}})}^2}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}};$$计算当前第二单元的均值和标准差，分别记为和$$ u_l^{\mathrm{dis}}=\frac{\underset{u_1=1}{\overset{\mathrm{\α}}{\mathrm{\Σ}}}\underset{v_1=1}{\overset{\mathrm{\β}}{\mathrm{\Σ}}}\underset{w_1=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{f}_1^{\mathrm{dis}}(u_1,v_1,w_1)}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}},$$$$ {\mathrm{\σ}}_l^{\mathrm{dis}}=\sqrt{\frac{\underset{u_1=1}{\overset{\mathrm{\α}}{\mathrm{\Σ}}}\underset{v_1=1}{\overset{\mathrm{\β}}{\mathrm{\Σ}}}\underset{w_1=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{(f_l^{\mathrm{dis}}(u_1,v_1,w_1)-u_l^{\mathrm{dis}})}^2}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}};$$

③-4、根据和和计算当前第一单元与当前第二单元之间的三维结构相似度，记为Q_l，$$ Q_l=\frac{(2\×u_l^{\mathrm{org}}\×u_l^{\mathrm{dis}}+C_1)\×(2\×{\mathrm{\σ}}_l^{\mathrm{org}}\×{\mathrm{\σ}}_l^{\mathrm{dis}}+C_2)}{({\left(u_l^{\mathrm{org}}\right)}^2+{\left(u_l^{\mathrm{dis}}\right)}^2+C_1)\×({\left({\mathrm{\σ}}_l^{\mathrm{org}}\right)}^2+{\left({\mathrm{\σ}}_l^{\mathrm{dis}}\right)}^2+C_2)},$$其中，C₁和C₂均为控制参数；

③-5、令l″=l+1，l=l″，将{DSL_org(x,y,d)}中下一个待处理的单元作为当前第一单元，将{DSL_dis(x,y,d)}中下一个待处理的单元作为当前第二单元，然后返回步骤③-3继续执行，直至{DSL_org(x,y,d)}和{DSL_dis(x,y,d)}中的所有单元均处理完毕，得到{DSL_org(x,y,d)}中的每个单元与{DSL_dis(x,y,d)}中对应的单元之间的三维结构相似度，将{DSL_org(x,y,d)}中的所有单元与{DSL_dis(x,y,d)}中对应的单元之间的三维结构相似度的集合记为其中，l″的初始值为0，l″=l+1和l=l″中的“=”为赋值符号；

③-6、将中的所有三维结构相似度按照从小到大的顺序进行排序，将排序后的集合记为$$ \left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\},$$然后取$$ \left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\}$$中的前ρ%个三维结构相似度来计算S_dis的图像质量客观评价预测值，记为Q，$$ Q=\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{\tilde{Q}}_l/M,$$其中，表示$$ \left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\}$$中的第l个三维结构相似度，$$ M=\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\×\mathrm{\ρ}\%.$$

所述的步骤③-1中取α=5，β=5，γ=5。

所述的步骤③-4中取C₁=6.5025，C₂=58.5225。

所述的步骤③-6中ρ的取值由失真的立体图像的失真类型决定，在计算JPEG压缩失真的立体图像的图像质量客观评价预测值的过程中，取ρ=1.6；在计算JPEG2000压缩失真的立体图像的图像质量客观评价预测值的过程中，取ρ=2；在计算高斯模糊失真的立体图像的图像质量客观评价预测值的过程中，取ρ=1.6；在计算白噪声失真的立体图像的图像质量客观评价预测值的过程中，取ρ=30；在计算H.264编码失真的立体图像的图像质量客观评价预测值的过程中，取ρ=1.6。

与现有技术相比，本发明的优点在于：

1）本发明方法考虑到视差对立体感知的影响，分别构造原始的无失真的立体图像和待评价的失真的立体图像的视差空间图，这样避免了复杂的视差估计操作，并且所构造的视差空间图能够很好地反映不同视差对立体图像质量的影响，并且只对三维结构相似度较低的单元进行评价，从而有效地提高了客观评价结果与主观感知的相关性。

2）本发明方法通过计算原始的无失真的立体图像的视差空间图与待评价的失真的立体图像的视差空间图之间的三维结构相似度，这样能够较好地反映立体图像的质量变化情况，并且避免了对左右视点图像的客观评价度量值进行线性加权的过程。

附图说明

图1为本发明方法的总体实现框图；

图2a为Akko（尺寸为640×480）立体图像的左视点图像；

图2b为Akko（尺寸为640×480）立体图像的右视点图像；

图3a为Altmoabit（尺寸为1024×768）立体图像的左视点图像；

图3b为Altmoabit（尺寸为1024×768）立体图像的右视点图像；

图4a为Balloons（尺寸为1024×768）立体图像的左视点图像；

图4b为Balloons（尺寸为1024×768）立体图像的右视点图像；

图5a为Doorflower（尺寸为1024×768）立体图像的左视点图像；

图5b为Doorflower（尺寸为1024×768）立体图像的右视点图像；

图6a为Kendo（尺寸为1024×768）立体图像的左视点图像；

图6b为Kendo（尺寸为1024×768）立体图像的右视点图像；

图7a为LeaveLaptop（尺寸为1024×768）立体图像的左视点图像；

图7b为LeaveLaptop（尺寸为1024×768）立体图像的右视点图像；

图8a为Lovebierd1（尺寸为1024×768）立体图像的左视点图像；

图8b为Lovebierd1（尺寸为1024×768）立体图像的右视点图像；

图9a为Newspaper（尺寸为1024×768）立体图像的左视点图像；

图9b为Newspaper（尺寸为1024×768）立体图像的右视点图像；

图10a为Puppy（尺寸为720×480）立体图像的左视点图像；

图10b为Puppy（尺寸为720×480）立体图像的右视点图像；

图11a为Soccer2（尺寸为720×480）立体图像的左视点图像；

图11b为Soccer2（尺寸为720×480）立体图像的右视点图像；

图12a为Horse（尺寸为720×480）立体图像的左视点图像；

图12b为Horse（尺寸为720×480）立体图像的右视点图像；

图13a为Xmas（尺寸为640×480）立体图像的左视点图像；

图13b为Xmas（尺寸为640×480）立体图像的右视点图像；

图14为JPEG压缩失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图15为JPEG2000压缩失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图16为高斯模糊失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图17为白噪声失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图18为H.264编码失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图19为失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于三维结构相似度的立体图像质量客观评价方法，其总体实现框图如图1所示，其处理过程为：首先，根据原始的无失真的立体图像的左视点图像中的每个像素点和右视点图像中对应坐标位置的像素点在多个视差值下的视差空间值，获得原始的无失真的立体图像的视差空间图；根据待评价的失真的立体图像的左视点图像中的每个像素点和右视点图像中对应坐标位置的像素点在多个视差值下的视差空间值，获得待评价的失真的立体图像的视差空间图；其次，通过计算两个视差空间图之间的三维结构相似度，获得待评价的失真的立体图像的图像质量客观评价预测值；最后，按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值。

本发明方法具体包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②根据{L_org(x,y)}中的每个像素点和{R_org(x,y)}中对应坐标位置的像素点在多个视差值下的视差空间值，获得S_org的视差空间图，记为{DSL_org(x,y,d)}，并根据{L_dis(x,y)}中的每个像素点和{R_dis(x,y)}中对应坐标位置的像素点在多个视差值下的视差空间值，获得S_dis的视差空间图，记为{DSL_dis(x,y,d)}，其中，DSL_org(x,y,d)表示{DSL_org(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，DSL_dis(x,y,d)表示{DSL_dis(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，0≤d≤d_max，d_max表示最大视差值，在本实施例中，取d_max=31。

在此具体实施例中，S_org的视差空间图的获取过程为：

②-a1、将{L_org(x,y)}中当前正在处理的像素点定义为当前第一像素点，将{R_org(x,y)}中当前正在处理的像素点定义为当前第二像素点。

②-a2、假设当前第一像素点为{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点，假设当前第二像素点为{R_org(x,y)}中坐标位置为(x₁,y₁)的像素点，取视差值d₀=0，然后计算当前第一像素点和当前第二像素点在该视差值d₀下的视差空间值，记为DSI_org(x₁,y₁,d₀)，DSI_org(x₁,y₁,d₀)=|L_org(x₁,y₁)-R_org(x₁-d₀,y₁)|，其中，1≤x₁≤W，1≤y₁≤H，0≤d₀≤d_max，d_max表示最大视差值，L_org(x₁,y₁)表示{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，R_org(x₁-d₀,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₀,y₁)的像素点的像素值，“||”为取绝对值符号。

②-a3、选取d_max个与d₀各不相同的视差值，分别记为d₁,d₂,…,d_i,…,然后分别计算当前第一像素点和当前第二像素点在该d_max个各不相同的视差值下的视差空间值，对应的分别记为

$$ {\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_1),{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_2),...,{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_i),...,{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_{d_{\max }}),$$

DSI_org(x₁,y₁,d₁)=|L_org(x₁,y₁)-R_org(x₁-d₁,y₁)|，

DSI_org(x₁,y₁,d₂)=|L_org(x₁,y₁)-R_org(x₁-d₂,y₁)|，

DSI_org(x₁,y₁,d_i)=|L_org(x₁,y₁)-R_org(x₁-d_i,y₁)|，

$$ {\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_{d_{\max }})=|L_{\mathrm{org}}(x_1,y_1)-R_{\mathrm{org}}(x_1-d_{d_{\max }},y_1)|,$$其中，1≤i≤d_max，d_i=d₀+i，DSI_org(x₁,y₁,d₁)表示当前第一像素点和当前第二像素点在视差值d₁下的视差空间值，DSI_org(x₁,y₁,d₂)表示当前第一像素点和当前第二像素点在视差值d₂下的视差空间值，DSI_org(x₁,y₁,d_i)表示当前第一像素点和当前第二像素点在视差值d_i下的视差空间值，表示当前第一像素点和当前第二像素点在视差值下的视差空间值，R_org(x₁-d₁,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₁,y₁)的像素点的像素值，R_org(x₁-d₂,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₂,y₁)的像素点的像素值，R_org(x₁-d_i,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d_i,y₁)的像素点的像素值，表示{R_org(x,y)}中坐标位置为的像素点的像素值。

②-a4、将{L_org(x,y)}中下一个待处理的像素点作为当前第一像素点，将{R_org(x,y)}中下一个待处理的像素点作为当前第二像素点，然后返回步骤②-a2继续执行，直至{L_org(x,y)}和{R_org(x,y)}中的所有像素点处理完毕，获得S_org的视差空间图，记为{DSL_org(x,y,d)}，其中，DSL_org(x,y,d)表示{DSL_org(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，$$ d_0\≤d{\≤d}_{d_{\max }}.$$

在此具体实施例中，S_dis的视差空间图的获取过程为：

②-b1、将{L_dis(x,y)}中当前正在处理的像素点定义为当前第一像素点，将{R_dis(x,y)}中当前正在处理的像素点定义为当前第二像素点。

②-b2、假设当前第一像素点为{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点，假设当前第二像素点为{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点，取视差值d₀=0，然后计算当前第一像素点和当前第二像素点在该视差值d₀下的视差空间值，记为DSI_dis(x₁,y₁,d₀)，DSI_dis(x₁,y₁,d₀)=|L_dis(x₁,y₁)-R_dis(x₁-d₀,y₁)|，其中，1≤x₁≤W，1≤y₁≤H，0≤d₀≤d_max，d_max表示最大视差值，L_dis(x₁,y₁)表示{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，R_dis(x₁-d₀,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₀,y₁)的像素点的像素值，“||”为取绝对值符号。

②-b3、选取d_max个与d₀各不相同的视差值，分别记为d₁,d₂,…,d_i,…,然后分别计算当前第一像素点和当前第二像素点在该d_max个各不相同的视差值下的视差空间值，对应的分别记为

$$ {\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_1),{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_2),...,{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_i),...,{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_{d_{\max }}),$$

DSI_dis(x₁,y₁,d₁)=|L_dis(x₁,y₁)-R_dis(x₁-d₁,y₁)|，

DSI_dis(x₁,y₁,d₂)=|L_dis(x₁,y₁)-R_dis(x₁-d₂,y₁)|，

DSI_dis(x₁,y₁,d_i)=|L_dis(x₁,y₁)-R_dis(x₁-d_i,y₁)|，

$$ {\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_{d_{\max }})=|L_{\mathrm{dis}}(x_1,y_1)-R_{\mathrm{dis}}(x_1-d_{d_{\max }},y_1)|,$$其中，1≤i≤d_max，d_i=d₀+i，DSI_dis(x₁,y₁,d₁)表示当前第一像素点和当前第二像素点在视差值d₁下的视差空间值，DSI_dis(x₁,y₁,d₂)表示当前第一像素点和当前第二像素点在视差值d₂下的视差空间值，DSI_dis(x1,y₁,d_i)表示当前第一像素点和当前第二像素点在视差值d_i下的视差空间值，表示当前第一像素点和当前第二像素点在视差值下的视差空间值，R_dis(x₁-d₁,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₁,y₁)的像素点的像素值，R_dis(x₁-d₂,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₂,y₁)的像素点的像素值，R_dis(x₁-d_i,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d_i,y₁)的像素点的像素值，表示{R_dis(x,y)}中坐标位置为的像素点的像素值。

②-b4、将{L_dis(x,y)}中下一个待处理的像素点作为当前第一像素点，将{R_dis(x,y)}中下一个待处理的像素点作为当前第二像素点，然后返回步骤②-b2继续执行，直至{L_dis(x,y)}和{R_dis(x,y)}中的所有像素点处理完毕，获得S_dis的视差空间图，记为{DSL_dis(x,y,d)}，其中，DSL_dis(x,y,d)表示{DSL_dis(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，$$ d_0\≤d{\≤d}_{d_{\max }}.$$

③通过计算{DSL_org(x,y,d)}与{DSL_dis(x,y,d)}之间的三维结构相似度，得到S_dis的图像质量客观评价预测值，记为Q。

在此具体实施例中，步骤③的具体过程为：

③-1、将{DSL_org(x,y,d)}和{DSL_dis(x,y,d)}分别划分成个互不重叠的尺寸大小为α×β×γ的单元，其中，d_max表示最大视差值，α、β和γ分别表示每个单元的长度、宽度和高度，在本实施例中，取α=5，β=5，γ=5。

③-2、将{DSL_org(x,y,d)}中当前正在处理的第l个单元定义为当前第一单元，记为将{DSL_dis(x,y,d)}中当前正在处理的第l个单元定义为当前第二单元，记为其中，(u₁,v₁,w₁)表示当前第一单元和当前第二单元中的像素点的坐标位置，1≤u₁≤α,1≤v₁≤β，1≤w₁≤γ，表示当前第一单元中坐标位置为(u₁,v₁,w₁)的像素点的像素值，表示当前第二单元中坐标位置为(u₁,v₁,w₁)的像素点的像素值。

③-3、计算当前第一单元的均值和标准差，分别记为和$$ u_l^{\mathrm{org}}=\frac{\underset{u_1=1}{\overset{\mathrm{\α}}{\mathrm{\Σ}}}\underset{v_1=1}{\overset{\mathrm{\β}}{\mathrm{\Σ}}}\underset{w_1=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{f}_1^{\mathrm{org}}(u_1,v_1,w_1)}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}},$$$$ {\mathrm{\σ}}_l^{\mathrm{org}}=\sqrt{\frac{\underset{u_1=1}{\overset{\mathrm{\α}}{\mathrm{\Σ}}}\underset{v_1=1}{\overset{\mathrm{\β}}{\mathrm{\Σ}}}\underset{w_1=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{(f_l^{\mathrm{org}}(u_1,v_1,w_1)-u_l^{\mathrm{org}})}^2}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}};$$计算当前第二单元的均值和标准差，分别记为和$$ u_l^{\mathrm{dis}}=\frac{\underset{u_1=1}{\overset{\mathrm{\α}}{\mathrm{\Σ}}}\underset{v_1=1}{\overset{\mathrm{\β}}{\mathrm{\Σ}}}\underset{w_1=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{f}_1^{\mathrm{dis}}(u_1,v_1,w_1)}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}},$$$$ {\mathrm{\σ}}_l^{\mathrm{dis}}=\sqrt{\frac{\underset{u_1=1}{\overset{\mathrm{\α}}{\mathrm{\Σ}}}\underset{v_1=1}{\overset{\mathrm{\β}}{\mathrm{\Σ}}}\underset{w_1=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{(f_l^{\mathrm{dis}}(u_1,v_1,w_1)-u_l^{\mathrm{dis}})}^2}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}}.$$

③-4、根据和和计算当前第一单元与当前第二单元之间的三维结构相似度，记为Q_l，$$ Q_l=\frac{(2\×u_l^{\mathrm{org}}\×u_l^{\mathrm{dis}}+C_1)\×(2\×{\mathrm{\σ}}_l^{\mathrm{org}}\×{\mathrm{\σ}}_l^{\mathrm{dis}}+C_2)}{({\left(u_l^{\mathrm{org}}\right)}^2+{\left(u_l^{\mathrm{dis}}\right)}^2+C_1)\×({\left({\mathrm{\σ}}_l^{\mathrm{org}}\right)}^2+{\left({\mathrm{\σ}}_l^{\mathrm{dis}}\right)}^2+C_2)},$$其中，C₁和C₂均为控制参数，在本实施例中，取C₁=6.5025，C₂=58.5225。

③-5、令l″=l+1，l=l″，将{DSL_org(x,y,d)}中下一个待处理的单元作为当前第一单元，将{DSL_dis(x,y,d)}中下一个待处理的单元作为当前第二单元，然后返回步骤③-3继续执行，直至{DSL_org(x,y,d)}和{DSL_dis(x,y,d)}中的所有单元均处理完毕，得到{DSL_org(x,y,d)}中的每个单元与{DSL_dis(x,y,d)}中对应的单元之间的三维结构相似度，将{DSL_org(x,y,d)}中的所有单元与{DSL_dis(x,y,d)}中对应的单元之间的三维结构相似度的集合记为其中，l″的初始值为0，l″=l+1和l=l″中的“=”为赋值符号；

③-6、将中的所有三维结构相似度按照从小到大的顺序进行排序，将排序后的集合记为$$ \left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\},$$然后取$$ \left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\}$$中的前ρ%个三维结构相似度来计算S_dis的图像质量客观评价预测值，记为Q，$$ Q=\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{\tilde{Q}}_l/M,$$其中，表示$$ \left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\}$$中的第l个三维结构相似度，$$ M=\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\×\mathrm{\ρ}\%.$$

在此具体实施例中，根据人眼对不同失真类型的立体视觉掩蔽效应不一致的特性，对不同失真类型的立体图像取不同的ρ值，即ρ的取值由失真的立体图像的失真类型决定，在计算JPEG压缩失真的立体图像的图像质量客观评价预测值的过程中，取ρ=1.6；在计算JPEG2000压缩失真的立体图像的图像质量客观评价预测值的过程中，取ρ=2；在计算高斯模糊失真的立体图像的图像质量客观评价预测值的过程中，取ρ=1.6；在计算白噪声失真的立体图像的图像质量客观评价预测值的过程中，取ρ=30；在计算H.264编码失真的立体图像的图像质量客观评价预测值的过程中，取ρ=1.6。

④采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1。

在本实施例中，利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图10a和图10b构成的立体图像、图11a和图11b构成的立体图像、图12a和图12b构成的立体图像、图13a和图13b构成的立体图像共12幅（n=12）无失真的立体图像建立了其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合共包括4种失真类型的252幅失真的立体图像，其中JPEG压缩的失真的立体图像共60幅，JPEG2000压缩的失真的立体图像共60幅，高斯模糊（Gaussian Blur）的失真的立体图像共60幅，H.264编码的失真的立体图像共72幅。

⑤按照步骤①至步骤③计算S_dis的图像质量客观评价预测值的操作，以相同的方式分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

采用图2a至图13b所示的12幅无失真的立体图像在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊和H.264编码失真情况下的252幅失真的立体图像来分析本实施例得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Correlation Coefficient，CC）、Spearman相关系数（Rank-Order Correlation Coefficient，ROCC），异常值比率指标（Outlier Ratio,OR），均方根误差（Root Mean Squared Error,RMSE），CC反映失真的立体图像评价客观模型的准确性，ROCC反映其单调性，OR反映其离散程度，RMSE反映模型预测的准确性。将按本实施例计算得到的失真的立体图像的图像质量客观评价预测值做四参数Logistic函数非线性拟合，CC和ROCC值越高、OR和RMSE值越小说明客观评价方法与平均主观评分差值相关性越好。反映立体图像客观评价模型性能的CC、ROCC、OR、RMSE系数如表1所列，从表1所列的数据可知，按本实施例得到的失真的立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

图14、图15、图16、图17和图18分别给出了JPEG压缩、JPEG2000压缩、高斯模糊、白噪声和H.264编码失真情况下的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图，图19给出了失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图，散点越集中，说明客观评介结果与主观感知的一致性越好。从图14至图19中可以看出，采用本发明方法得到的散点图比较集中，与主观评价数据之间的吻合度较高。表1利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的相关性