一种基于机器学习的无参考立体图像质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于机器学习的无参考立体图像质量客观评价方法。

背景技术

随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左视点图像和右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。与单通道图像相比，立体图像需要同时保证两个通道的图像质量，因此对其进行质量评价具有非常重要的意义。然而，目前对立体图像质量缺乏有效的客观评价方法进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。

由于影响立体图像质量的因素较多，如左视点和右视点质量失真情况、立体感知情况、观察者视觉疲劳等，因此如何有效地进行立体图像质量评价是亟需解决的难点问题。现有的方法主要是通过机器学习来预测评价模型的，但针对立体图像，现有的立体图像评价方法还是平面图像评价方法的简单扩展，并没有考虑双目视觉特性，因此，如何在在评价过程中有效地提取图像特征信息，如果在评价过程中进行双目结合，使得客观评价结果更加感觉符合人类视觉系统，是在对立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于机器学习的无参考立体图像质量客观评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于机器学习的无参考立体图像质量客观评价方法，其特征在于包括以下步骤：

①选取N幅原始的无失真立体图像的左视点图像构成训练图像集，记为{L_i,org|1≤i≤N}，其中，N≥1，L_i,org表示{L_i,org|1≤i≤N}中的第i幅图像；

②利用高斯差分滤波器对{L_i,org|1≤i≤N}中的每幅图像实施高斯差分滤波，得到{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像；

③对{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像进行非重叠的分块处理；然后采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作，获得每个尺度下的目标训练字典；再将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表，构造得到{L_i,org|1≤i≤N}的视觉字典表，记为D，D＝{D^j|1≤j≤S}，其中，j的初始值为1，S表示高斯差分滤波器的尺度个数，D^j表示第j个尺度下的目标训练字典，D^j亦表示第j个尺度下的N幅滤波图像的视觉字典表，D^j亦表示D中的第j个视觉字典；

④将待评价的失真立体图像的左视点图像记为{I_L(x,y)}，将待评价的立体图像的右视点图像记为{I_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}和{I_R(x,y)}中的像素点的坐标位置，1≤x≤W′，1≤y≤H′，W′表示待评价的失真立体图像的宽度，H′表示待评价的失真立体图像的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑤利用高斯差分滤波器对{I_L(x,y)}实施高斯差分滤波，得到{I_L(x,y)}在不同尺度下的滤波图像；然后对{I_L(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理；接着根据{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；再采用最大池化方法，获取{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵；最后根据{I_L(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵，获得{I_L(x,y)}的特征矢量，记为F_L，其中，j的初始值为1，S表示高斯差分滤波器的尺度个数，在此M′表示{I_L(x,y)}在每个尺度下的滤波图像中包含的子块的总个数，表示由{I_L(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵；

同样，利用高斯差分滤波器对{I_R(x,y)}实施高斯差分滤波，得到{I_R(x,y)}在不同尺度下的滤波图像；然后对{I_R(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理；接着根据{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；再采用最大池化方法，获取{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵；最后根据{I_R(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵，获得{I_R(x,y)}的特征矢量，记为F_R，其中，在此M′表示{I_R(x,y)}在每个尺度下的滤波图像中包含的子块的总个数，表示由{I_R(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵；

⑥采用n幅失真立体图像建立失真立体图像集合，利用主观质量评价方法获取失真立体图像集合中的每幅失真立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；然后按照步骤⑤中计算待评价的失真立体图像的左视点图像的特征矢量F_L和右视点图像的特征矢量F_R的操作，以相同的方式计算失真立体图像集合中的每幅立体图像的左视点图像和右视点图像各自的特征矢量，将失真立体图像集合中的第i幅立体图像的左视点图像的特征矢量和右视点图像的特征矢量对应记为F_i,L和F_i,R，其中，1≤i≤n，n表示失真立体图像集合中包含的失真立体图像的幅数；

⑦随机选择失真立体图像集合中的m幅失真立体图像构成训练集，将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集；接着将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合；然后采用支持向量回归作为机器学习的方法，对左视点训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造左视点图像的支持向量回归训练模型，记为f_L(F_inp)，其中，f_L()为函数表示形式，在此F_inp表示左视点图像的支持向量回归训练模型的输入矢量，为的转置矩阵，表示左视点图像的支持向量回归训练模型的输入矢量F_inp的线性函数；

同样，将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合；然后采用支持向量回归作为机器学习的方法，对右视点训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造右视点图像的支持向量回归训练模型，记为f_R(F_inp)，其中，f_R()为函数表示形式，在此F_inp表示右视点图像的支持向量回归训练模型的输入矢量，为的转置矩阵，表示右视点图像的支持向量回归训练模型的输入矢量F_inp的线性函数；

⑧将测试集中的所有失真立体图像各自的左视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成左视点测试样本数据集合；然后根据左视点图像的支持向量回归训练模型，对左视点测试样本数据集合中的每个特征矢量进行测试，预测得到左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值，将左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值记为Q_L,q，Q_L,q＝f_L(F_L,q)，其中，1≤q≤n-m，m表示训练集中包含的失真立体图像的幅数，F_L,q表示左视点测试样本数据集合中的第q个特征矢量，表示左视点测试样本数据集合中的第q个特征矢量的线性函数；

同样，将测试集中的所有失真立体图像各自的右视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成右视点测试样本数据集合；然后根据右视点图像的支持向量回归训练模型，对右视点测试样本数据集合中的每个特征矢量进行测试，预测得到右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值，将右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值记为Q_R,q，Q_R,q＝f_R(F_R,q)，其中，F_R,q表示右视点测试样本数据集合中的第q个特征矢量，表示右视点测试样本数据集合中的第q个特征矢量的线性函数；

⑨根据左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值和右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值，计算测试集中的每幅失真立体图像的客观质量评价预测值，将测试集中的第q幅失真立体图像的客观质量评价预测值记为Q_q，Q_q＝w_L,q×Q_L,q+w_R,q×Q_R,q，其中，Q_L,q表示左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值，Q_L,q亦表示测试集中的第q幅失真立体图像的左视点图像的客观质量评价预测值，Q_R,q表示右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值，Q_R,q亦表示测试集中的第q幅失真立体图像的右视点图像的客观质量评价预测值，w_L,q表示Q_L,q的权重，w_R,q表示Q_R,q的权重，符号“||||₂”为求取矩阵的2-范数符号，符号“<>”为求内积符号；

⑩重复执行步骤⑦至步骤⑨P次，并使失真立体图像集合中的每幅失真立体图像至少有一次属于测试集，经过P次执行后计算失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值，再将失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值作为该幅失真立体图像的最终的客观质量评价预测值，其中，P的取值大于100。

所述的步骤③的具体过程为：

③-1、将{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块；然后将每个尺度下的N幅滤波图像中的所有子块构成一个集合，将由第j个尺度下的N幅滤波图像中的所有子块构成的集合记为其中，W表示原始的无失真立体图像的宽度，H表示原始的无失真立体图像的高度，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，表示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量，的维数为64×1；

③-2、采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作，获得每个尺度下的目标训练字典，将第j个尺度下的目标训练字典记为D^j，D^j通过K-SVD方法求解得到，其中，min()为取最小值函数，符号“||||₂”为求取矩阵的2-范数符号，Y^j的维数为64×M，为中的第1个列向量，为中的第t个列向量，为中的第M个列向量，X^j表示第j个尺度下的稀疏矩阵，表示X^j中的第1个列向量，表示X^j中的第t个列向量，表示X^j中的第M个列向量，X^j的维数为K×M，K表示设定的字典的个数，K≥1，符号“[]”为矢量表示符号，符号“||||₀”为求取矩阵的0-范数符号，τ为误差系数，D^j的维数为64×K；

③-3、将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表，构造得到{L_i,org|1≤i≤N}的视觉字典表，记为D，D＝{D^j|1≤j≤S}。

所述的步骤③-2中取τ＝0.1。

所述的步骤⑤的具体过程为：

⑤-1a、利用高斯差分滤波器对{I_L(x,y)}实施高斯差分滤波，得到{I_L(x,y)}在不同尺度下的滤波图像，将{I_L(x,y)}在第j个尺度下的滤波图像记为其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，表示中坐标位置为(x,y)的像素点的像素值；

⑤-2a、将{I_L(x,y)}在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t′个子块中的所有像素点组成的列向量，的维数为64×1；

⑤-3a、根据{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；对于中的每个元素的稀疏系数矩阵，根据中的每个元素和在训练阶段构造得到的视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为其中，(D^j)^-1为D^j的逆矩阵，的维数为K×1；

⑤-4a、获取{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵，将经最大池化后得到的稀疏系数矩阵记为的获取过程为：将的转置矩阵表示为然后采用最大池化方法重新计算中的每个元素的值，将经最大池化方法重新获得的表示为$$ {\left({\tilde{x}}_{t^{\&prime;},L}^j\right)}^T=[{\widetilde{\mathrm{\&theta;}}}_{1,t^{\&prime;},L}^j...{\widetilde{\mathrm{\&theta;}}}_{k,t^{\&prime;},L}^j...{\widetilde{\mathrm{\&theta;}}}_{K,t^{\&prime;},L}^j],$$再对进行转置得到其中，1≤k≤K，表示中的第1列元素的值，表示中的第k列元素的值，表示中的第K列元素的值，为的转置矩阵，表示中的第1列元素的值，表示中的第k列元素的值，表示中的第K列元素的值，max()为取最大值函数；

⑤-5a、获取{I_L(x,y)}的特征矢量，记为F_L，其中，F_L的维数为K×1；

⑤-1b、利用高斯差分滤波器对{I_R(x,y)}实施高斯差分滤波，得到{I_R(x,y)}在不同尺度下的滤波图像，将{I_R(x,y)}在第j个尺度下的滤波图像记为其中，表示中坐标位置为(x,y)的像素点的像素值；

⑤-2b、将{I_R(x,y)}在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t′个子块中的所有像素点组成的列向量，的维数为64×1；

⑤-3b、根据{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；对于中的每个元素的稀疏系数矩阵，根据中的每个元素和在训练阶段构造得到的视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为其中，(D^j)^-1为D^j的逆矩阵，的维数为K×1；

⑤-4b、获取{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵，将经最大池化后得到的稀疏系数矩阵记为的获取过程为：将的转置矩阵表示为然后采用最大池化方法重新计算中的每个元素的值，将经最大池化方法重新获得的表示为$$ {\left({\tilde{x}}_{t^{\&prime;},L}^j\right)}^T=[{\widetilde{\mathrm{\&theta;}}}_{1,t^{\&prime;},L}^j...{\widetilde{\mathrm{\&theta;}}}_{k,t^{\&prime;},L}^j...{\widetilde{\mathrm{\&theta;}}}_{K,t^{\&prime;},L}^j],$$再对进行转置得到其中，表示中的第1列元素的值，表示中的第k列元素的值，表示中的第K列元素的值，为的转置矩阵，表示中的第1列元素的值，表示中的第k列元素的值，表示中的第K列元素的值；

⑤-5b、获取{I_R(x,y)}的特征矢量，记为F_R，其中，F_R的维数为K×1。

所述的步骤⑦的具体过程为：

⑦-1、随机选择失真立体图像集合中的幅失真立体图像构成训练集，将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集，其中，符号为向下取整符号；

⑦-2、将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合，记为其中，F_p,L表示训练集中的第p幅失真立体图像的左视点图像的特征矢量，DMOS_p表示训练集中的第p幅失真立体图像的平均主观评分差值，1≤p≤m；

⑦-3、构造中的每个特征矢量的回归函数，将F_p,L的回归函数记为f(F_p,L)，其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矩阵，b为偏置项，表示F_p,L的线性函数，D(F_p,L,F_p′,L)为支持向量回归中的核函数，F_p′,L表示训练集中的第p′幅失真立体图像的左视点图像的特征矢量，1≤p′≤m，γ为核参数，exp()表示以自然基底e为底的指数函数，符号“||||”为求欧式距离符号；

⑦-4、采用支持向量回归对中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项将最优的权重矢量和最优的偏置项的组合记为$$ (w_L^{\mathrm{opt}},b_L^{\mathrm{opt}})=\underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{p=1}{\overset{m}{\mathrm{\&Sigma;}}}{(f\left(F_{p,L}\right)-{\mathrm{DMOS}}_p)}^2,$$然后利用得到的最优的权重矢量和最优的偏置项构造左视点图像的支持向量回归训练模型，记为f_L(F_inp)，其中，Ψ表示对中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示求使得最小的w和b的值，f_L()为函数表示形式，在此F_inp表示左视点图像的支持向量回归训练模型的输入矢量，为的转置矩阵，表示左视点图像的支持向量回归训练模型的输入矢量F_inp的线性函数；

⑦-5、将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合，记为其中，F_p,R表示训练集中的第p幅失真立体图像的右视点图像的特征矢量，1≤p≤m；然后按照步骤⑦-3至步骤⑦-4的操作，以相同的方式获取最优的权重矢量和最优的偏置项并利用得到的最优的权重矢量和最优的偏置项构造右视点图像的支持向量回归训练模型，记为f_R(F_inp)，其中，f_R()为函数表示形式，在此F_inp表示右视点图像的支持向量回归训练模型的输入矢量，为的转置矩阵，表示右视点图像的支持向量回归训练模型的输入矢量F_inp的线性函数。

与现有技术相比，本发明的优点在于：

1)本发明方法通过在训练阶段构造视觉字典表，对于任意一幅失真立体图像的左视点图像和右视点图像，根据已构造的视觉字典表，计算左视点图像和右视点图像各自中的每个子块的稀疏系数矩阵，并通过最大池化方法得到左视点图像和右视点图像各自的特征矢量，特征提取方法简单，计算复杂度低。

2)本发明方法通过构造左视点图像的支持向量回归训练模型和右视点图像的支持向量回归训练模型，分别预测得到测试样本数据集合中的每个特征矢量对应的左视点图像和右视点图像各自的客观质量评价预测值，并根据特征矢量信息进行加权，计算得到立体图像的最终的客观质量评价预测值，由于获得的立体图像的特征矢量信息能够较好地反映立体图像的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于机器学习的无参考立体图像质量客观评价方法，其总体实现框图如图1所示，其包括以下步骤：

①选取N幅原始的无失真立体图像的左视点图像构成训练图像集，记为{L_i,org|1≤i≤N}，其中，N≥1，L_i,org表示{L_i,org|1≤i≤N}中的第i幅图像，即表示第i幅原始的无失真立体图像的左视点图像，符号“{}”为集合表示符号。

在具体实施时，原始的无失真立体图像选取的幅数应当适当，如果N的值越大，则通过训练得到的视觉字典表的精度也就越高，但计算复杂度也就越高，因此在本实施例中取N＝10。

②利用高斯差分滤波器对{L_i,org|1≤i≤N}中的每幅图像实施高斯差分滤波，得到{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像，将由第j个尺度下的N幅滤波图像构成的集合记为其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，在本实施例中取S＝5，1≤x≤W，1≤y≤H，W表示选取的原始的无失真立体图像的宽度，H表示选取的原始的无失真立体图像的高度，表示L_i，org在第j个尺度下的滤波图像中坐标位置为(x,y)的像素点的像素值。

③对{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像进行非重叠的分块处理；然后采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作，获得每个尺度下的目标训练字典；再将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表，构造得到{L_i,org|1≤i≤N}的视觉字典表，记为D，D＝{D^j|1≤j≤S}，其中，j的初始值为1，S表示高斯差分滤波器的尺度个数，在本实施例中取S＝5，D^j表示第j个尺度下的目标训练字典，D^j亦表示第j个尺度下的N幅滤波图像的视觉字典表，D^j亦表示D中的第j个视觉字典。

在此具体实施例中，步骤③的具体过程为：

③-1、将{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块；然后将每个尺度下的N幅滤波图像中的所有子块构成一个集合，将由第j个尺度下的N幅滤波图像中的所有子块构成的集合记为其中，W表示原始的无失真立体图像的宽度，H表示原始的无失真立体图像的高度，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，表示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量，的维数为64×1。

③-2、采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作，获得每个尺度下的目标训练字典，将第j个尺度下的目标训练字典记为D^j，D^j通过K-SVD方法求解得到，其中，min()为取最小值函数，符号“||||₂”为求取矩阵的2-范数符号，Y^j的维数为64×M，为中的第1个列向量，亦表示由第j个尺度下的N幅滤波图像中的第1个子块中的所有像素点组成的列向量，为中的第t个列向量，亦表示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量，为中的第M个列向量，亦表示由第j个尺度下的N幅滤波图像中的第M个子块中的所有像素点组成的列向量，X^j表示第j个尺度下的稀疏矩阵，表示X^j中的第1个列向量，表示X^j中的第t个列向量，表示X^j中的第M个列向量，X^j的维数为K×M，K表示设定的字典的个数，K≥1，K的取值过大会出现过聚类现象，K的取值过小会出现欠聚类现象，在本实施例中取K＝128，符号“[]”为矢量表示符号，符号“||||₀”为求取矩阵的0-范数符号，τ为误差系数，在本实施例中取τ＝0.1，D^j的维数为64×K。

③-3、将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表，构造得到{L_i,org|1≤i≤N}的视觉字典表，记为D，D＝{D^j|1≤j≤S}。

④将待评价的失真立体图像的左视点图像记为{I_L(x,y)}，将待评价的立体图像的右视点图像记为{I_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}和{I_R(x,y)}中的像素点的坐标位置，1≤x≤W′，1≤y≤H′，W′表示待评价的失真立体图像的宽度，H′表示待评价的失真立体图像的高度，W′的值与W的值可以相同，也可以不相同，H′的值与H的值可以相同，也可以不相同，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值。

⑤利用高斯差分滤波器对{I_L(x,y)}实施高斯差分滤波，得到{I_L(x,y)}在不同尺度下的滤波图像；然后对{I_L(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理；接着根据{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；再采用最大池化方法，获取{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵；最后根据{I_L(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵，获得{I_L(x,y)}的特征矢量，记为F_L，其中，j的初始值为1，S表示高斯差分滤波器的尺度个数，在此M′表示{I_L(x,y)}在每个尺度下的滤波图像中包含的子块的总个数，表示由{I_L(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵。

同样，利用高斯差分滤波器对{I_R(x,y)}实施高斯差分滤波，得到{I_R(x,y)}在不同尺度下的滤波图像；然后对{I_R(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理；接着根据{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；再采用最大池化方法，获取{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵；最后根据{I_R(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵，获得{I_R(x,y)}的特征矢量，记为F_R，其中，在此M′表示{I_R(x,y)}在每个尺度下的滤波图像中包含的子块的总个数，表示由{I_R(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1a、利用高斯差分滤波器对{I_L(x,y)}实施高斯差分滤波，得到{I_L(x,y)}在不同尺度下的滤波图像，将{I_L(x,y)}在第j个尺度下的滤波图像记为其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，表示中坐标位置为(x,y)的像素点的像素值。

⑤-2a、将{I_L(x,y)}在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t′个子块中的所有像素点组成的列向量，的维数为64×1。

⑤-3a、根据{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；对于中的每个元素的稀疏系数矩阵，根据中的每个元素和在训练阶段构造得到的视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为其中，(D^j)^-1为D^j的逆矩阵，的维数为K×1。

⑤-4a、获取{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵，将经最大池化后得到的稀疏系数矩阵记为的获取过程为：将的转置矩阵表示为然后采用最大池化(Max-pooling)方法重新计算中的每个元素的值，将经最大池化方法重新获得的表示为$$ {\left({\tilde{x}}_{t^{\&prime;},L}^j\right)}^T=[{\widetilde{\mathrm{\&theta;}}}_{1,t^{\&prime;},L}^j...{\widetilde{\mathrm{\&theta;}}}_{k,t^{\&prime;},L}^j...{\widetilde{\mathrm{\&theta;}}}_{K,t^{\&prime;},L}^j],$$再对进行转置得到其中，1≤k≤K，表示中的第1列元素的值，表示中的第k列元素的值，表示中的第K列元素的值，为的转置矩阵，表示中的第1列元素的值，表示中的第k列元素的值，表示中的第K列元素的值，max()为取最大值函数。

⑤-5a、获取{I_L(x,y)}的特征矢量，记为F_L，其中，F_L的维数为K×1。

⑤-1b、利用高斯差分滤波器对{I_R(x,y)}实施高斯差分滤波，得到{I_R(x,y)}在不同尺度下的滤波图像，将{I_R(x,y)}在第j个尺度下的滤波图像记为其中，表示中坐标位置为(x,y)的像素点的像素值。

⑤-2b、将{I_R(x,y)}在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t′个子块中的所有像素点组成的列向量，的维数为64×1。

⑤-3b、根据{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；对于中的每个元素的稀疏系数矩阵，根据中的每个元素和在训练阶段构造得到的视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为其中，(D^j)^-1为D^j的逆矩阵，的维数为K×1。

⑤-4b、获取{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵，将经最大池化后得到的稀疏系数矩阵记为的获取过程为：将的转置矩阵表示为然后采用最大池化(Max-pooling)方法重新计算中的每个元素的值，将经最大池化方法重新获得的表示为$$ {\left({\tilde{x}}_{t^{\&prime;},L}^j\right)}^T=[{\widetilde{\mathrm{\&theta;}}}_{1,t^{\&prime;},L}^j...{\widetilde{\mathrm{\&theta;}}}_{k,t^{\&prime;},L}^j...{\widetilde{\mathrm{\&theta;}}}_{K,t^{\&prime;},L}^j],$$再对进行转置得到其中，表示中的第1列元素的值，表示中的第k列元素的值，表示中的第K列元素的值，为的转置矩阵，表示中的第1列元素的值，表示中的第k列元素的值，表示中的第K列元素的值。

⑤-5b、获取{I_R(x,y)}的特征矢量，记为F_R，其中，F_R的维数为K×1。

⑥采用n幅失真立体图像建立失真立体图像集合，利用现有的主观质量评价方法获取失真立体图像集合中的每幅失真立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；然后按照步骤⑤中计算待评价的失真立体图像的左视点图像的特征矢量F_L和右视点图像的特征矢量F_R的操作，以相同的方式计算失真立体图像集合中的每幅立体图像的左视点图像和右视点图像各自的特征矢量，将失真立体图像集合中的第i幅立体图像的左视点图像的特征矢量和右视点图像的特征矢量对应记为F_i,L和F_i,R，其中，1≤i≤n，n表示失真立体图像集合中包含的失真立体图像的幅数，在本实施例中，宁波大学立体图像库中取n＝312，LIVE立体图像库中取n＝365。

⑦随机选择失真立体图像集合中的m幅失真立体图像构成训练集，将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集；接着将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合；然后采用支持向量回归作为机器学习的方法，对左视点训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造左视点图像的支持向量回归训练模型，记为f_L(F_inp)，其中，f_L()为函数表示形式，在此F_inp表示左视点图像的支持向量回归训练模型的输入矢量，为的转置矩阵，表示左视点图像的支持向量回归训练模型的输入矢量F_inp的线性函数。

同样，将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合；然后采用支持向量回归作为机器学习的方法，对右视点训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造右视点图像的支持向量回归训练模型，记为f_R(F_inp)，其中，f_R()为函数表示形式，在此F_inp表示右视点图像的支持向量回归训练模型的输入矢量，为的转置矩阵，表示右视点图像的支持向量回归训练模型的输入矢量F_inp的线性函数。

在此具体实施例中，步骤⑦的具体过程为：

⑦-1、随机选择失真立体图像集合中的幅失真立体图像构成训练集，将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集，其中，符号为向下取整符号。

⑦-2、将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合，记为其中，F_p,L表示训练集中的第p幅失真立体图像的左视点图像的特征矢量，DMOS_p表示训练集中的第p幅失真立体图像的平均主观评分差值，1≤p≤m。

⑦-3、构造中的每个特征矢量的回归函数，将F_p,L的回归函数记为f(F_p,L)，其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矩阵，b为偏置项，表示F_p,L的线性函数，D(F_p,L,F_p′,L)为支持向量回归中的核函数，F_p′,L表示训练集中的第p′幅失真立体图像的左视点图像的特征矢量，1≤p′≤m，γ为核参数，其用于反映输入样本值的范围，样本值的范围越大，γ值也就越大，在本实施例中取γ＝54，exp()表示以自然基底e为底的指数函数，e＝2.71828183，符号“||||”为求欧式距离符号。

⑦-4、采用支持向量回归对中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项将最优的权重矢量和最优的偏置项的组合记为$$ (w_L^{\mathrm{opt}},b_L^{\mathrm{opt}})=\underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{p=1}{\overset{m}{\mathrm{\&Sigma;}}}{(f\left(F_{p,L}\right)-{\mathrm{DMOS}}_p)}^2,$$然后利用得到的最优的权重矢量和最优的偏置项构造左视点图像的支持向量回归训练模型，记为f_L(F_inp)，其中，Ψ表示对中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示求使得最小的w和b的值，f_L()为函数表示形式，在此F_inp表示左视点图像的支持向量回归训练模型的输入矢量，为的转置矩阵，表示左视点图像的支持向量回归训练模型的输入矢量F_inp的线性函数。

⑦-5、将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合，记为其中，F_p,R表示训练集中的第p幅失真立体图像的右视点图像的特征矢量，1≤p≤m；然后按照步骤⑦-3至步骤⑦-4的操作，以相同的方式获取最优的权重矢量和最优的偏置项并利用得到的最优的权重矢量和最优的偏置项构造右视点图像的支持向量回归训练模型，记为f_R(F_inp)，其中，f_R()为函数表示形式，在此F_inp表示右视点图像的支持向量回归训练模型的输入矢量，为的转置矩阵，表示右视点图像的支持向量回归训练模型的输入矢量F_inp的线性函数。

⑧将测试集中的所有失真立体图像各自的左视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成左视点测试样本数据集合；然后根据左视点图像的支持向量回归训练模型，对左视点测试样本数据集合中的每个特征矢量进行测试，预测得到左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值，将左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值记为Q_L,q，Q_L,q＝f_L(F_L,q)，其中，1≤q≤n-m，m表示训练集中包含的失真立体图像的幅数，F_L,q表示左视点测试样本数据集合中的第q个特征矢量，表示左视点测试样本数据集合中的第q个特征矢量的线性函数。

同样，将测试集中的所有失真立体图像各自的右视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成右视点测试样本数据集合；然后根据右视点图像的支持向量回归训练模型，对右视点测试样本数据集合中的每个特征矢量进行测试，预测得到右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值，将右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值记为Q_R,q，Q_R,q＝f_R(F_R,q)，其中，F_R,q表示右视点测试样本数据集合中的第q个特征矢量，表示右视点测试样本数据集合中的第q个特征矢量的线性函数。

⑨根据左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值和右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值，计算测试集中的每幅失真立体图像的客观质量评价预测值，将测试集中的第q幅失真立体图像的客观质量评价预测值记为Q_q，Q_q＝w_L,q×Q_L,q+w_R,q×Q_R,q，其中，Q_L,q表示左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值，Q_L,q亦表示测试集中的第q幅失真立体图像的左视点图像的客观质量评价预测值，Q_R,q表示右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值，Q_R,q亦表示测试集中的第q幅失真立体图像的右视点图像的客观质量评价预测值，w_L,q表示Q_L,q的权重，w_R,q表示Q_R,q的权重，符号“||||₂”为求取矩阵的2-范数符号，符号“<>”为求内积符号。

⑩重复执行步骤⑦至步骤⑨P次，并使失真立体图像集合中的每幅失真立体图像至少有一次属于测试集，经过P次执行后计算失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值，再将失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值作为该幅失真立体图像的最终的客观质量评价预测值，其中，P的取值大于100，在本实施例中取P＝1000。

这里，利用评估图像质量评价方法的2个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)和Spearman相关系数(Spearman rank order correlation coefficient，SROCC)，PLCC反映失真立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。

利用本发明方法计算宁波大学立体图像库中的每幅失真立体图像的客观质量评价预测值和LIVE立体图像库中的每幅失真立体图像的客观质量评价预测值，再利用现有的主观评价方法获得宁波大学立体图像库中的每幅失真立体图像的平均主观评分差值和LIVE立体图像库中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做四参数Logistic函数非线性拟合，PLCC和SROCC值越高，说明客观评价结果与平均主观评分差值之间的相关性越好。表1和表2给出了采用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数和Spearman相关系数。从表1和表2中可以看出，采用本发明方法得到的失真立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的，表明了客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

表1利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数比较

表2利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Spearman相关系数比较