一种基于排序学习的立体图像视觉舒适度评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于排序学习的立体图像视觉舒适度评价方法。

背景技术

随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量(QoE，qualityofexperience)是立体视频系统设计中的一个重要问题，而视觉舒适度(VC，visualcomfort)是影响立体视频的视觉体验质量的重要因素。目前，对立体视频/图像的质量评价研究主要考虑内容失真对于图像质量的影响，而很少考虑视觉舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/图像的视觉舒适度客观评价模型对指导3D内容的制作和后期处理具有十分重要的作用。

传统的立体图像视觉舒适度评价方法主要是基于机器学习的方法，其需要大量的样本数据在立体图像视觉舒适度特征和主观评价值之间建立回归模型，然而由于主观评价值的获取需要通过复杂的主观实验，因此非常耗时，并不适合应用于实际的图像处理系统中。考虑到人们在进行主观实验时通常采用多等级打分制对立体图像的视觉舒适度进行评价这一事实，如何在客观评价过程中有效地模拟多等级打分机制、如何将多等级打分结果映射到不同的舒适度等级，使得客观评价结果更加符合人类视觉主观评价，是在对立体图像进行客观视觉舒适度评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于排序学习的立体图像视觉舒适度评价方法，其无需获取立体图像的主观评价值，适合应用于实际的图像处理系统，且能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于排序学习的立体图像视觉舒适度评价方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段的具体步骤为：

①-1、针对五个不同的视觉舒适度等级各选取M幅立体图像，将共选取的5×M幅立体图像构成初始训练图像集，记为Ω，Ω＝{C_i|1≤i≤5}，其中，M≥1，C_i表示由针对第i个视觉舒适度等级选取的M幅立体图像构成的集合，C_i＝{S_i,m|1≤m≤M}，S_i,m表示C_i中的第m幅立体图像；

①-2、计算Ω中的每幅立体图像的用于反映视觉舒适度的特征矢量，将S_i,m的用于反映视觉舒适度的特征矢量记为F_i,m，其中，F_i,m的维数为13，符号“[]”为矢量表示符号，和对应表示S_i,m的双目融合特征图中的所有像素点的像素值的均值、方差和熵值，和对应表示S_i,m的离焦模糊特征图中的所有像素点的像素值的均值、方差和熵值，和对应表示S_i,m的左视点图像的空间频率特征图中的所有像素点的像素值的均值、方差和熵值，χ_i,m、κ_i,m、σ_i,m和对应表示S_i,m的角视差图像中像素值最大的q％的像素点的像素值的均值、S_i,m的角视差图像中像素值最小的q％的像素点的像素值的均值、S_i,m的角视差图像的视差离差和S_i,m的角视差图像的视差偏斜度；

①-3、采用排序学习方法求解$$ \begin{array}{cc}\min & \left(\frac{1}{2}\right|\left|w^T\right|{|}_2^2+{\mathrm{\λ}}_1{{\mathrm{\Σ\δ}}_1}^2+{\mathrm{\λ}}_2{{\mathrm{\Σ\δ}}_2}^2)\\ s.t.& w^T{F}_{i,m}-w^T{F}_{i+1,n}\≥1-{\mathrm{\δ}}_1,\∀i\∈\{1,2,3,4\},\∀m,n\∈\{1,2,...,M\}\\ & |w^T{F}_{i,m}-w^T{F}_{i,n}|\≤{\mathrm{\δ}}_2,\∀i\∈\{1,2,3,4,5\},\∀m,n\∈\{1,2,...,M\}\\ & {\mathrm{\δ}}_1\≥0,{\mathrm{\δ}}_2\≥0\end{array},$$得到最优的权值矢量，记为w^opt，其中，min()为取最小值函数，w表示权值矢量，w^T为w的转置矢量，符号“||||₂”为矩阵的2-范数符号，λ₁和λ₂均为控制参数，δ₁和δ₂均为误差参数，且δ₁≠δ₂，s.t.表示“受约束于”，F_i+1,n表示由针对第i+1个视觉舒适度等级选取的M幅立体图像构成的集合C_i+1中的第n幅立体图像S_i+1,n的用于反映视觉舒适度的特征矢量，符号表示“任意”，符号“||”为取绝对值符号，F_i,n表示C_i中的第n幅立体图像S_i,n的用于反映视觉舒适度的特征矢量；

①-4、利用得到的最优的权值矢量w^opt，构造视觉舒适度排序模型，记为f(F)，f(F)＝(w^opt)^TF，其中，f()为函数表示形式，F用于表示立体图像的用于反映视觉舒适度的特征矢量，且作为视觉舒适度排序模型的输入特征矢量，(w^opt)^T为w^opt的转置矢量；

所述的测试阶段的具体步骤为：

②对于任意一幅测试立体图像S_test，按照步骤①-2的过程，以相同的操作获取S_test的用于反映视觉舒适度的特征矢量，记为F_test；然后根据训练阶段构造的视觉舒适度排序模型f(F)＝(w^opt)^TF，对F_test进行测试，预测得到F_test对应的排序值，将该排序值作为S_test的视觉舒适度客观评价预测值，记为Q_test。

所述的步骤①-2中S_i,m的用于反映视觉舒适度的特征矢量F_i,m的获取过程为：

A1、采用视差估计算法计算S_i,m的左视点图像与右视点图像之间的视差图像，记为{d_i,m(x,y)}，其中，1≤x≤W，1≤y≤H，W表示Ω中的立体图像的宽度，H表示Ω中的立体图像的高度，d_i,m(x,y)表示{d_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值；

然后采用视差转换算法对{d_i,m(x,y)}进行视差转换，得到S_i,m的角视差图像，记为{φ_i,m(x,y)}，其中，φ_i,m(x,y)表示{φ_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值，如果φ_i,m(x,y)>0，则表示S_i,m中坐标位置为(x,y)的像素点在显示时成像在屏幕前，如果φ_i,m(x,y)<0，则表示S_i,m中坐标位置为(x,y)的像素点在显示时成像在屏幕后，如果φ_i,m(x,y)＝0，则表示S_i,m中坐标位置为(x,y)的像素点在显示时恰好成像在屏幕上；

接着计算S_i,m的双目融合特征图，记为{BF_i,m(x,y)}，其中，BF_i,m(x,y)表示{BF_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号，θ表示双目可融合角视差极限值，exp()表示以自然基数e为底的指数函数，ε为指数衰减控制参数；

再计算{BF_i,m(x,y)}中的所有像素点的像素值的均值方差和熵值$$ \begin{array}{cc}{\mathrm{\&mu;}}_{i,m}^{\left(BF\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\mathrm{BF}}_{i.m}(x,y),& {\mathrm{\&upsi;}}_{i,m}^{\left(BF\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\left({\mathrm{BF}}_{i,m}\right(x,y)-{\mathrm{\&mu;}}_{i,m}^{\left(BF\right)})}^2\end{array},$$$$ {\mathrm{\&eta;}}_{i,m}^{\left(BF\right)}=-\underset{l_1=1}{\overset{k_1}{\&Sigma;}}p\&lsqb;{\mathrm{BF}}_{i,m}\left(l_1\right)\&rsqb;ln(p\&lsqb;{\mathrm{BF}}_{i,m}(l_1)\&rsqb;),1\&le;l_1\&le;k_1,$$k₁为{BF_i,m(x,y)}中所包含的灰度级的总数目，BF_i,m(l₁)表示{BF_i,m(x,y)}中的第l₁个灰度级的灰度值，p[BF_i,m(l₁)]表示BF_i,m(l₁)在{BF_i,m(x,y)}中出现的概率，表示{BF_i,m(x,y)}中像素值等于BF_i,m(l₁)的像素点的总个数；

A2、计算S_i,m的离焦模糊特征图，记为{DB_i,m(x,y)}，其中，DB_i,m(x,y)表示{DB_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值，$$ {\mathrm{DB}}_{i,m}(x,y)=|\frac{R\&times;r_0}{D_{i,m}(x_0,y_0)}\&times;(1-\frac{D_{i,m}(x_0,y_0)}{D_{i,m}(x,y)})|,$$R表示人眼的瞳孔直径，r₀表示人眼眼球的晶状体长度，D_i,m(x₀,y₀)表示人眼观看S_i,m时会聚点(x₀,y₀)的深度值，D_i,m(x,y)表示S_i,m的深度图{D_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值，V表示观看者与显示器之间的距离，I表示人眼的瞳孔间距，W_x和R_x对应表示显示器的水平宽度和水平分辨率；

然后计算{DB_i,m(x,y)}中的所有像素点的像素值的均值方差和熵值$$ \begin{array}{cc}{\mathrm{\&mu;}}_{i,m}^{\left(DB\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\mathrm{DB}}_{i.m}(x,y),& {\mathrm{\&upsi;}}_{i,m}^{\left(DB\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\left({\mathrm{DB}}_{i,m}\right(x,y)-{\mathrm{\&mu;}}_{i,m}^{\left(DB\right)})}^2\end{array},$$$$ {\mathrm{\&eta;}}_{i,m}^{\left(DB\right)}=-\underset{l_2=1}{\overset{k_2}{\&Sigma;}}p\&lsqb;{\mathrm{DB}}_{i,m}\left(l_2\right)\&rsqb;ln(p\&lsqb;{\mathrm{DB}}_{i,m}(l_2)\&rsqb;),$$其中，1≤l₂≤k₂，k₂为{DB_i,m(x,y)}中所包含的灰度级的总数目，DB_i,m(l₂)表示{DB_i,m(x,y)}中的第l₂个灰度级的灰度值，p[DB_i,m(l₂)]表示DB_i,m(l₂)在{DB_i,m(x,y)}中出现的概率，表示{DB_i,m(x,y)}中像素值等于DB_i,m(l₂)的像素点的总个数；

A3、计算S_i,m的左视点图像的相位一致性图作为其空间频率特征图，记为{SF_i,m(x,y)}，其中，SF_i,m(x,y)表示{SF_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值；

然后计算{SF_i,m(x,y)}中的所有像素点的像素值的均值方差和熵值$$ \begin{array}{cc}{\mathrm{\&mu;}}_{i,m}^{\left(SF\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\mathrm{SF}}_{i.m}(x,y),& {\mathrm{\&upsi;}}_{i,m}^{\left(SF\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\left({\mathrm{SF}}_{i,m}\right(x,y)-{\mathrm{\&mu;}}_{i,m}^{\left(SF\right)})}^2\end{array},$$$$ {\mathrm{\&eta;}}_{i,m}^{\left(SF\right)}=-\underset{l_3=1}{\overset{k_3}{\&Sigma;}}p\&lsqb;{\mathrm{SF}}_{i,m}\left(l_3\right)\&rsqb;ln(p\&lsqb;{\mathrm{SF}}_{i,m}(l_3)\&rsqb;),$$其中，1≤l₃≤k₃，k₃为{SF_i,m(x,y)}中所包含的灰度级的总数目，SF_i,m(l₃)表示{SF_i,m(x,y)}中的第l₃个灰度级的灰度值，p[SF_i,m(l₃)]表示SF_i,m(l₃)在{SF_i,m(x,y)}中出现的概率，表示{SF_i,m(x,y)}中像素值等于SF_i,m(l₃)的像素点的总个数；

A4、从{φ_i,m(x,y)}中提取出四个与视觉舒适度相关的视差统计特征，分别为{φ_i,m(x,y)}中像素值最大的q％的像素点的像素值的均值χ_i,m、{φ_i,m(x,y)}中像素值最小的q％的像素点的像素值的均值κ_i,m、{φ_i,m(x,y)}的视差离差σ_i,m、{φ_i,m(x,y)}的视差偏斜度$$ \begin{array}{cc}{\mathrm{\&chi;}}_{i,m}=\frac{1}{N_q^{\max }}\underset{(x,y)\&Element;{\mathrm{\&Theta;}}_q^{\max }}{\&Sigma;}{\mathrm{\&phi;}}_{i,m}(x,y),& {\mathrm{\&kappa;}}_{i,m}=\frac{1}{N_q^{\min }}\underset{(x,y)\&Element;{\mathrm{\&Theta;}}_q^{\min }}{\&Sigma;}{\mathrm{\&phi;}}_{i,m}(x,y)\end{array},$$$$ {\mathrm{\&sigma;}}_{i,m}=\sqrt{\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\&lsqb;{\mathrm{\&phi;}}_{i,m}(x,y)\&rsqb;}^2},$$其中，1≤q≤50，表示{φ_i,m(x,y)}中像素值最大的q％的像素点的总个数，表示{φ_i,m(x,y)}中像素值最大的q％的像素点的坐标位置构成的集合，表示{φ_i,m(x,y)}中像素值最小的q％的像素点的总个数，表示{φ_i,m(x,y)}中像素值最小的q％的像素点的坐标位置构成的集合；

A5、将χ_i,m、κ_i,m、σ_i,m和按顺序进行排列构成F_i,m。

所述的步骤①-1中的五个不同的视觉舒适度等级分别为极端不舒适、不舒适、略微舒适、舒适和非常舒适。

与现有技术相比，本发明的优点在于：

1)本发明方法在训练阶段，通过选取多幅不同的视觉舒适度等级的立体图像组成初始训练图像集，利用现有的排序学习方法建立初始训练图像集中的所有立体图像的用于反映视觉舒适度的特征矢量与视觉舒适度等级之间的视觉舒适度排序模型，构造得到的视觉舒适度排序模型能够有效地模拟人眼主观评价中的多等级打分机制，因此与主观评价具有高度的一致性。

2)本发明方法在测试阶段，计算测试立体图像的用于反映视觉舒适度的特征矢量，并根据训练阶段构造的视觉舒适度排序模型，预测得到测试立体图像的用于反映视觉舒适度的特征矢量对应的排序值，将该排序值作为测试立体图像的视觉舒适度客观评价预测值，由于主观评价的实质就是让主观测试者根据自身舒适度感受对测试立体图像进行多等级打分，视觉舒适度排序模型能够很好地模拟这种多等级打分机制，因此得到的视觉舒适度客观评价预测值与主观评价值保持了较好的一致性，即视觉舒适度客观评价预测值与主观感知之间的相关性高。

3)本发明方法无需获取大量的立体图像的主观评价值，耗时少，适合应用于实际的图像处理系统中。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于排序学习的立体图像视觉舒适度评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程，所述的训练阶段的具体步骤为：

①-1、针对五个不同的视觉舒适度等级各选取M幅立体图像，将共选取的5×M幅立体图像构成初始训练图像集，记为Ω，Ω＝{C_i|1≤i≤5}，其中，M≥1，在本实施例中取M＝10，C_i表示由针对第i个视觉舒适度等级选取的M幅立体图像构成的集合，C_i＝{S_i,m|1≤m≤M}，S_i,m表示C_i中的第m幅立体图像，符号“{}”为集合表示符号。

在具体实施时如可从宁波大学建立的立体图像视觉舒适度数据库中针对五个不同的视觉舒适度等级各选取M幅立体图像。

在此，五个不同的视觉舒适度等级分别为极端不舒适(extremelyuncomfortable)、不舒适(uncomfortable)、略微舒适(mildlycomfortable)、舒适(comfortable)和非常舒适(verycomfortable)，即初始训练图像集由M幅极端不舒适的立体图像、M幅不舒适的立体图像、M幅略微舒适的立体图像、M幅舒适的立体图像和M幅非常舒适的立体图像构成。

①-2、计算Ω中的每幅立体图像的用于反映视觉舒适度的特征矢量，将S_i,m的用于反映视觉舒适度的特征矢量记为F_i,m，其中，F_i,m的维数为13，符号“[]”为矢量表示符号，和对应表示S_i,m的双目融合特征图中的所有像素点的像素值的均值、方差和熵值，和对应表示S_i,m的离焦模糊特征图中的所有像素点的像素值的均值、方差和熵值，和对应表示S_i,m的左视点图像的空间频率特征图中的所有像素点的像素值的均值、方差和熵值，χ_i,m、κ_i,m、σ_i,m和对应表示S_i,m的角视差图像中像素值最大的q％的像素点的像素值的均值、S_i,m的角视差图像中像素值最小的q％的像素点的像素值的均值、S_i,m的角视差图像的视差离差和S_i,m的角视差图像的视差偏斜度。

在此具体实施例中，步骤①-2中S_i,m的用于反映视觉舒适度的特征矢量F_i,m的获取过程为：

A1、采用现有的基于光流的视差估计算法计算S_i,m的左视点图像与右视点图像之间的视差图像，记为{d_i,m(x,y)}，其中，1≤x≤W，1≤y≤H，W表示Ω中的立体图像的宽度，H表示Ω中的立体图像的高度，d_i,m(x,y)表示{d_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值。

然后采用现有的视差转换算法对{d_i,m(x,y)}进行视差转换，得到S_i,m的角视差图像，记为{φ_i,m(x,y)}，其中，φ_i,m(x,y)表示{φ_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值，如果φ_i,m(x,y)>0，则表示S_i,m中坐标位置为(x,y)的像素点在显示时成像在屏幕前，如果φ_i,m(x,y)<0，则表示S_i,m中坐标位置为(x,y)的像素点在显示时成像在屏幕后，如果φ_i,m(x,y)＝0，则表示S_i,m中坐标位置为(x,y)的像素点在显示时恰好成像在屏幕上。

接着计算S_i,m的双目融合特征图，记为{BF_i,m(x,y)}，其中，BF_i,m(x,y)表示{BF_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号，θ表示双目可融合角视差极限值，在本实施例中取θ＝1°，exp()表示以自然基数e为底的指数函数，ε为指数衰减控制参数，在本实施例中取ε＝0.3。

再计算{BF_i,m(x,y)}中的所有像素点的像素值的均值方差和熵值$$ \begin{array}{cc}{\mathrm{\&mu;}}_{i,m}^{\left(BF\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\mathrm{BF}}_{i.m}(x,y),& {\mathrm{\&upsi;}}_{i,m}^{\left(BF\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\left({\mathrm{BF}}_{i,m}\right(x,y)-{\mathrm{\&mu;}}_{i,m}^{\left(BF\right)})}^2\end{array},$$$$ {\mathrm{\&eta;}}_{i,m}^{\left(BF\right)}=-\underset{l_1=1}{\overset{k_1}{\&Sigma;}}p\&lsqb;{\mathrm{BF}}_{i,m}\left(l_1\right)\&rsqb;ln(p\&lsqb;{\mathrm{BE}}_{i,m}(l_1)\&rsqb;),1\&le;l_1\&le;k_1,$$k₁为{BF_i,m(x,y)}中所包含的灰度级的总数目，BF_i,m(l₁)表示{BF_i,m(x,y)}中的第l₁个灰度级的灰度值，p[BF_i,m(l₁)]表示BF_i,m(l₁)在{BF_i,m(x,y)}中出现的概率，表示{BF_i,m(x,y)}中像素值等于BF_i,m(l₁)的像素点的总个数。

A2、计算S_i,m的离焦模糊特征图，记为{DB_i,m(x,y)}，其中，DB_i,m(x,y)表示{DB_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值，$$ {\mathrm{DB}}_{i,m}(x,y)=|\frac{R\&times;r_0}{D_{i,m}(x_0,y_0)}\&times;(1-\frac{D_{i,m}(x_0,y_0)}{D_{i,m}(x,y)})|,$$R表示人眼的瞳孔直径，在本实施例中取R＝0.3厘米，r₀表示人眼眼球的晶状体长度，在本实施例中取r₀＝0.16厘米，D_i,m(x₀,y₀)表示人眼观看S_i,m时会聚点(x₀,y₀)的深度值，会聚点(x₀,y₀)的位置根据现有的视觉显著性检测方法确定，D_i,m(x,y)表示S_i,m的深度图{D_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值，{D_i,m(x,y)}可以由S_i,m的左视点图像与右视点图像之间的视差图像{d_i,m(x,y)}转换得到，V表示观看者与显示器之间的距离，在本实施例中取V等于显示器的垂直高度的三倍，I表示人眼的瞳孔间距，在本实施例中取I＝6.5厘米，W_x和R_x对应表示显示器的水平宽度和水平分辨率。

然后计算{DB_i,m(x,y)}中的所有像素点的像素值的均值方差和熵值$$ \begin{array}{cc}{\mathrm{\&mu;}}_{i,m}^{\left(DB\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\mathrm{DB}}_{i.m}(x,y),& {\mathrm{\&upsi;}}_{i,m}^{\left(DB\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\left({\mathrm{DB}}_{i,m}\right(x,y)-{\mathrm{\&mu;}}_{i,m}^{\left(DB\right)})}^2\end{array},$$$$ {\mathrm{\&eta;}}_{i,m}^{\left(DB\right)}=-\underset{l_2=1}{\overset{k_2}{\&Sigma;}}p\&lsqb;{\mathrm{DB}}_{i,m}\left(l_2\right)\&rsqb;ln(p\&lsqb;{\mathrm{DB}}_{i,m}(l_2)\&rsqb;),$$其中，1≤l₂≤k₂，k₂为{DB_i,m(x,y)}中所包含的灰度级的总数目，DB_i,m(l₂)表示{DB_i,m(x,y)}中的第l₂个灰度级的灰度值，p[DB_i,m(l₂)]表示DB_i,m(l₂)在{DB_i,m(x,y)}中出现的概率，表示{DB_i,m(x,y)}中像素值等于DB_i,m(l₂)的像素点的总个数。

A3、采用现有技术计算S_i,m的左视点图像的相位一致性图作为其空间频率特征图，记为{SF_i,m(x,y)}，其中，SF_i,m(x,y)表示{SF_i,m(x,y)}中坐标位置为(x,y)的像素点的像素值。

然后计算{SF_i,m(x,y)}中的所有像素点的像素值的均值方差和熵值$$ \begin{array}{cc}{\mathrm{\&mu;}}_{i,m}^{\left(SF\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\mathrm{SF}}_{i.m}(x,y),& {\mathrm{\&upsi;}}_{i,m}^{\left(SF\right)}=\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\left({\mathrm{SF}}_{i,m}\right(x,y)-{\mathrm{\&mu;}}_{i,m}^{\left(SF\right)})}^2\end{array},$$$$ {\mathrm{\&eta;}}_{i,m}^{\left(SF\right)}=-\underset{l_3=1}{\overset{k_3}{\&Sigma;}}p\&lsqb;{\mathrm{SF}}_{i,m}\left(l_3\right)\&rsqb;ln(p\&lsqb;{\mathrm{SF}}_{i,m}(l_3)\&rsqb;),$$其中，1≤l₃≤k₃，k₃为{SF_i,m(x,y)}中所包含的灰度级的总数目，SF_i,m(l₃)表示{SF_i,m(x,y)}中的第l₃个灰度级的灰度值，p[SF_i,m(l₃)]表示SF_i,m(l₃)在{SF_i,m(x,y)}中出现的概率，表示{SF_i,m(x,y)}中像素值等于SF_i,m(l₃)的像素点的总个数。

A4、从{φ_i,m(x,y)}中提取出四个与视觉舒适度相关的视差统计特征，分别为{φ_i,m(x,y)}中像素值最大的q％的像素点的像素值的均值χ_i,m、{φ_i,m(x,y)}中像素值最小的q％的像素点的像素值的均值κ_i,m、{φ_i,m(x,y)}的视差离差σ_i,m、{φ_i,m(x,y)}的视差偏斜度$$ {\mathrm{\&sigma;}}_{i,m}=\sqrt{\frac{1}{H\&times;W}\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\&lsqb;{\mathrm{\&phi;}}_{i,m}(x,y)\&rsqb;}^2},$$其中，1≤q≤50，在本实施例中取q＝10，表示{φ_i,m(x,y)}中像素值最大的q％的像素点的总个数，表示{φ_i,m(x,y)}中像素值最大的q％的像素点的坐标位置构成的集合，表示{φ_i,m(x,y)}中像素值最小的q％的像素点的总个数，表示{φ_i,m(x,y)}中像素值最小的q％的像素点的坐标位置构成的集合。

A5、将χ_i,m、κ_i,m、σ_i,m和按顺序进行排列构成F_i,m。

①-3、采用现有的排序学习方法求解$$ \begin{array}{cc}\min & \left(\frac{1}{2}\right|\left|w^T\right|{|}_2^2+{\mathrm{\&lambda;}}_1{{\mathrm{\&Sigma;\&delta;}}_1}^2+{\mathrm{\&lambda;}}_2{{\mathrm{\&Sigma;\&delta;}}_2}^2)\\ s.t.& w^T{F}_{i,m}-w^T{F}_{i+1,n}\&GreaterEqual;1-{\mathrm{\&delta;}}_1,\&ForAll;i\&Element;\{1,2,3,4\},\&ForAll;m,n\&Element;\{1,2,...,M\}\\ & |w^T{F}_{i,m}-w^T{F}_{i,n}|\&le;{\mathrm{\&delta;}}_2,\&ForAll;i\&Element;\{1,2,3,4,5\},\&ForAll;m,n\&Element;\{1,2,...,M\}\\ & {\mathrm{\&delta;}}_1\&GreaterEqual;0,{\mathrm{\&delta;}}_2\&GreaterEqual;0\end{array},$$得到最优的权值矢量，记为w^opt，其中，min()为取最小值函数，w表示权值矢量，w^T为w的转置矢量，符号“||||₂”为矩阵的2-范数符号，λ₁和λ₂均为控制参数，在本实施例中取λ₁＝λ₂＝0.5，δ₁和δ₂均为误差参数，且δ₁≠δ₂，在本实施例中取δ₁＝0.15，δ₂＝0.08，s.t.表示“受约束于”，F_i+1,n表示由针对第i+1个视觉舒适度等级选取的M幅立体图像构成的集合C_i+1中的第n幅立体图像S_i+1,n的用于反映视觉舒适度的特征矢量，符号表示“任意”，符号“||”为取绝对值符号，F_i,n表示C_i中的第n幅立体图像S_i,n的用于反映视觉舒适度的特征矢量。

①-4、利用得到的最优的权值矢量w^opt，构造视觉舒适度排序模型，记为f(F)，f(F)＝(w^opt)^TF，其中，f()为函数表示形式，F用于表示立体图像的用于反映视觉舒适度的特征矢量，且作为视觉舒适度排序模型的输入特征矢量，(w^opt)^T为w^opt的转置矢量。

所述的测试阶段的具体步骤为：

②对于任意一幅测试立体图像S_test，按照步骤①-2的过程，以相同的操作获取S_test的用于反映视觉舒适度的特征矢量，记为F_test；然后根据训练阶段构造的视觉舒适度排序模型f(F)＝(w^opt)^TF，对F_test进行测试，预测得到F_test对应的排序值，将该排序值作为S_test的视觉舒适度客观评价预测值，记为Q_test。

在此，F_test的获取过程为：

B1、采用现有的基于光流的视差估计算法计算S_test的左视点图像与右视点图像之间的视差图像，记为{d_test(x′,y′)}，其中，1≤x′≤W′，1≤y′≤H′，W′表示S_test的宽度，H′表示S_test的高度，d_test(x,y)表示{d_test(x,y)}中坐标位置为(x′,y′)的像素点的像素值。

然后采用现有的视差转换算法对{d_test(x′,y′)}进行视差转换，得到S_test的角视差图像，记为{φ_test(x′,y′)}，其中，φ_test(x′,y′)表示{φ_test(x′,y′)}中坐标位置为(x′,y′)的像素点的像素值，如果φ_test(x′,y′)>0，则表示S_test中坐标位置为(x′,y′)的像素点在显示时成像在屏幕前，如果φ_test(x′,y′)<0，则表示S_test中坐标位置为(x′,y′)的像素点在显示时成像在屏幕后，如果φ_test(x′,y′)＝0，则表示S_test中坐标位置为(x′,y′)的像素点在显示时恰好成像在屏幕上。

接着计算S_test的双目融合特征图，记为{BF_test(x′,y′)}，其中，BF_test(x′,y′)表示{BF_test(x′,y′)}中坐标位置为(x′,y′)的像素点的像素值，

再计算{BF_test(x′,y′)}中的所有像素点的像素值的均值方差和熵值$$ \begin{array}{cc}{\mathrm{\&mu;}}_{test}^{\left(BF\right)}=\frac{1}{H^{\&prime;}\&times;W^{\&prime;}}\underset{y^{\&prime;}=1}{\overset{H^{\&prime;}}{\&Sigma;}}\underset{x^{\&prime;}=1}{\overset{W^{\&prime;}}{\&Sigma;}}{\mathrm{BF}}_{test}(x^{\&prime;},y^{\&prime;}),& {\mathrm{\&upsi;}}_{test}^{\left(BF\right)}=\frac{1}{H^{\&prime;}\&times;W^{\&prime;}}\underset{y^{\&prime;}=1}{\overset{H^{\&prime;}}{\&Sigma;}}\underset{x^{\&prime;}=1}{\overset{W^{\&prime;}}{\&Sigma;}}{\left({\mathrm{BF}}_{test}\right(x^{\&prime;},y^{\&prime;})-{\mathrm{\&mu;}}_{test}^{\left(BF\right)})}^2\end{array},$$$$ {\mathrm{\&eta;}}_{test}^{\left(BF\right)}=-\underset{{l_1}^{\&prime;}=1}{\overset{{k_1}^{\&prime;}}{\&Sigma;}}p\&lsqb;{\mathrm{BF}}_{test}\left({l_1}^{\&prime;}\right)\&rsqb;ln(p\&lsqb;{\mathrm{BF}}_{test}({l_1}^{\&prime;})\&rsqb;),1\&le;{l_1}^{\&prime;}\&le;{k_1}^{\&prime;},$$k₁′为{BF_test(x′,y′)}中所包含的灰度级的总数目，BF_test(l₁′)表示{BF_test(x′,y′)}中的第l₁′个灰度级的灰度值，p[BF_test(l₁′)]表示BF_test(l₁′)在{BF_test(x′,y′)}中出现的概率，表示{BF_test(x′,y′)}中像素值等于BF_test(l₁′)的像素点的总个数。

B2、计算S_test的离焦模糊特征图，记为{DB_test(x′,y′)}，其中，DB_test(x′,y′)表示{DB_test(x′,y′)}中坐标位置为(x′,y′)的像素点的像素值，$$ {\mathrm{DB}}_{test}(x^{\&prime;},y^{\&prime;})=|\frac{R\&times;r_0}{D_{test}(x_0,y_0)}\&times;(1-\frac{D_{test}(x_0,y_0)}{D_{test}(x,y)})|,$$D_test(x₀,y₀)表示人眼观看S_test时会聚点(x₀,y₀)的深度值，会聚点(x₀,y₀)的位置根据现有的视觉显著性检测方法确定，D_test(x′,y′)表示S_test的深度图{D_test(x′,y′)}中坐标位置为(x′,y′)的像素点的像素值，{D_test(x′,y′)}可以由S_test的左视点图像与右视点图像之间的视差图像{d_test(x′,y′)}转换得到，$$ D_{test}(x^{\&prime;},y^{\&prime;})=\frac{V}{1+\frac{I\&times;R_x}{d_{test}(x^{\&prime;},y^{\&prime;})\&times;W_x}}.$$

然后计算{DB_test(x′,y′)}中的所有像素点的像素值的均值方差和熵值$$ \begin{array}{cc}{\mathrm{\&mu;}}_{test}^{\left(DB\right)}=\frac{1}{H^{\&prime;}\&times;W^{\&prime;}}\underset{y^{\&prime;}=1}{\overset{H^{\&prime;}}{\&Sigma;}}\underset{x^{\&prime;}=1}{\overset{W^{\&prime;}}{\&Sigma;}}{\mathrm{DB}}_{test}(x^{\&prime;},y^{\&prime;}),& {\mathrm{\&upsi;}}_{test}^{\left(DB\right)}=\frac{1}{H^{\&prime;}\&times;W^{\&prime;}}\underset{y^{\&prime;}=1}{\overset{H^{\&prime;}}{\&Sigma;}}\underset{x^{\&prime;}=1}{\overset{W^{\&prime;}}{\&Sigma;}}{\left({\mathrm{DB}}_{test}\right(x^{\&prime;},y^{\&prime;})-{\mathrm{\&mu;}}_{test}^{\left(DB\right)})}^2\end{array},$$$$ {\mathrm{\&eta;}}_{test}^{\left(DB\right)}=-\underset{{l_2}^{\&prime;}=1}{\overset{{k_2}^{\&prime;}}{\&Sigma;}}p\&lsqb;{\mathrm{DB}}_{test}\left({l_2}^{\&prime;}\right)\&rsqb;ln(p\&lsqb;{\mathrm{DB}}_{test}({l_2}^{\&prime;})\&rsqb;),$$其中，1≤l₂′≤k₂′，k₂′为{DB_test(x′,y′)}中所包含的灰度级的总数目，DB_test(l₂′)表示{DB_test(x′,y′)}中的第l₂′个灰度级的灰度值，p[DB_test(l₂′)]表示DB_test(l₂′)在{DB_test(x′,y′)}中出现的概率，表示{DB_test(x′,y′)}中像素值等于DB_test(l₂′)的像素点的总个数。

B3、采用现有技术计算S_test的左视点图像的相位一致性图作为其空间频率特征图，记为{SF_test(x′,y′)}，其中，SF_test(x′,y′)表示{SF_test(x′,y′)}中坐标位置为(x′,y′)的像素点的像素值。

然后计算{SF_test(x′,y′)}中的所有像素点的像素值的均值方差和熵值$$ \begin{array}{cc}{\mathrm{\&mu;}}_{test}^{\left(SF\right)}=\frac{1}{H^{\&prime;}\&times;W^{\&prime;}}\underset{y^{\&prime;}=1}{\overset{H^{\&prime;}}{\&Sigma;}}\underset{x^{\&prime;}=1}{\overset{W^{\&prime;}}{\&Sigma;}}{\mathrm{SF}}_{test}(x^{\&prime;},y^{\&prime;}),& {\mathrm{\&upsi;}}_{test}^{\left(SF\right)}=\frac{1}{H^{\&prime;}\&times;W^{\&prime;}}\underset{y^{\&prime;}=1}{\overset{H^{\&prime;}}{\&Sigma;}}\underset{x^{\&prime;}=1}{\overset{W^{\&prime;}}{\&Sigma;}}{\left({\mathrm{SF}}_{test}\right(x^{\&prime;},y^{\&prime;})-{\mathrm{\&mu;}}_{test}^{\left(SF\right)})}^2\end{array},$$$$ {\mathrm{\&eta;}}_{test}^{\left(SF\right)}=-\underset{{l_3}^{\&prime;}=1}{\overset{{k_3}^{\&prime;}}{\&Sigma;}}p\&lsqb;{\mathrm{SF}}_{test}\left({l_3}^{\&prime;}\right)\&rsqb;ln(p\&lsqb;S_t{F}_{test}({l_3}^{\&prime;})\&rsqb;),$$其中，1≤l₃′≤k₃′，k₃′为{SF_test(x′,y′)}中所包含的灰度级的总数目，SF_test(l₃′)表示{SF_test(x′,y′)}中的第l₃′个灰度级的灰度值，p[SF_test(l₃′)]表示SF_test(l₃′)在{SF_test(x′,y′)}中出现的概率，表示{SF_test(x′,y′)}中像素值等于SF_test(l₃′)的像素点的总个数。

B4、从{φ_test(x′,y′)}中提取出四个与视觉舒适度相关的视差统计特征，分别为{φ_test(x′,y′)}中像素值最大的q％的像素点的像素值的均值χ_test、{φ_test(x′,y′)}中像素值最小的q％的像素点的像素值的均值κ_test、{φ_test(x′,y′)}的视差离差σ_test、{φ_test(x′,y′)}的视差偏斜度$$ {\mathrm{\&sigma;}}_{test}=\sqrt{\frac{1}{H^{\&prime;}\&times;W^{\&prime;}}\underset{y^{\&prime;}=1}{\overset{H^{\&prime;}}{\&Sigma;}}\underset{x^{\&prime;}=1}{\overset{W^{\&prime;}}{\&Sigma;}}{\&lsqb;{\mathrm{\&phi;}}_{test}(x^{\&prime;},y^{\&prime;})\&rsqb;}^2},$$其中，表示{φ_test(x′,y′)}中像素值最大的q％的像素点的总个数，表示{φ_test(x′,y′)}中像素值最大的q％的像素点的坐标位置构成的集合，表示{φ_test(x′,y′)}中像素值最小的q％的像素点的总个数，表示{φ_test(x′,y′)}中像素值最小的q％的像素点的坐标位置构成的集合。

B5、将χ_test、κ_test、σ_test和按顺序进行排列构成F_test。

在本实施例中，采用宁波大学建立的立体图像数据库中剩下的150幅立体图像作为测试立体图像，该立体图像数据库包含立体图像以及对应的视差图像，该立体图像数据库包含了各种场景深度的室内和室外图像，并给出了每幅立体图像的视觉舒适度的平均主观评分均值。利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson线性相关系数(Pearsonlinearcorrelationcoefficient，PLCC)、Spearman秩等级相关系数(Spearmanrankordercorrelationcoefficient，SROCC)、Kendall秩等级相关系数(Kendallrank-ordercorrelationcoefficient，KROCC)、均方根误差(Rootmeansquarederror，RMSE)，PLCC和RMSE反映客观评价预测值的准确性，SROCC和KROCC反映其单调性。将利用本发明方法计算得到的150幅立体图像各自的视觉舒适度客观评价预测值做五参数Logistic函数非线性拟合，PLCC、SROCC和KROCC值越高、RMSE值越小说明本发明方法的评价结果与视觉舒适度的平均主观评分均值的相关性越好。表1给出了采用不同舒适度特征组合得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性，从表1中可以看出，只采用部分特征组合得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性并不是最优的，这说明了本发明方法提取的特征信息是有效的，同时也说明了本发明方法建立的基于排序学习的视觉舒适度排序模型是准确的，使得得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性更强，这足以说明本发明方法是可行且有效的。

表1采用不同特征组合得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性

上述表1中，F¹代表第1种特征组合情况下立体图像的特征矢量，F¹由立体图像的双目融合特征图中的所有像素点的像素值的均值μ^(BF)、方差υ^(BF)和熵值η^(BF)构成；F²代表第2种特征组合情况下立体图像的特征矢量，F²由立体图像的离焦模糊特征图中的所有像素点的像素值的均值μ^(DB)、方差υ^(DB)和熵值η^(DB)构成；F³代表第3种特征组合情况下立体图像的特征矢量，F³由立体图像的左视点图像的空间频率特征图中的所有像素点的像素值的均值μ^(SF)、方差υ^(SF)和熵值η^(SF)构成；F⁴代表第4种特征组合情况下立体图像的特征矢量，F⁴由立体图像的角视差图像中像素值最大的q％的像素点的像素值的均值χ、立体图像的角视差图像中像素值最小的q％的像素点的像素值的均值κ、立体图像的角视差图像的视差离差σ和立体图像的角视差图像的视差偏斜度构成；F代表利用本发明方法得到的立体图像的特征矢量。