一种立体图像视觉舒适度和深度感联合优化方法

技术领域

本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像视觉舒适度和深度感联合优化方法。

背景技术

随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量(QoE，QualityofExperience)已成为立体视频系统设计中的一个重要问题，而视觉舒适度(VC，VisualComfort)是影响立体视频的视觉体验质量的重要因素。目前，对立体视频/立体图像的质量评价研究主要考虑了内容失真对于图像质量的影响，而很少考虑视觉舒适度、深度感等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/立体图像的视觉舒适度和深度感联合优化方法对3D内容制作和后期处理具有十分重要的指导作用。

与常规的平面图像相比，观看基于视差形成的立体图像具有较强的立体感和沉浸感，但是长时间观看立体图像会出现头疼、视觉疲劳、视力模糊甚至恶心等症状。过大的双目视差、人眼焦点调节与辐辏机制冲突通常被认为是引起视觉不舒适的主要原因。人眼的双眼融合机制为具有水平视差的左、右眼物像融合成具有立体感的单一清晰物像提供了生理保证，然而如果水平视差过大，则会导致物像落在Panum融合区域外，人眼将无法正常形成双眼单视性，长时间观看容易造成严重的视觉疲劳。而与引起视觉不舒适的影响相比，较大的双目视差被认为是产生较强深度感的主要原因。因此，如何有效地对引起视觉不舒适和深度感的因素进行表征、以及如何在视觉舒适性和深度感之间进行平衡，都是在对立体图像进行视觉舒适度和深度感联合优化过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种立体图像视觉舒适度和深度感联合优化方法，其能够有效地提升观看者的深度感和视觉舒适性。

本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉舒适度和深度感联合优化方法，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段包括以下步骤：

①-1、选取不同舒适度等级的M幅宽度为W且高度为H的立体图像构成训练图像集，记为{S_m|1≤m≤M}，其中，M>5，S_m表示{S_m|1≤m≤M}中的第m幅立体图像；

①-2、计算{S_m|1≤m≤M}中的每幅立体图像的用于反映视觉舒适度的特征矢量，将S_m的用于反映视觉舒适度的特征矢量记为F_m，其中，F_m的维数为7，符号“[]”为矢量表示符号，χ_m表示S_m的左视差图像中的所有像素点的平均绝对视差幅值，表示S_m的左视差图像中的所有像素点的视差方差值，表示S_m的左视差图像中的所有像素点的视差范围，和对应表示S_m的左视差图像中的所有像素点的最大视差均值和最小视差均值，l_m表示S_m的左视差图像的相对视差，表示S_m的左视差图像的对象宽度；

①-3、根据{S_m|1≤m≤M}中的每幅立体图像的用于反映视觉舒适度的特征矢量和平均主观评分差值，采用支持向量回归作为机器学习的方法，获得舒适度客观预测函数，将以F_inp作为舒适度客观预测函数的输入矢量得到的舒适度客观预测值记为Φ(F_inp)，其中，Φ()为函数表示形式；

所述的测试阶段包括以下步骤：

②-1、将待处理的宽度为W且高度为H的立体图像的左视点图像及左视差图像对应记为{I_L(x,y)}及{d_L(x,y)}，其中，1≤x≤W，1≤y≤H，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；

②-2、采用K-mean聚类方法将{d_L(x,y)}分割成P个分割对象，其中，P≥1；然后计算{d_L(x,y)}中的每个分割对象中的所有像素点的平均视差值；接着按计算得到的平均视差值从小到大的顺序对{d_L(x,y)}中的所有分割对象进行排序，将排序后的分割对象构成的集合记为{R¹，…，Rⁱ，…，R^p}其中，R¹，…，Rⁱ，…，R^p表示{R¹，…，Rⁱ，…，R^p}中的第1个分割对象，…，第i个分割对象，…，第P个分割对象，1≤i≤P；

②-3、根据训练阶段获得的舒适度客观预测函数，逐个对{R¹，…，Rⁱ，…，R^p}中的每个分割对象进行视差调整，得到对应的经视差调整后的分割对象，由所有经视差调整后的分割对象构成{d_L(x,y)}经视差调整后的图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值；

②-4、根据训练阶段获得的舒适度客观预测函数，同步对中的所有分割对象进行视差调整，得到对应的视差调整后的分割对象，由所有视差调整后的分割对象构成经视差调整后的图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值；

②-5、计算经视差调整后的右视点图像，记为将中坐标位置为(x,y)的像素点的像素值记为其中，表示{I_L(x,y)}中坐标位置为的像素点的像素值；然后将{I_L(x,y)}和构成一幅新的立体图像。

所述的步骤①-2中的其中，1≤x≤W，1≤y≤H，d_m(x,y)表示S_m的左视差图像中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号，d_max表示S_m的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前1％的所有像素值的平均值，d_min表示S_m的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、后1％的所有像素值的平均值，表示S_m的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前10％的所有像素值对应的像素点的坐标位置构成的集合，表示S_m的左视差图像中的所有像素点的像素值按从小到大的顺序排序后、前10％的所有像素值对应的像素点的坐标位置构成的集合，max()为取最大值函数，1≤i≤P，P亦表示S_m的左视差图像中的分割对象的总个数，P≥1，N_i表示S_m的左视差图像中与第i个分割对象相邻的分割对象的总个数，1≤j≤N_i，r_i,j＝ε_i-ε_j，表示S_m的左视差图像中的第i个分割对象中的像素点的总个数，表示S_m的左视差图像中的第i个分割对象中的所有像素点的坐标位置构成的集合，表示S_m的左视差图像中与第i个分割对象相邻的第j个分割对象中的像素点的总个数，表示S_m的左视差图像中与第i个分割对象相邻的第j个分割对象中的所有像素点的坐标位置构成的集合，min()为取最小值函数，ln()表示以自然基数e为底的对数函数，L_i表示S_m的左视差图像中的第i个分割对象中的水平线的总个数，1≤u≤L_i，表示S_m的左视差图像中的第i个分割对象中的第u条水平线的宽度，

所述的S_m的左视差图像中的分割对象采用K-mean聚类方法获得。

所述的步骤②-3的具体过程为：

②-3a、将{R¹，…，Rⁱ，…，R^p}中当前待处理的第i个分割对象定义为当前分割对象，其中，i的初始值为1，1≤i≤P；

②-3b、计算当前分割对象中的每个像素点经视差调整后的像素值以得到对应的经视差调整后的分割对象，假设{d_L(x,y)}中坐标位置为(x,y)的像素点属于当前分割对象，则将该像素点经视差调整后的像素值记为其中，ρ_i表示当前分割对象中的所有像素点的视差调整参数，ρ_i通过求解得到，表示中与当前分割对象对应的分割对象的用于反映视觉舒适度的特征矢量，表示以作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，VC_GT为舒适度阈值，1≤j≤N_i'，N_i'表示{d_L(x,y)}中与第i个分割对象相邻的分割对象的总个数，符号“||”为取绝对值符号，max()为取最大值函数，表示中与当前分割对象对应的分割对象中的所有像素点的像素值的均值，μ_j表示{d_L(x,y)}中与当前分割对象相邻的第j个分割对象中的所有像素点的像素值的均值，d_JNDD()为最小可察觉视差变化阈值模型，d_JNDD(μ_j)＝α×D_JNDD(d)+β，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值；

②-3c、令i＝i+1，然后将{R¹，…，Rⁱ，…，R^p}中下一个待处理的分割对象作为当前分割对象，再返回步骤②-3b继续执行，直至{R¹，…，Rⁱ，…，R^p}中的所有分割对象处理完毕，由所有经视差调整后的分割对象构成{d_L(x,y)}经视差调整后的图像其中，i＝i+1中的“＝”为赋值符号。

所述的步骤②-4中的其中，θ_i表示中的第i个分割对象中的所有像素点的视差调整参数，θ_i通过求解得到，min()为取最小值函数，β_i和λ_i均为加权参数，表示中的第i个分割对象中的所有像素点的像素值的均值，表示中的第i个分割对象中的所有像素点的像素值的均值，符号“||||₂”为求2-范数符号，表示中与第i个分割对象相邻的第j个分割对象中的所有像素点的像素值的均值，ω₁为调节参数，max()为取最大值函数，N_i'亦表示中与第i个分割对象相邻的分割对象的总个数，d_JNDD()为最小可察觉视差变化阈值模型，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值，表示的用于反映视觉舒适度的特征矢量，表示以作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，VC_GT为舒适度阈值。

与现有技术相比，本发明的优点在于：

1)本发明方法通过训练得到舒适度客观预测函数，并以此训练得到的舒适度客观预测函数来预测得到局部分割对象和全局图像的舒适度预测值，作为视差调整的约束条件，从而能够较为精确地将立体图像的视觉舒适度从不舒适调整到舒适程度。

2)本发明方法在测试阶段包括两个主要过程，第一个过程为对待处理的立体图像的左视差图像中的所有分割对象逐个进行视差调整，第二个过程为对第一个过程得到的视差调整后的图像中的所有分割对象同步进行视差调整，接下来根据两次视差调整后得到的图像计算经视差调整后的右视点图像，再根据待处理的立体图像的左视点图像与经视差调整后的右视点图像获得新的立体图像，从而有效地提升了观看者的深度感和视觉舒适性。

附图说明

图1为本发明方法的总体实现框图；

图2a为“Image1”的原始立体图像的“红/绿”图；

图2b为图2a经视差调整后的立体图像的“红/绿”图；

图3a为“Image2”的原始立体图像的“红/绿”图；

图3b为图3a经视差调整后的立体图像的“红/绿”图；

图4a为“Image3”的原始立体图像的“红/绿”图；

图4b为图4a经视差调整后的立体图像的“红/绿”图；

图5a为“Image4”的原始立体图像的“红/绿”图；

图5b为图5a经视差调整后的立体图像的“红/绿”图；

图6a为“Image5”的原始立体图像的“红/绿”图；

图6b为图6a经视差调整后的立体图像的“红/绿”图；

图7a为“Image6”的原始立体图像的“红/绿”图；

图7b为图7a经视差调整后的立体图像的“红/绿”图；

图8a为“Image7”的原始立体图像的“红/绿”图；

图8b为图8a经视差调整后的立体图像的“红/绿”图；

图9a为“Image8”的原始立体图像的“红/绿”图；

图9b为图9a经视差调整后的立体图像的“红/绿”图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像视觉舒适度和深度感联合优化方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程；

所述的训练阶段包括以下步骤：

①-1、选取不同舒适度等级的M幅宽度为W且高度为H的立体图像构成训练图像集，记为{S_m|1≤m≤M}，其中，M>5，在本实施例中取M＝50，S_m表示{S_m|1≤m≤M}中的第m幅立体图像，符号“{}”为集合表示符号。

①-2、计算{S_m|1≤m≤M}中的每幅立体图像的用于反映视觉舒适度的特征矢量，将S_m的用于反映视觉舒适度的特征矢量记为F_m，其中，F_m的维数为7，符号“[]”为矢量表示符号，χ_m表示S_m的左视差图像中的所有像素点的平均绝对视差幅值，表示S_m的左视差图像中的所有像素点的视差方差值，表示S_m的左视差图像中的所有像素点的视差范围，和对应表示S_m的左视差图像中的所有像素点的最大视差均值和最小视差均值，l_m表示S_m的左视差图像的相对视差，表示S_m的左视差图像的对象宽度。

在此具体实施例中，步骤①-2中的其中，1≤x≤W，1≤y≤H，d_m(x,y)表示S_m的左视差图像中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号，d_max表示S_m的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前1％的所有像素值的平均值，d_min表示S_m的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、后1％的所有像素值的平均值，表示S_m的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前10％的所有像素值对应的像素点的坐标位置构成的集合，即表示将S_m的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前10％的像素值对应的像素点的总个数，表示S_m的左视差图像中的所有像素点的像素值按从小到大的顺序排序后、前10％的所有像素值对应的像素点的坐标位置构成的集合，即表示将S_m的左视差图像中的所有像素点的像素值按从小到大的顺序排序后、前10％的像素值对应的像素点的总个数，max()为取最大值函数，1≤i≤P，P亦表示S_m的左视差图像中的分割对象的总个数，P≥1，在本实施例中取P＝3，N_i表示S_m的左视差图像中与第i个分割对象相邻的分割对象的总个数，1≤j≤N_i，r_i,j＝ε_i-ε_j，表示S_m的左视差图像中的第i个分割对象中的像素点的总个数，S_m的左视差图像中的分割对象采用现有的K-mean聚类方法获得，即采用现有的K-mean聚类方法将S_m的左视差图像分割成P个分割对象，表示S_m的左视差图像中的第i个分割对象中的所有像素点的坐标位置构成的集合，表示S_m的左视差图像中与第i个分割对象相邻的第j个分割对象中的像素点的总个数，表示S_m的左视差图像中与第i个分割对象相邻的第j个分割对象中的所有像素点的坐标位置构成的集合，min()为取最小值函数，ln()表示以自然基数e为底的对数函数，e＝2.71828183...，L_i表示S_m的左视差图像中的第i个分割对象中的水平线的总个数，L_i的取值由S_m的左视差图像中的第i个分割对象的形状所决定，1≤u≤L_i，表示S_m的左视差图像中的第i个分割对象中的第u条水平线的宽度，的取值由S_m的左视差图像中的第i个分割对象的形状所决定，

①-3、根据{S_m|1≤m≤M}中的每幅立体图像的用于反映视觉舒适度的特征矢量和平均主观评分差值，采用支持向量回归作为机器学习的方法，获得舒适度客观预测函数，将以F_inp作为舒适度客观预测函数的输入矢量得到的舒适度客观预测值记为Φ(F_inp)，其中，Φ()为函数表示形式。

在此，根据立体图像的用于反映视觉舒适度的特征矢量和平均主观评分差值，采用支持向量回归作为机器学习的方法，获得舒适度客观预测函数的过程采用现有技术。

所述的测试阶段包括以下步骤：

②-1、将待处理的宽度为W且高度为H的立体图像的左视点图像及左视差图像对应记为{I_L(x,y)}及{d_L(x,y)}，其中，1≤x≤W，1≤y≤H，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值。

②-2、采用现有的K-mean聚类方法将{d_L(x,y)}分割成P个分割对象，其中，P≥1，在本实施例中取P＝3；然后计算{d_L(x,y)}中的每个分割对象中的所有像素点的平均视差值；接着按计算得到的平均视差值从小到大的顺序对{d_L(x,y)}中的所有分割对象进行排序，将排序后的分割对象构成的集合记为{R¹，…，Rⁱ，…，R^p}其中，R¹，…，Rⁱ，…，R^p表示{R¹，…，Rⁱ，…，R^p}中的第1个分割对象，…，第i个分割对象，…，第P个分割对象，1≤i≤P。

②-3、根据训练阶段获得的舒适度客观预测函数，逐个对{R¹，…，Rⁱ，…，R^p}中的每个分割对象进行视差调整，得到对应的经视差调整后的分割对象，由所有经视差调整后的分割对象构成{d_L(x,y)}经视差调整后的图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤②-3的具体过程为：

②-3a、将{R¹，…，Rⁱ，…，R^p}中当前待处理的第i个分割对象定义为当前分割对象，其中，i的初始值为1，1≤i≤P。

②-3b、计算当前分割对象中的每个像素点经视差调整后的像素值以得到对应的经视差调整后的分割对象，假设{d_L(x,y)}中坐标位置为(x,y)的像素点属于当前分割对象，则将该像素点经视差调整后的像素值记为其中，ρ_i表示当前分割对象中的所有像素点的视差调整参数，ρ_i通过求解得到，表示中与当前分割对象对应的分割对象的用于反映视觉舒适度的特征矢量，即表示中的第i个分割对象的用于反映视觉舒适度的特征矢量，的获取采用与步骤①-2相同的方式，即的维数为7，符号“[]”为矢量表示符号，表示中与当前分割对象对应的分割对象中的所有像素点的平均绝对视差幅值，表示中与当前分割对象对应的分割对象中的所有像素点的视差方差值，表示中与当前分割对象对应的分割对象中的所有像素点的视差范围，和对应表示中与当前分割对象对应的分割对象中的所有像素点的最大视差均值和最小视差均值，表示中与当前分割对象对应的分割对象的相对视差，表示中与当前分割对象对应的分割对象的对象宽度，表示以作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，VC_GT为舒适度阈值，在本实施例中取VC_GT＝4，1≤j≤N_i'，N_i'表示{d_L(x,y)}中与第i个分割对象相邻的分割对象的总个数，符号“||”为取绝对值符号，max()为取最大值函数，表示中与当前分割对象对应的分割对象中的所有像素点的像素值的均值，μ_j表示{d_L(x,y)}中与当前分割对象相邻的第j个分割对象中的所有像素点的像素值的均值，d_JNDD()为最小可察觉视差变化阈值模型，d_JNDD(μ_j)＝α×D_JNDD(d)+β，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值，在本实施例中f、L、Z_near和Z_far的值根据具体的测试序列确定。

②-3c、令i＝i+1，然后将{R¹，…，Rⁱ，…，R^p}中下一个待处理的分割对象作为当前分割对象，再返回步骤②-3b继续执行，直至{R¹，…，Rⁱ，…，R^p}中的所有分割对象处理完毕，由所有经视差调整后的分割对象构成{d_L(x,y)}经视差调整后的图像其中，i＝i+1中的“＝”为赋值符号。

②-4、根据训练阶段获得的舒适度客观预测函数，同步对中的所有分割对象进行视差调整，得到对应的视差调整后的分割对象，由所有视差调整后的分割对象构成经视差调整后的图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤②-4中的其中，θ_i表示中的第i个分割对象中的所有像素点的视差调整参数，θ_i通过求解得到，min()为取最小值函数，β_i和λ_i均为加权参数，在本实施例中取β₁＝0.5、β₂＝4、β₃＝2，λ₁＝λ₂＝λ₃＝4，表示中的第i个分割对象中的所有像素点的像素值的均值，表示中的第i个分割对象中的所有像素点的像素值的均值，符号“||||₂”为求2-范数符号，表示中与第i个分割对象相邻的第j个分割对象中的所有像素点的像素值的均值，ω₁为调节参数，在本实施例中取ω₁＝100，max()为取最大值函数，N_i'亦表示中与第i个分割对象相邻的分割对象的总个数，d_JNDD()为最小可察觉视差变化阈值模型，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值，在本实施例中f、L、Z_near和Z_far的值根据具体的测试序列确定，表示的用于反映视觉舒适度的特征矢量，表示以作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，的获取采用与步骤①-2相同的方式，即的维数为7，符号“[]”为矢量表示符号，表示中的所有像素点的平均绝对视差幅值，表示中的所有像素点的视差方差值，表示中的所有像素点的视差范围，和对应表示中的所有像素点的最大视差均值和最小视差均值，表示的相对视差，表示的对象宽度，VC_GT为舒适度阈值，在本实施例中取VC_GT＝4。

②-5、计算经视差调整后的右视点图像，记为将中坐标位置为(x,y)的像素点的像素值记为其中，表示{I_L(x,y)}中坐标位置为的像素点的像素值；然后将{I_L(x,y)}和构成一幅新的立体图像。

以下就利用本发明方法分别对韩国科学技术院(KAIST)提供的立体图像数据库(IVYLABStereoscopic3Dimagedatabase)中的Image1、Image2、Image3、Image4、Image5、Image6、Image7和Image8八幅立体图像进行视差调整，其中，Image1、Image2、Image3和Image4的原始立体图像为视觉不舒适，Image5、Image6、Image7和Image8的原始立体图像为视觉舒适。图2a给出了“Image1”的原始立体图像的“红/绿”图，图2b给出了图2a经视差调整后的立体图像的“红/绿”图；图3a给出了“Image2”的原始立体图像的“红/绿”图，图3b给出了图3a经视差调整后的立体图像的“红/绿”图；图4a给出了“Image3”的原始立体图像的“红/绿”图，图4b给出了图4a经视差调整后的立体图像的“红/绿”图；图5a给出了“Image4”的原始立体图像的“红/绿”图，图5b给出了图5a经视差调整后的立体图像的“红/绿”图；图6a给出了“Image5”的原始立体图像的“红/绿”图，图6b给出了图6a经视差调整后的立体图像的“红/绿”图；图7a给出了“Image6”的原始立体图像的“红/绿”图，图7b给出了图7a经视差调整后的立体图像的“红/绿”图；图8a给出了“Image7”的原始立体图像的“红/绿”图，图8b给出了“图8a经视差调整后的立体图像的“红/绿”图；图9a给出了“Image8”的原始立体图像的“红/绿”图，图9b给出了图9a经视差调整后的立体图像的“红/绿”图。从图2a至图9b中可以看出，对于视觉不舒适的原始立体图像，采用本发明方法得到的经调整后的立体图像，由于增加了视觉舒适度约束条件，明显增强了观看者的视觉舒适性；而对于视觉舒适的原始立体图像，采用本发明方法得到的经调整后的立体图像，由于增加了最小可察觉视差变化阈值约束条件，明显提升了观看者的深度感。