一种立体图像质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种立体图像质量客观评价方法。

背景技术

随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。由于采集系统、存储压缩及传输设备的影响，立体图像会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时保证两个通道的图像质量，对其进行质量评价具有非常重要的意义。然而，目前对立体图像质量缺乏有效的客观评价方法进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。

立体图像质量客观评价方法主要可以分为两类：1)基于立体感知的左右通道图像质量评价，立体感知评价通过视差或深度信息来反映，然而由于目前视差/深度估计技术的局限，如何有效地对深度图像或视差图像质量进行评价以真实地表征立体感知特性，仍然是立体图像质量客观评价中的难点问题之一；2)将平面图像质量评价方法直接应用于评价立体图像质量，然而对立体图像的左右视点图像进行融合产生立体感的过程还难以用简单的数学方法来表示，并且左右视点图像之间还存在相互影响，对左右视点图像进行简单线性加权难以有效地评价立体图像质量。因此，研究符合人类视觉特性的立体图像质量客观评价方法是一个重要的研究问题。

发明内容

本发明所要解决的技术问题是提供一种能够有效提高客观评价结果与主观感知的相关性的立体图像质量客观评价方法。

本发明解决上述技术问题所采用的技术方案为：一种立体图像质量客观评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为L_org，将S_org的右视点图像记为R_org，将S_dis的左视点图像记为L_dis，将S_dis的右视点图像记为R_dis；

②对L_org、R_org、L_dis和R_dis4幅图像分别实施奇异值分解，分别得到L_org、R_org、L_dis和R_dis4幅图像各自对应的奇异值矢量，将L_org的奇异值矢量记为将R_org的奇异值矢量记为将L_dis的奇异值矢量记为将R_dis的奇异值矢量记为其中，各个奇异值矢量的维数为m，m＝min(M，N)，min()为取最小值函数，M表示图像的水平尺寸大小，N表示图像的垂直尺寸大小；

③计算L_org的奇异值矢量与L_dis的奇异值矢量的绝对差矢量，记为X^L，将X^L作为L_dis的特征矢量，计算R_org的奇异值矢量与R_dis的奇异值矢量的绝对差矢量，记为X^R，将X^R作为R_dis的特征矢量，其中，“||”为取绝对值符号；

④对L_dis的特征矢量X^L和R_dis的特征矢量X^R进行线性加权，得到S_dis的特征矢量，记为X，X＝w_LX^L+w_RX^R，其中，w_L表示L_dis的权值比重，w_R表示R_dis的权值比重，w_L+w_R＝1；

⑤采用n幅无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0，100]，n≥1；

⑥采用与计算S_dis的特征矢量X相同的方法，分别计算失真立体图像集合中每幅失真的立体图像的特征矢量，对于失真立体图像集合中第i幅失真的立体图像的特征矢量，将其记为X_i，其中，1≤i≤n′，n′表示失真立体图像集合中包含的失真的立体图像的幅数；

⑦采用支持向量回归对失真立体图像集合中相同失真类型的所有的失真的立体图像的特征矢量进行训练，并利用训练得到的支持向量回归训练模型对同一失真类型的每幅失真的立体图像进行测试，计算得到失真立体图像集合中相同失真类型的每幅失真的立体图像的客观质量评价预测值，对于失真立体图像集合中第i幅失真的立体图像的客观质量评价预测值，将其记为Q_i，Q_i＝f(X_i)，f()为函数表示形式，Q_i＝f(X_i)表示Q_i为X_i的函数。

所述的步骤②的具体过程为：

②-1、将尺寸大小为M×N的L_org表示为M×N维的二维矩阵，记为通过奇异值分解将M×N维的二维矩阵表示为其中，表示M×M维的正交矩阵，表示N×N维的正交矩阵，表示的转置矩阵，表示M×N维的对角矩阵；

②-2、将M×N维的对角矩阵的对角元素作为M×N维的二维矩阵的奇异值，从M×N维的二维矩阵的奇异值中取出m个非零的奇异值构成L_org的奇异值矢量，记为其中，m＝min(M，N)，min()为取最小值函数；

②-3、对R_org、L_dis和R_dis采用与步骤②-1至②-2相同的操作，获取R_org、L_dis和R_dis的奇异值矢量，分别记为和

所述的步骤⑦的具体过程为：

⑦-1、将失真立体图像集合中同一失真类型的所有的失真的立体图像分成互不相交的5组子集，任意选择其中的4组子集构成训练样本数据集合，记为Ω_q，{X_k，DMOS_k}∈Ω_q，其中，q表示训练样本数据集合Ω_q中包含的失真的立体图像的幅数，X_k表示训练样本数据集合Ω_q中第k幅失真的立体图像的特征矢量，DMOS_k表示训练样本数据集合Ω_q中第k幅失真的立体图像的平均主观评分差值，1≤k≤q；

⑦-2、构造X_k的回归函数f(X_k)，其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矩阵，b为偏置项，表示训练样本数据集合Ω_q中第k幅失真的立体图像的特征矢量Xk的线性函数，D(X_k，X_l)为支持向量回归中的核函数，X_l为训练样本数据集合Ω_q中第l幅失真的立体图像的特征矢量，γ为核参数，用于反映输入样本值的范围，样本值的范围越大，γ值也就越大，exp()表示以e为底的指数函数，e＝2.71828183，“||||”为求欧式距离符号；

⑦-3、采用支持向量回归对训练样本数据集合Ω_q中所有的失真的立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为$$ (w^{\mathrm{opt}},b^{\mathrm{opt}}),(w^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(w,b)\∈\mathrm{\Ψ}}{\arg \min }\underset{k=1}{\overset{q}{\mathrm{\Σ}}}{(f\left(X_k\right)-D{\mathrm{MOS}}_k)}^2,$$利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为其中，Ψ表示对训练样本数据集合Ω_q中所有的失真的立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示最小化概率密度函数，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矩阵，表示支持向量回归训练模型的输入矢量X_inp的线性函数；

⑦-4、根据支持向量回归训练模型，对剩余1组子集中的每幅失真的立体图像进行测试，预测得到该组子集中每幅失真的立体图像的客观质量评价预测值，对于该组子集中第j幅失真的立体图像的客观质量评价预测值，将其记为Q_j，Q_j＝f(X_j)，其中，X_j表示该组子集中第j幅失真的立体图像的特征矢量，表示该组子集中第j幅失真的立体图像的线性函数；

⑦-5、根据步骤⑦-1至⑦-4的过程，分别对失真立体图像集合中不同失真类型的所有的失真的立体图像进行训练，得到失真立体图像集合中每幅失真的立体图像的客观质量评价预测值。

所述的步骤⑥中在计算JPEG压缩失真的立体图像的特征矢量过程中，取w_L＝0.50，w_R＝0.50；在计算JPEG2000压缩失真的立体图像的特征矢量过程中，取w_L＝0.15，w_R＝0.85；在计算高斯模糊失真的立体图像的特征矢量过程中，取w_L＝0.10，w_R＝0.90；在计算白噪声失真的立体图像的特征矢量过程中，取w_L＝0.20，w_R＝0.80；在计算H.264编码失真的立体图像的特征矢量过程中，取w_L＝0.10，w_R＝0.90。

与现有技术相比，本发明的优点在于：

1)本发明方法通过支持向量回归将立体图像的特征矢量映射到一个高维特征空间中，再在高维特征空间中进行线性估计，构造最优回归函数对立体图像的特征矢量进行测试，避免了对人类视觉系统的相关特性与机理的复杂模拟过程，并且由于训练样本和测试样本是相互独立的，可以避免测试结果对训练数据的过度依赖，从而能有效提高客观评价结果与主观感知的相关性。

2)本发明方法采用奇异值分解法获取立体图像的左视点图像和右视点图像的特征矢量，再根据立体图像的不同失真类型情况，采用不同的权值比重对其左视点图像和右视点图像的特征矢量进行线性加权，获得立体图像的特征矢量信息，获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的质量变化情况，能够很好地反映人眼的立体视觉掩蔽效应。

附图说明

图1为本发明方法的总体实现框图；

图2a为Akko(尺寸为640×480)立体图像的左视点图像；

图2b为Akko(尺寸为640×480)立体图像的右视点图像；

图3a为Altmoabit(尺寸为1024×768)立体图像的左视点图像；

图3b为Altmoabit(尺寸为1024×768)立体图像的右视点图像；

图4a为Balloons(尺寸为1024×768)立体图像的左视点图像；

图4b为Balloons(尺寸为1024×768)立体图像的右视点图像；

图5a为Doorflower(尺寸为1024×768)立体图像的左视点图像；

图5b为Doorflower(尺寸为1024×768)立体图像的右视点图像；

图6a为Kendo(尺寸为1024×768)立体图像的左视点图像；

图6b为Kendo(尺寸为1024×768)立体图像的右视点图像；

图7a为LeaveLaptop(尺寸为1024×768)立体图像的左视点图像；

图7b为LeaveLaptop(尺寸为1024×768)立体图像的右视点图像；

图8a为Lovebierd1(尺寸为024×768)立体图像的左视点图像；

图8b为Lovebier1(尺寸为1024×768)立体图像的右视点图像；

图9a为Newspaper(尺寸为1024×768)立体图像的左视点图像；

图9b为Newspaper(尺寸为1024×768)立体图像的右视点图像；

图10a为Puppy(尺寸为720×480)立体图像的左视点图像；

图10b为Puppy(尺寸为720×480)立体图像的右视点图像；

图11a为Soccer2(尺寸为720×480)立体图像的左视点图像；

图11b为Soccer2(尺寸为720×480)立体图像的右视点图像；

图12a为Horse(尺寸为720×480)立体图像的左视点图像；

图12b为Horse(尺寸为720×480)立体图像的右视点图像；

图13a为Xmas(尺寸为640×480)立体图像的左视点图像；

图13b为Xmas(尺寸为640×480)立体图像的右视点图像；

图14为失真立体图像集合中各个失真的立体图像的客观图像质量评价预测值与平均主观评分差值的散点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像质量客观评价方法，其总体实现框图如图1所示，其主要包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为L_org，将S_org的右视点图像记为R_org，将S_dis的左视点图像记为L_dis，将S_dis的右视点图像记为R_dis。

②对L_org、R_org、L_dis和R_dis4幅图像分别实施奇异值分解，分别得到L_org、R_org、L_dis和R_dis4幅图像各自对应的奇异值矢量，将L_org的奇异值矢量记为将R_org的奇异值矢量记为将L_dis的奇异值矢量记为将R_dis的奇异值矢量记为其中，各个奇异值矢量的维数为m，m＝min(M，N)，min()为取最小值函数，M表示图像的水平尺寸大小，N表示图像的垂直尺寸大小。

在本实施例中，步骤②的具体过程为：

②-1、将尺寸大小为M×N的L_org表示为M×N维的二维矩阵，记为通过奇异值分解将M×N维的二维矩阵表示为其中，表示M×M维的正交矩阵，表示N×N维的正交矩阵，表示的转置矩阵，表示M×N维的对角矩阵；

②-2、将M×N维的对角矩阵的对角元素作为M×N维的二维矩阵的奇异值，从M×N维的二维矩阵的奇异值中取出m个非零的奇异值构成L_org的奇异值矢量，记为其中，m＝min(M，N)，min()为取最小值函数；

②-3、对R_org、L_dis和R_dis采用与步骤②-1至②-2相同的操作，获取R_org、L_dis和R_dis的奇异值矢量，分别记为和

③计算L_org的奇异值矢量与L_dis的奇异值矢量的绝对差矢量，记为X^L，将X^L作为L_dis的特征矢量，计算R_org的奇异值矢量与R_dis的奇异值矢量的绝对差矢量，记为X^R，将X^R作为R_dis的特征矢量，其中，“||”为取绝对值符号。

④对L_dis的特征矢量X^L和R_dis的特征矢量X^R进行线性加权，得到S_dis的特征矢量，记为X，X＝w_LX^L+w_RX^R，其中，w_L表示L_dis的权值比重，w_R表示R_dis的权值比重，w_L+w_R＝1。

⑤采用n幅无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用现有的主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0，100]，n≥1。

在本实施例中，利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图10a和图10b构成的立体图像、图11a和图11b构成的立体图像、图12a和图12b构成的立体图像、图13a和图13b构成的立体图像共12幅(n＝12)无失真的立体图像建立了其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合共包括5种失真类型的312幅失真的立体图像，其中JPEG压缩的失真的立体图像共60幅，JPEG2000压缩的失真的立体图像共60幅，高斯模糊(Gaussian Blur)的失真的立体图像共60幅，白噪声(White Noise)的失真的立体图像共60幅，H.264编码的失真的立体图像共72幅。

⑥采用与计算S_dis的特征矢量X相同的方法，分别计算失真立体图像集合中每幅失真的立体图像的特征矢量，对于失真立体图像集合中第i幅失真的立体图像的特征矢量，将其记为X_i，其中，1≤i≤n′，n′表示失真立体图像集合中包含的失真的立体图像的幅数。

在此具体实施例中，根据人眼对不同失真类型的立体视觉掩蔽效应不一致的特性，对不同失真类型的立体图像的左视点图像和右视点图像设置不同的权值比重，在计算JPEG压缩失真的立体图像的特征矢量过程中，取w_L＝0.50，w_R＝0.50；在计算JPEG2000压缩失真的立体图像的特征矢量过程中，取w_L＝0.15，w_R＝0.85；在计算高斯模糊失真的立体图像的特征矢量过程中，取w_L＝0.10，w_R＝0.90；在计算白噪声失真的立体图像的特征矢量过程中，取w_L＝0.20，w_R＝0.80；在计算H.264编码失真的立体图像的特征矢量过程中，取w_L＝0.10，w_R＝0.90。

⑦由于失真的立体图像的特征矢量为高维空间矢量，需要在高维空间中构造线性决策函数来实现原空间中的非线性决策函数，支持向量回归(Support Vector Regression，SVR)是一种比较好的实现非线性高维空间转换的方法。采用支持向量回归对失真立体图像集合中相同失真类型的所有的失真的立体图像的特征矢量进行训练，并利用训练得到的支持向量回归训练模型对同一失真类型的每幅失真的立体图像进行测试，计算得到失真立体图像集合中相同失真类型的每幅失真的立体图像的客观质量评价预测值，对于失真立体图像集合中第i幅失真的立体图像的客观质量评价预测值，将其记为Q_i，Q_i＝f(X_i)，f()为函数表示形式，Q_i＝f(X_i)表示Q_i为X_i的函数。

在此具体实施例中，步骤⑦的具体过程为：

⑦-1、将失真立体图像集合中同一失真类型的所有的失真的立体图像分成互不相交的5组子集，任意选择其中的4组子集构成训练样本数据集合，记为Ω_q，{X_k，DMOS_k}∈Ω_q，其中，q表示训练样本数据集合Ω_q中包含的失真的立体图像的幅数，X_k表示训练样本数据集合Ω_q中第k幅失真的立体图像的特征矢量，DMOS_k表示训练样本数据集合Ω_q中第k幅失真的立体图像的平均主观评分差值，1≤k≤q；

⑦-2、构造X_k的回归函数f(X_k)，其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矩阵，b为偏置项，表示训练样本数据集合Ω_q中第k幅失真的立体图像的特征矢量X_k的线性函数，D(X_k，X_l)为支持向量回归中的核函数，X_l为训练样本数据集合Ω_q中第l幅失真的立体图像的特征矢量，γ为核参数，用于反映输入样本值的范围，样本值的范围越大，γ值也就越大，exp()表示以e为底的指数函数，e＝2.71828183，“||||”为求欧式距离符号；

在本实施例中，JPEG压缩失真、JPEG 2000压缩失真、高斯模糊失真、白噪声失真和H.264编码失真的γ值分别取42、52、54、130和116。

⑦-3、采用支持向量回归对训练样本数据集合Ω_q中所有的失真的立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt，b^opt)，$$ (w^{\mathrm{opt}},b^{\mathrm{opt}}),(w^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(w,b)\∈\mathrm{\Ψ}}{\arg \min }\underset{k=1}{\overset{q}{\mathrm{\Σ}}}{(f\left(X_k\right)-D{\mathrm{MOS}}_k)}^2,$$利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为其中，Ψ表示对训练样本数据集合Ω_q中所有的失真的立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示最小化概率密度函数，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矩阵，表示支持向量回归训练模型的输入矢量X_inp的线性函数；

⑦-4、根据支持向量回归训练模型，对剩余1组子集中的每幅失真的立体图像进行测试，预测得到该组子集中每幅失真的立体图像的客观质量评价预测值，对于该组子集中第j幅失真的立体图像的客观质量评价预测值，将其记为Q_j，Q_j＝f(X_j)，其中，X_j表示该组子集中第j幅失真的立体图像的特征矢量，表示该组子集中第j幅失真的立体图像的线性函数；

⑦-5、根据步骤⑦-1至⑦-4的过程，分别对失真立体图像集合中不同失真类型的所有的失真的立体图像进行训练，得到失真立体图像集合中每幅失真的立体图像的客观质量评价预测值。

采用图2a至图13b所示的12幅无失真的立体图像在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊、白噪声和H.264编码失真情况下的312幅失真的立体图像来分析本实施例得到的失真的立体图像的客观图像质量评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的2个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Correlation Coefficient，CC)、Spearman相关系数(Rank-Order Correlation Coefficient，ROCC)，CC反映失真的立体图像评价客观模型的准确性，ROCC反映其单调性。将按本实施例计算得到的失真的立体图像的客观图像评价质量预测值做四参数Logistic函数非线性拟合，CC和ROCC值越高说明客观评价方法与平均主观评分差值相关性越好。反映立体图像客观评价模型性能的CC、ROCC系数如表1所示，从表1所列的数据可知，按本实施例得到的失真的立体图像的最终的客观图像质量评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

图14给出了失真立体图像集合中各个失真的立体图像的客观图像质量评价预测值与平均主观评分差值的散点图，曲线由四参数Logistic函数非线性拟合得到，散点越集中，说明客观模型与主观感知的一致性越好。从图14中可以看出，采用本发明方法得到的散点图比较集中，与主观评价数据之间的吻合度较高。

表1本实施例得到的失真的立体图像的图像质量评价预测值与主观评分之间的相关性