光电工程  2019, Vol. 46 Issue (9): 180446      DOI: 10.12086/oee.2019.180446     
基于对象的三维图像颜色传递与视差优化
李鹏飞 , 邵枫     
宁波大学信息科学与工程学院,浙江 宁波 315211
摘要:颜色传递是近年来图像处理和计算机视觉领域的热门研究问题,随着立体图像技术的发展,对于立体图像的颜色传递越来越受关注。本文提出一种双目立体图像的颜色传递方法,在完成颜色传递的同时力求提升用户的观看体验。根据用户实际需求,可以对目标对象进行颜色传递,而保持背景的颜色不改变。在本文提出的方法中,由用户指定图像对象,然后用图割的方法进行图像分割,根据所选对象与目标图像颜色特征的多元高斯模型匹配完成颜色传递。为了进一步增强观看效果,本文在颜色传递的同时进行非线性视差优化,从而提高目标对象的深度感。本文从不同立体图像库中随机选取图像进行实验,实验结果表明,本文方法中颜色传递和视差优化的结合,可以很好地提升立体图像的观看体验。
关键词立体图像    多元高斯模型    颜色传递    视差优化    
Stereoscopic color transfer and disparity remapping based on selected object
Li Pengfei, Shao Feng     
College of Information Science and Engineering, Ningbo University, Ningbo, Zhejiang 315211, China
Abstract: Color transfer has been a hot research issue in the field of image processing and computer vision in recent years. The main purpose is to transfer the color of a target image to source image so that the source image has the same or similar color features with the target image. In practical applications for the color transfer of binocular stereoscopic images, the user may only need to transfer the color of the selected object while keeping the background color unchanged. For this purpose, a color transfer method based on the selected object is proposed in this paper. In the method, by assigning the object of the image by user, the accurate object is segmented via graph cut, and the probability density curves of color distribution between the selected object and the target image are matched to accomplish the color transfer. In order to enhance the viewing experience provided for the user, a non-linear disparity optimization is performed after the color transfer operation. According to the histogram feature of disparity map, the disparity mapping function is calculated, and the target disparity is obtained to enhance the depth sensation of the selected object. The experimental results demonstrate that the combination of stereoscopic color transfer and disparity remapping effectively enhances the stereoscopic viewing experience.
Keywords: stereoscopic images    multivariate generalized Gaussian distribution (MGGD)    color transfer    disparity remapping    

1 引言

颜色传递是将指定的目标图像的颜色传递给源图像,具有较为广泛的应用前景,可用于图像的颜色校正、再渲染和艺术化处理等。近年来对颜色传递的研究,是基于统计学的方法进行处理。最早的颜色传递方法[1]是无参考的直方图匹配,之后的工作则是通过匹配累积密度函数进行颜色传递,然而基于直方图的整体方法容易产生视觉错误,为解决该问题,Pouli等[2]提出局部直方图匹配的方法。进一步,基于参数的颜色传递方法被提出,Reinhard等[3]最先提出图像的颜色服从高斯分布的假设,并通过两个单变量高斯分布的概率密度函数进行了颜色传递,但是这种方法仍然会产生错误的颜色。Pitie等[4]提出三维高斯分布模型,并通过计算M-K优化问题的闭式解[5]得到目标图像。Hristova等[6]则提出多区域的混合高斯模型,同时利用图像的亮度和色度信息进行颜色传递。Abadpour等[7]提出一种基于模糊主成分的颜色传递方法,由用户选定区域并设置相关参数,这种方法可以提高运行效率。Tai等[8]提出一种利用最大期望进行局部图像颜色传递的方法,通过概率分割得到局部区域,并且对分割区域用混合高斯建立模型,提高图像传递后的颜色一致性。Hristina等[9]提出用贝塔(beta)分布来描述图像颜色特征进行颜色传递。

双目立体视觉由于左右视图视差的存在,人类视觉系统会将场景汇聚在屏幕前或屏幕后。汇聚于屏幕前称为负视差,汇聚于屏幕后称为正视差,屏幕称为零视差平面。在零视差平面前后一个适当的范围内,称为视差舒适区域,超出这个范围称为不舒适区域,会产生视觉疲劳等不舒适观看效果。基于此,考虑对原始视差进行调整,使调整后的立体图像观看更舒适。视差调整模型有线性模型、非线性模型、梯度域模型等[10]

以上工作是对平面图像进行处理,本文提出双目立体图像的处理方法。立体图像处理的目的是要保持处理后的立体图像颜色传递效果一致并且有更好的观看体验。在观看立体图像时,由于左右视图视差的存在使得人们可以感知到深度信息。一般而言,越大的视差会带来越强烈的立体感,但是在人类视觉系统中对立体的感知有一个适当的范围,称之为舒适感知区域[11]。超出舒适区域的过大视差会给人带来头晕,视觉疲劳等不舒适现象,出现这样现象的原因在于立体图像本身的制作原理导致观看者双眼焦点调节和辐辏的严重冲突。鉴于此,考虑在进行颜色传递的同时进行非线性视差调整,使调整后的立体图像观看效果更舒适。

本文首先根据左右视图估计出视差图,并对视差图进行直方图统计,由统计结果计算出重要区域的视差范围,对该区域视差设定适当的目标值,对视差的平均显著计算积分得到适当的视差映射曲线,通过新的映射关系调整原视差到目标视差。其次,通过多维概率密度函数传递的方法对单视图进行颜色传递,这里可以根据需要由用户选定颜色传递的目标对象。最后,仅对选定的对象传递目标颜色,并结合调整后的视差图,绘制出目标图像,将处理后的左右视图复合成红蓝立体图。总的来说,本文的创新点有:1)不同于现有的平面图像颜色传递方法,针对立体图像的特点,设计出适合双目立体图像的颜色传递方案; 2)不同于整幅图像的颜色传递,本文根据用户需求有针对性地选择图像对象进行颜色传递; 3)本文将非线性视差优化与立体图像的颜色传递有机结合,实验结果表明,本文方法可以很好地提升观看体验。

2 基于对象的立体颜色传递与非线性视差优化方法

本文提出一种基于对象的立体颜色传递方法并创新性结合视差优化,产生具有更好观看体验的目标立体图像。方法流程如图 1所示,根据输入的左视图和右视图估计出立体图像的视差图,用户参考视差图像可选择出需要颜色传递的对象并做简单标记,对选择出的图像对象用图割(graph cut)方法完成分割,进而对所选对象进行颜色传递。为进一步提高观看体验,基于视差直方图统计优化视差,结合颜色传递后的左、右视图和优化后的目标视差,绘制出新的左、右视图,并复合成红蓝立体图。

图 1 基于对象的立体图像颜色传递与视差优化方法框图 Fig. 1 The proposed framework
2.1 基于用户选择对象的颜色传递

在实际应用中,用户可能不需要对整幅图像进行颜色传递,而是对于图像中某个对象感兴趣,需要对图像对象进行颜色传递,用户可以参考视差直方图交互地选取原图像区域,根据人眼视觉的特性,视差变化明显的区域更容易引起人们的注意,这样选取出来的对象与下文中视差优化的对象相一致,得到更好的视觉效果,然后用图割的方法分割出选择的对象,从而实现对所选区域的颜色传递。这里先介绍由用户选定对象的分割方法,再说明基于概率密度变换的颜色传递方法。

2.1.1 用户选取对象的分割

本文通过交互的方式由用户参考视差直方图选定需要进行颜色传递的对象,采用图割法进行图像分割。该方法通过交互定位一个或多个代表对象的点以及一个或多个代表背景的点来进行初始化,这些点称为种子并被用于分割的硬约束(hard constraints),另外软约束(soft constraints)则是反映边界和区域信息。分割结果则是通过对一个目标函数进行全局优化得到。令OB分别表示图像中对象和背景的像素点集合,I是所有像素集合,N表示所有的有向像素对$(p, q)$的集合,pq表示邻接像素关系,令每个图像像素${i_k}$${L_k} \in \{ o, b\} $中得到一个二值标签,这里ob分别表示物体和背景标签,标签向量${\mathit{\boldsymbol{L}}} = ({L_1}, {L_2}, \cdots , {L_I})$定义了二值分割结果。则目标函数可被定义为区域特性项$R({\mathit{\boldsymbol{L}}})$和边界特性项$B({\mathit{\boldsymbol{L}}})$的加权组合:

$C({\mathit{\boldsymbol{L}}}) = \lambda R({\mathit{\boldsymbol{L}}}) + B({\mathit{\boldsymbol{L}}}), $ (1)

其中:

$R({\mathit{\boldsymbol{L}}}) = \sum\limits_{p \in I} {{R_p}({{\mathit{\boldsymbol{L}}}_p})} , $ (2)
$B({\mathit{\boldsymbol{L}}}) = \sum\limits_{(p, q) \in N} {{B_{(p, q)}}\delta ({{\mathit{\boldsymbol{L}}}_p}{\mathit{\boldsymbol{, }}}{{\mathit{\boldsymbol{L}}}_q})}, $ (3)
$\delta ({{\mathit{\boldsymbol{L}}}_p}, {{\mathit{\boldsymbol{L}}}_q}) = \left\{ \begin{gathered} 1~~~~{\rm{ }} {{\mathit{\boldsymbol{L}}}_p} \ne {{\mathit{\boldsymbol{L}}}_q} \\ 0~~~~{\rm{ }}{{\mathit{\boldsymbol{L}}}_p} = {\rm{ }}{{\mathit{\boldsymbol{L}}}_q} \\ \end{gathered} \right., $ (4)

这里${R_p}(o)$可以理解为将像素p标记为物体的损失(cost),${R_p}(b)$是将同一像素标记为背景的损失,${B_{(p, q)}}$是关联到相邻像素pq的局部标签不一致的损失。分割结果如图 2所示,图中第一行表示源图像,第二行表示用图割方法得到相应对象的分割结果。

图 2 基于用户选定区域的图像分割方法。 Fig. 2 Graph cut method based on selected object. (a)源图像;(b)分割对象 (a) Source images; (b) Segmented objects
2.1.2 用多元概率密度函数变换进行颜色传递

多元高斯概率密度函数是一种多元指数分布,概率密度函数如下:

$f({\mathit{\boldsymbol{x}}}) = \frac{{{\rm{\Gamma }}(p/2)}}{{{{\rm{ \mathit{ π} }}^{p/2}}}}{h_{\mathit{\boldsymbol{\Sigma}} , \beta }}({\mathit{\boldsymbol{x}}} - \mu ), $ (5)
${h_{\mathit{\boldsymbol{\Sigma}} , \beta }}({\mathit{\boldsymbol{y}}}) = \frac{\beta }{{{2^{p/2\beta }}{{\left| \mathit{\boldsymbol{\Sigma}} \right|}^{\frac{1}{2}}}{\rm{\Gamma }}(p/2\beta )}}\exp \left[ { - \frac{{{{({{\mathit{\boldsymbol{y}}}^{\rm{T}}}{\mathit{\boldsymbol{\Sigma}} ^{ - 1}}{\mathit{\boldsymbol{y}}})}^\beta }}}{2}} \right], $ (6)

其中:${\mathit{\boldsymbol{x}}}, {\mathit{\boldsymbol{y}}} \in {R^p}, p \in N$$\mathit{\boldsymbol{\Sigma}} $是正定的散布矩阵,而$\mu $$\beta $分别代表均值向量和形状参数,$\left| \mathit{\boldsymbol{\Sigma}} \right|$表示行列式的值,$\Gamma ( \cdot )$表示伽马函数。这里形状参数$\beta $影响分布的松散情况,值越小,分布越松散。Pascal等[12]提出散布矩阵的表达方式为$\mathit{\boldsymbol{\Sigma}} = m{\mathit{\boldsymbol{M}}}$,其中m是多元高斯分布模型的尺度参数,${\mathit{\boldsymbol{M}}}$是满足矩阵的迹${\rm{tr}}({\mathit{\boldsymbol{M}}}) = p$的正定散布矩阵。

多元高斯概率密度函数的参数估计可以由下面的方法迭代得到:

$m = {(\frac{\beta }{{pN}}\sum\limits_{i = 1}^N {{{({\mathit{\boldsymbol{x}}}_i^{\rm{T}}{{\mathit{\boldsymbol{M}}}^{ - 1}}{{\mathit{\boldsymbol{x}}}_i})}^\beta }} )^{\frac{1}{\beta }}}, $ (7)
${\mathit{\boldsymbol{M}}} = \sum\limits_{i = 1}^N {\frac{p}{{{{\mathit{\boldsymbol{y}}}_i} + {\mathit{\boldsymbol{y}}}_i^{1 - \beta }{\Sigma _{j \ne i}}{\mathit{\boldsymbol{y}}}_j^\beta }}} {{\mathit{\boldsymbol{x}}}_i}{\mathit{\boldsymbol{x}}}_i^{\rm{T}}, $ (8)
$\alpha (\beta ) = \frac{{pN}}{{2\sum\limits_{i = 1}^N {{\mathit{\boldsymbol{y}}}_i^\beta } }}\sum\limits_{i{\rm{ = 1}}}^N {({\mathit{\boldsymbol{y}}}_i^\beta \ln ({{\mathit{\boldsymbol{y}}}_i}))} - \frac{{pN}}{{2\beta }}\ln (\frac{\beta }{{pN}}\sum\limits_{i{\rm{ = 1}}}^N {{\mathit{\boldsymbol{y}}}_i^\beta } )\\ - N - \frac{{pN}}{{2\beta }}(\psi (\frac{p}{{2\beta }}) + \ln 2) = 0, $ (9)

其中:${{\mathit{\boldsymbol{y}}}_i} = {\mathit{\boldsymbol{x}}}_i^{\rm{T}}{{\mathit{\boldsymbol{M}}}^{ - 1}}{{\mathit{\boldsymbol{x}}}_i}$$\psi ( \cdot )$是Digamma函数,可以用递归算法[13]计算出${\mathit{\boldsymbol{M}}}$$\beta $的最大似然估计值,由Newton-Raphson迭代直到算法收敛,最后由${\mathit{\boldsymbol{M}}}$$\beta $的估计值代入计算m。令${\mathit{\boldsymbol{U}}} = ({u_1}, ..., {u_N}), {u_i} \in {R^p}, i \in \{ 1, ..., N\} $表示输入图像颜色特征,${\mathit{\boldsymbol{V}}} = ({v_1}, ..., {v_L}), {v_j} \in {R^p}, j \in \{ 1, ..., L\} $表示输出图像的颜色特征,且都服从零均值多元高斯分布(multivariate generalized Gaussian distribution,MGGD),${\mathit{\boldsymbol{U}}}\sim MGGD({{\mathit{\boldsymbol{M}}}_{\mathit{\boldsymbol{U}}}}, {m_{\mathit{\boldsymbol{U}}}}, {\beta _{\mathit{\boldsymbol{U}}}})$${\mathit{\boldsymbol{V}}}\sim MGGD({{\mathit{\boldsymbol{M}}}_{\mathit{\boldsymbol{V}}}}, {m_{\mathit{\boldsymbol{V}}}}, {\beta _{\mathit{\boldsymbol{V}}}})$,其中输入和输出的参数可以由上面提出的递归算法估计得到。本文采用Hristina等[14]提出的MGGD变换方法,使输出图像颜色特征的多元高斯模型参数近似等于目标图像颜色特征的多元高斯模型参数。变换过程如下:

${T_{{\mathit{\boldsymbol{U}}} \mapsto {\mathit{\boldsymbol{V}}}}}:{u_i} \mapsto {K_i}{u_i} , $
${K_i} = \frac{{{{({m_{\mathit{\boldsymbol{V}}}}/{m_{\mathit{\boldsymbol{U}}}})}^{1/2}}{{\hat \tau }_{{{\rm{g}}_i}}}}}{{\left\| {{{({m_{\mathit{\boldsymbol{V}}}}{{\mathit{\boldsymbol{M}}}_{\mathit{\boldsymbol{V}}}})}^{ - 1/2}}{w_i}} \right\|}}$
$ \times {{\mathit{\boldsymbol{M}}}_{\mathit{\boldsymbol{U}}}}^{ - 1/2}{({{\mathit{\boldsymbol{M}}}_{\mathit{\boldsymbol{U}}}}^{1/2}{{\mathit{\boldsymbol{M}}}_{\mathit{\boldsymbol{V}}}}{{\mathit{\boldsymbol{M}}}_{\mathit{\boldsymbol{U}}}}^{1/2})^{1/2}}{{\mathit{\boldsymbol{M}}}_{\mathit{\boldsymbol{U}}}}^{ - 1/2}, $ (10)

其中:${\hat \tau _{{{\rm{g}}_i}}}$${w_i}$分别表示MGGD变换过程中的随机向量,可在迭代过程中计算得出。本文运用MGGD进行图像颜色特征建模比相关工作中采用的MGD模型更具一般性。实际上,MGD是MGGD当形状参数$\beta {\rm{ = }}1$时的特殊情况。

将上面介绍的多元概率密度函数变换应用到颜色传递中[15],一幅图像的颜色特征近似服从高斯分布。图 3(a)表示源图像颜色分布模型,图 3(b)表示目标图像颜色分布模型,通过递归算法迭代地计算出高斯分布的参数,则可利用多元高斯模型变换方法使输入图像的颜色特征尽可能逼近目标图像的颜色特征,从而完成对源图像的颜色传递。

图 3 颜色分布模型变换。 Fig. 3 Color distribution transformation. (a)源图像颜色特征模型;(b)目标图像颜色特征模型 (a) Source color distribution; (b) Target color distribution
2.2 非线性视差优化

对数形式的全局非线性视差映射函数[16]

${\phi _n}(d) = \log (1 + s \times d), $ (11)

其中:s是一个适当的缩放因子。另一种局部考虑的非线性映射函数表示为

${\phi_{\rm{a}}}(d) = \left\{ \begin{gathered} {\phi_0}(d), \;\;d \in {\mathit{\Omega} _0} \\ ... \\ {\phi_n}(d), \;\;d \in {\mathit{\Omega} _n} \\ \end{gathered} \right.。$ (12)

这种分段非线性映射函数的一种求解方法是通过视差的直方图判断出主要深度区域,或者通过视觉显著取得视差图的主要区域。本文采用直方图的方式进行计算,得到的重要区域显著值即对应的视差映射函数的一阶微分${\phi _{\rm{a}}}^\prime (d)$,则非线性映射函数积分如下:

${\phi _{\rm{a}}}(d) = \int_0^d {{\phi _{\rm{a}}}^\prime (x)} {\rm{d}}x。$ (13)

本文用Sun等[17]提出的方法估计出左右视图的视差图,根据视差图的直方图判断视差的平均显著性。视差直方图中占比越高的视差在视差图中重要性越明显,应当给高占比的这部分视差赋值较大权重,同时根据直方图分布判断视差重要度较低的部分,给重要度较低的这部分视差赋较小的权重,权重大小根据图像内容和期望调整的目标决定,得到的映射关系即${\phi _{\rm{a}}}^\prime (d)$,对这个映射关系求积分${\phi _{\rm{a}}}(d) = \int_0^d {{\phi _{\rm{a}}}^\prime (x)} {\rm{d}}x$得到非线性视差映射函数。从图 4的非线性视差映射关系中可以看到,图 4(b)是由图 4(a)中原始视差图像得到的视差直方图,对照图 4(c)中的视差映射关系曲线可以看到视差直方图中所占比例较大的视差范围被相应地放大,而视差直方图中所占比例较小的视差范围变化相对较小。这样不会因为追求强烈的深度感而给观看者带来视觉不适。通过非线性的视差映射提升对象区域的深度感,保持或较小提升非目标区域的视差以保持观看舒适度。

图 4 非线性视差映射关系示意。 Fig. 4 Nonlinear disparity mapping. (a)源视差图;(b)视差直方图;(c)视差映射关系 (a) Source disparity; (b) Disparity histogram; (c) Disparity mapping

本文根据原始视差图的统计特征和图像的具体内容进行非线性视差调整,对比发现目标对象的视差有明显的提升,增强深度感,同时保持背景部分较低重要度的视差不做变化或有较小程度的提升。如图 5所示,图 5(b)是由图 5(a)中的立体图像估计出的视差图,图 5(c)表示本文方法得到的视差映射关系曲线,优化后的目标视差图像展示在图 5(d)中。可以看到对象的视差得到了很好的提升,背景的视差则进行相对微弱的调整,结合人眼视觉系统的特性,既增强了观看对象的深度感又不会因为整体视差过大而导致视觉不舒适。

图 5 非线性视差映射效果。 Fig. 5 Nonlinear disparity mapping result. (a)立体图;(b)源视差;(c)视差映射关系;(d)目标视差 (a) Stereo images; (b) Source disparity; (c) Mapping function; (d) Target disparity
3 实验结果与分析

为验证方法的一般适用性,本文选用不同立体图像库中的图像进行实验。根据用户选定区域进行颜色传递,同时根据视差图的直方图统计选定视差图中较高重要程度视差和较低重要程度视差,根据视差图的内容和目标视差分别赋值适当权重,通过积分计算得到相应的视差映射关系。最后采用Shamir等[18]的绘制方法,计算出形变函数$({\omega _{\rm{l}}}, {\omega _{\rm{r}}})$,使得输入左右图像$({I_{\rm{l}}}, {I_{\rm{r}}})$和输出左右图像$({O_{\rm{l}}}, {O_{\rm{r}}})$的视差满足非线性视差优化关系$d({O_{\rm{l}}}, {O_{\rm{r}}}) = \varphi (d({I_{\rm{l}}}, {I_{\rm{r}}}))$,并绘制出满足目标视差的左、右视图。

3.1 基于对象的颜色传递和视差优化结果分析

图 6图 7分别展示了基于对象的颜色传递和对颜色传递后的图像进行视差优化的结果。基于用户需要选取对象的颜色传递比全局的颜色传递有更好的灵活性和表现效果,图 6展示了本文基于选取对象进行颜色传递的结果。将图 6(b)中目标图像的颜色特征传递给图 6(a)中源图像的选择对象,如图 6(c)中所示,从颜色传递结果图 6(d)中可以看到本文方法很好地完成对选择对象进行颜色传递。图 6(d)第一行中的雕塑,其背景的绿色树木保持不变,而仅对前景对象进行颜色传递,增强视觉效果的同时又保持真实感。图 6(d)第二行中的建筑物颜色发生变换,而不改变背景的颜色,使其更具表现力,可以适应不同场景的需要,有很好的视觉效果。

图 6 基于用户选择对象的颜色传递。 Fig. 6 Color transfer based on selected objects. (a)源图像;(b)目标图像;(c)选取对象;(d)颜色传递 (a) Source images; (b) Target images; (c) Selected objects; (d) The results

图 7 本文方法的结果。 Fig. 7 Results of the proposed method. (a)左视图;(b)右视图;(c)目标视差;(d)本文结果 (a) Left view image; (b) Right view image; (c) Target disparity; (d) Our results

图 7表示基于对象的颜色传递左视图和右视图,如图 7(a)图 7(b)所示,结合图 7(c)中调整后的视差图,利用网格的方法绘制出满足目标视差的新的左、右视图,图 7(d)展示了本文处理后的红蓝立体图。可以看到,基于用户选取对象的颜色传递结合非线性视差调整在双目立体图像处理中可以产生很好的视觉效果,既满足用户只传递对象颜色的客观需要又增强了观看舒适性。

3.2 与线性视差优化方法的比较

图 8(a)表示不对视差进行处理,保持原始视差不变,图 8(b)表示用线性视差调整的方法[13]得到的结果,图 8(c)是本文方法得到的结果。每张图片右上角是放大的细节部分。通过实验对比可以发现,图 8(b)线性视差调整只能对原视差进行等比例放缩,而且对象和背景是同时放缩,并不能有效突显出对象的深度感,而图 8(c)中用非线性视差调整的方法解决了这样的问题,突出对象的视差,增强深度感,同时对背景区域的视差只进行较小程度的调整,总体来说,本文方法可以有效提高立体图像的观看体验。

图 8 视差优化方法对比。 Fig. 8 Comparison of disparity optimization methods. (a)源视差;(b)线性视差调整;(c)本文方法 (a) Source disparity; (b) Linear disparity mapping; (c) Our strategy
3.3 颜色传递方法对比

图 9所示,本文中的颜色传递方法在图像细节上有更好的效果。Pitie等[19]的方法传递结果在局部区域颜色黯淡,如图 9(c)中第一行的建筑物的顶和柱子部分以及第三行中的飞机尾翼和机头部分。Pitie等[20]的方法会产生白色噪声点,如图 9(d)中第一行的建筑物墙体部分以及第二行的滑翔器,都有很多白色噪声点。如图 9(e)所示,这些问题在本文方法中都得到了很好的解决。

图 9 颜色传递方法对比。 Fig. 9 Comparison of color transfer methods. (a)源图像;(b)目标图像;(c)文献[19]方法;(d)文献[20]方法;(e)本文方法 (a) Source image; (b) Target image; (c) Method [19]; (d) Method [20]; (e) Our method
3.4 本文方法的主观实验分析

为了检验本文方法的有效性,根据双刺激连续质量标度方法(double stimulus continuous quality scale,DSCQS)设计了主观实验。实验中设置五组图像,分为两个步骤,首先随机显示每组图像的源图像和本文方法处理后的图像,其次显示本文方法和线性视差调整后的图像,由被测试者从每组的两幅立体图中选出深度感更强且观看更舒适的图像做相应标记。实验中安排了20位视力良好或矫正后良好的被测试者,有部分被测试者具备视差优化相关知识背景,部分被测试者不具备。实验设备包括立体电视和立体眼镜,被测试者均独立参与实验,观看距离2 m。

实验结果统计如图 10图 11所示,图 10是本文方法调整后的立体图像与只进行对象的颜色传递而不做视差优化的立体图像的对比结果,图 11是本文方法调整后的立体图像与线性方法调整后的立体图像的对比结果。其中,横坐标表示图像序号,纵坐标表示选择结果所占百分比,蓝色表示选择本文方法的百分占比,红色表示选择对比项的百分占比。由图 10图 11的统计结果可知,本文的非线性视差调整方法可以有效提升颜色传递后立体图像的深度感,提高观看体验,且本文的视差优化方法效果优于对比实验中的线性视差调整方法。

图 10 本文方法与源图像对比结果 Fig. 10 Comparison between proposed method and the source image

图 11 本文方法与线性视差调整方法对比结果 Fig. 11 Comparison between proposed method and the linear disparity mapping
3.5 局限性

本文方法的局限性在于目标对象的选取,对于少量且场景相对简单的立体图像,可以得到很不错的视觉效果。但是对于大量图像进行处理则需要耗费较多人力,随着技术进步,希望能找到一种准确度高且全自动的对象选取分割方法,从而避免人为参与过程。

4 结论

本文基于颜色传递的实际需求,用户可能只需要对目标对象进行颜色传递而保持背景颜色不发生改变,提出一种基于用户选取对象的颜色传递方法。为了进一步增强视觉效果,又根据立体图像视差图的统计特征和图像内容对视差进行非线性优化调整,增强有较高重要度的对象深度感,同时保持或小幅提升重要度较低(如背景)的视差,以此保持用户的观看舒适性。从实验结果可以看到,本文的方法可以很好地对用户所选区域进行颜色传递,同时增强图像对象的深度感,有效提升用户的观看体验。但是本文方法对用户选取对象的精确度有较高依赖,可以进一步通过更便捷有效的对象选择方法改进使用效果。

参考文献
[1]
Faridul H S, Pouli T, Chamaret C, et al. A survey of color mapping and its applications[C]//Eurographics 2014 State of the Art Reports, 2014.
[2]
Pouli T, Reinhard E. Progressive histogram reshaping for creative color transfer and tone reproduction[C]//Proceedings of the 8th International Symposium on Non-Photorealistic Animation and Rendering, 2010: 81–90. [Crossref]
[3]
Reinhard E, Adhikhmin M, Gooch B, et al. Color transfer between images[J]. IEEE Computer Graphics and Applications, 2001, 21(5): 34-41. [Crossref]
[4]
Pitie F, Kokaram A. The linear Monge-Kantorovitch linear colour mapping for example-based colour transfer[C]//Proceedings of the 4th European Conference on Visual Media Production, 2007.
[5]
Evans L C. Partial differential equations and monge-kantorovich mass transfer[J]. Current Developments in Mathematics, 1997, 1997: 65-126. [Crossref]
[6]
Hristova H, Le Meur O, Cozot R, et al. Style-aware robust color transfer[C]//Proceedings of the workshop on Computational Aesthetics, 2015. [Crossref]
[7]
Abadpour A, Kasaei S. A fast and efficient fuzzy color transfer method[C]//Proceedings of the 4th IEEE International Symposium on Signal Processing and Information Technology, 2004: 491–494. [Crossref]
[8]
Tai Y W, Jia J Y, Tang C K. Local color transfer via probabilistic segmentation by expectation-maximization[C]//Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005: 747–754. [Crossref]
[9]
Hristova H, Le Meur O, Cozot R, et al. Transformation of the beta distribution for color transfer[C]//Proceedings of the 13th International Conference on Computer Graphics Theory and Applications, 2018: 112–121.
[10]
Agrawal A, Raskar R. Gradient domain manipulation techniques in vision and graphics[C]//Proceedings of the 11th International Conference on Computer Vision, 2007.
[11]
Shao F, Lin W S, Li Z T, et al. Toward simultaneous visual comfort and depth sensation optimization for stereoscopic 3-D experience[J]. IEEE Transactions on Cybernetics, 2017, 47(12): 4521-4533. [Crossref]
[12]
Pascal F, Bombrun L, Tourneret J Y, et al. Parameter estimation for multivariate generalized Gaussian distributions[J]. IEEE Transactions on Signal Processing, 2013, 61(23): 5960-5971. [Crossref]
[13]
Bombrun L, Pascal F, Tourneret J Y, et al. Performance of the maximum likelihood estimators for the parameters of multivariate generalized Gaussian distributions[C]//Proceedings of 2012 IEEE International Conference on Acoustics, Speech and Signal Processing, 2012: 3525–3528.
[14]
Hristova H, Le Meur O, Cozot R, et al. Transformation of the multivariate generalized Gaussian distribution for image editing[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 24(10): 2813-2826. [Crossref]
[15]
Li B F. The Research on image segmentation algorithms based on RGBD images[D]. Hefei: Hefei University of Technology, 2016.
李冰飞.基于RGBD图像的图像分割算法研究[D].合肥: 合肥工业大学, 2016. [Crossref]
[16]
Lang M, Hornung A, Wang O, et al. Nonlinear disparity mapping for stereoscopic 3D[J]. ACM Transactions on Graphics, 2010, 29(4): 75. [Crossref]
[17]
Sun D Q, Roth S, Black M J. Secrets of optical flow estimation and their principles[C]//Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010: 2432–2439. [Crossref]
[18]
Shamir A, Sorkine O. Visual media retargeting[C]//ACM SIGGRAPH ASIA 2009 Courses, 2009: 1–13. [Crossref]
[19]
Pitié F, Kokaram A C, Dahyot R. Automated colour grading using colour distribution transfer[J]. Computer Vision and Image Understanding, 2007, 107(1-2): 123-137. [Crossref]
[20]
Pitie F, Kokaram A C, Dahyot R. N-dimensional probability density function transfer and its application to color transfer[C]//Proceedings of the 10th International Conference on Computer Vision, 2005: 1434–1439. [Crossref]