文[1]将matting问题转化为一个最大后验概率问题,即给定当前图像上每个点的颜色,前背景及alpha最大可能的取值是什么: maxP(F,B,a|C) 作者首先通过贝叶斯公式将其转化为先验概率:
再对各概率项建模并通过最大似然法分别估计各个参数F,B,a的值
通过最大似然法估计出前背景和alpha值
注意,此时为求L(F)作者采用圆盘采样的方法,采样的点数固定,由近及远采样。
文[5] 基于关联矩阵和随机游走的方法进行。以前的关联矩阵
对边界无效,作者提出使用LPP重定义距离度量,具体来说
Z是3*n的颜色矩阵
确定其解为Q(特征向量的组合), 进而确定关联矩阵
关联矩阵见文[3]
文[2]把图像划分为已分割区域Uc和未分割区域Un,每个像素包括4个分类(F,B,a,u)分别表示前景,背景、alpha、uncertainty,起始时对于未标记点alpha = 0.5且u = 1。算法每次迭代对Uc外围一定宽度(15pxl)的区域加入Uc并进行处理,算法终止条件为Un为空并且所有点的u不再能更新
上面这个方程看着很眼熟,就不具体解释了,只说p所包括的点是扩展区域及其与已分割外边界的并集。
作者先将alpha的值离散到25个区间,剩下的问题首先是估计各点属于各个离散值的概率。为此,首先需要确定各个点的前背景值,确定的方法仍是采样:
以当前点p为中心,以r=20为半径采样样12个点,如果不够,则将进行全局采样,
采样方法是首先将所有标记点用GMM拟合,再从均匀GMM每一个component上随机采样像素点。采样完成后,计算各像素点属于不同alpha值区间的似然:
依此得到数据项:
再有,相邻alpha的平滑项设置为:
采用LBP得到alpha值后,如果alpha=1,则u=0;alpha=0,则u=1;此外:
其中Fip是采样的前景,即在采样对中确定前背景点对的值,uncertainty更新为:
文[3]提出了优化的采样方法。首先确定采样的基本规则,给定一个待估计像素p,其像素值C已知,首先在采样集中选择一对前背景F,B,则可预估其alpha值为
在此基础上,可得到预估颜色与实际颜色的差值(规范化后):
前背景还有个权值为:
最后,引入置信度计算公式:
样本采用选择附近及边界上的点。
Matte的最后确定还是借助于MRF实现并假定alpha是平滑的,因此需定义数据项和平滑项:
数据项:第一项计算可信的alpha值,第二项表示如果置信度较低,则对应点在sample点附近,基于聚类的特点可知该点同sample点的标记
采用random walker求解
最后求解
注意RT矩阵的最后2项分别为W(i,F),W(i,B)
文[4]的方法很讨巧,在用户标记前背景区域后,计算概率图,并计算概率图的梯度图(相邻2点之间的概率差),然后对于图像上的其他点计算其到各标记点的最小梯度距离,计算公式为:
实际图像中使用:
当用于matting时
其中Pl(x)的normalized的概率,由GMM计算得到。但注意的是此时GMM是使用trimap区域的边界点重新建立的,得到alpha后,F,B是满足下面条件的采样对,采样方法同文[],
文[6]基于局部窗口的线性模型进行matting,首先,由
转化为
由局部窗口颜色模型是线性,可推出在局部窗口中a,b是不变的
第二部分是为了保证局部alpha值得平滑性,因为当最小化J时,理想的情况aj=0
则此时任意小窗口类的alpha值接近常量b,这个J又可以写成:
此处:
即把原始写成向量模的形式 再由最小二乘法得到:
带入J,得到:
最后得到
推广到
由推理可知,只需
局部前背景符合线性模型即可,即:
[1] A Bayesian Approach to Digital Matting CVPR01
[2] An Iterative Optimization Approach for Unified Image Segmentation
and Matting ICCV05
[3] Optimized Color Sampling for Robust Matting cvpr07
[4] A Geodesic Framework for Fast Interactive Image and Video
Segmentation and Matting ICCV07 IJCV08
[5] Random Walks for interactive alpha-matting VIIP05