LL2,HL2,LH2 及HH2,依次进行多层分解。N 层小波分解后可得到(3N+1)个频带。基于小波分解的图像融合的本质是采用不同的滤波器,将源图像分解到一系列的频率通道中,然后针对系数特性采用不同的融合规则和融合策略。基于小波变换的图像融合具体步骤为:
① 分解:对每一源图像分别进行小波变换,得到每幅图像在不同分辨率下不同频带上的小波系数;
② 融合:针对小波分解系数的特性,对各个不同分辨率上的小波分解得到的频率分量采用不同的融合方案和融合算子分别进行融合处理;
③ 逆变换:对融合后系数进行小波逆变换,得到融合图像。 整个过程如图8-7所示:
从图8-7可以看出设计合理的融合规则是获得高品质融合的关键。小波变换应用于图像融合的优势在于它可以将图像分解到不同的频率域,在不同的频率域运用不同的融合规则,得到合成图像的多分辨率分析,从而在合成图像中保留原图像在不同频率域的显著特征。
A图像 小波 变换 系 逆变换 数 F图像 小波分解图 融 合 融合后 小波 的图像 变换
小波分解图
图8-7小波分解融合图
B图像 2、 基于小波变换的融合规则 (1) 低频系数融合规则 通过小波分解得到的低频系数都是正的变换值,反映的是源图像在该分辨率上的概貌。低频小波系数的融合规则可有多种方法:既可以取源图像对应系数的均值,也可以取较大值,这要根据具体的图像和目的来定。(2) 高频系数融合规则 通过小波分解得到的三个高频子带都包含了一些在零附近的变换值,在这些子带中,较大的变换值对应着亮度急剧变化的点,也就是图像中的显著特征点,如边缘、亮线及区域轮廓。这些细节信息,也反映了局部的视觉敏感对比度,应该进行特殊的选择。
高频子带常用的融合规则有三大类,即基于像素点的融合规则、基于窗口的
融合规则和基于区域的融合规则。如图8-8所示。
第一类方法是逐个考虑源图像相应位置的小波系数,要求源图是经过严格对准处理的。因为基于像素的选择方法具有其片面性,其融合效果有待改善。第二类是基于窗口的融合规则,是对第一类方法的改进。由于相邻像素往往有相关性,该方法以像素点为中心,取一个M×N的窗口,综合考虑区域特征来确定融合图像相应位置的小波系数。该类方法的融合效果好,但是也相应的增加了运算量和运算时间。由于窗口是一个矩形,是规则的;而实际上,图像中相似的像素点往往具有不规则性,因此,近年来又提出了基于区域的融合规则。该类方法常常利用模糊聚类来寻找具有相似性的像素点集。下面介绍几种小波分解系数的融合规则。
① 小波系数加权法,如下式所示:
CJ(F,p)?aCJ(A,p)?(1?a)CJ(B,p),0?a?1 (8.69)
基于窗口的融合规则
融合处理 融合规则: 1) 系数加权 2) 绝对值选大 3) 区域能量最大 4) 系数模值极大 5) 。。。。。。 图像F分解层
图像A分解层 基于区域的融合规则 基于像素的融合规则
图像B分解层
图8-8 小波融合规则
其中:CJ(A,p),CJ(B,p),CJ(F,p)分别表示源图像A,B和融合图像F在J层小波分解时,在P点的系数,下同。 ② 小波分解系数绝对值极大法: CJ(F,p)???CJ(A,p)|CJ(A,p)|?|CJ(B,p)| (8.70)
C(B,p)|C(A,p)|?|C(B,p)|JJ?J ③ 小波分解系数绝对值极小法: CJ(F,p)???CJ(A,p)|CJ(A,p)|?|CJ(B,p)| (8.71)
C(B,p)|C(A,p)|?|C(B,p)|JJ?J ④ 区域能量最大法:
在J层小波分解的情况下,局部区域Q的能量定义为:
E(A,p)??q?Q2ω(q)CJ(A,q) (8.72)
其中:?(q)表示权值,q点离p点越近,权值越大,且一个邻域。同理可得 E(B,p)
?q?Q?(q)?1;Q是p的
CJ(F,p)???CJ(A,p)E(A,p)?E(B,p) (8.73)
C(B,p)E(A,p)?E(B,p)?J以CT、MR两幅图像为例,进行小波融合。① 选择小波db2,对所需融合图像进行小波两层分解。② 对小波分解后的小波低频系数采用均值法,高频系数分别采用系数加权、绝对值极大极小法、区域能量法、直接进行融合。③ 以融合后的小波系数进行图像重构,得到融合后的图像如图8-9。
均值 均值
均值、绝对值极大
CT 图像
MR 图像
均值、绝对值极小
均值、区域能量最大
图8-9 原始图像及小波融合结果
我们还对原始图像进行了不同层的小波分解,然后融合重构,实验结果显示,
小波分解层数等于3、4的时候,效果最好。我们又选取了不同的小波函数sym5, sym6, db4, coif3, coifs, haar等小波函数对两原始图像进行融合,实验结果表明重构图像变换不大,基本相同。
第八节 医学图像融合效果的评价
目前,图像融合效果的评价主要有主观评价和客观评价两种。
主观评价以人作为观察者,对图像的优劣做出主观定性评价。人对图像的识别或理解不仅和图像的内容有关,而且还与观察者的心理状态有关。由于人的视觉系统很复杂,受环境条件、视觉性能、人的情绪爱好以及知识状况影响很大,因此主观评价具有主观性和不全面性,所以有必要把主观评价与客观的定量评价标准相结合,这样既便于人的观察,也便于将融合结果交于计算机进行处理。
下面是一些常用的客观评价指标。 一、熵E(Entropy)
图像的熵值是衡量图像信息丰富程度的一个重要指标,熵值的大小表示图像所包含的平均信息量的多少。根据香农信息论的原理,一幅图像的信息熵为:
H???pi?0L?1ilnpi (8.74)
其中pi为图像的直方图,即灰度值等于i的像素数与图像总像素数之比。如果融合图像的熵增大,表示融合图像的信息量增加,融合图像所包含的信息就越丰富,融合质量越好。
二、交叉熵CE(Cross Entropy )
交叉熵也称相对熵,直接反映了两幅图像灰度分布信息的差异。设源图像和融合图像的直方图分别为pi和qi,则交叉熵定义为:
CE??i?0L?1pilog2pi (8.75) qi交叉熵越小,说明融合图像从源图像提取的信息量越多,融合效果越好。
在实际应用中,可以选择平均值来描述融合图像与源图像的综合差异:
CFAB?CFA?CFB (8.76) 2三、交互信息量MI(Mutual Information)
交互信息量为两个变量之间相关性的量度,或一个变量包含另一个变量的信息量的量度。假设两幅源图像A和B,将它们融合得到融合图像F,F与A、B的交互信息量分别表示为MIFA 和MIFB:
MIFA???pFA(k,i)logk?0i?0L?1L?1pFA(k,i) (8.77)
pF(k)pA(i)MIFB???k?0j?0L?1L?1pFB(k,j)logpFB(k,j) (8.78)
pF(k)pB(j) 式中pA、pB和pF分别是A、B、F的灰度直方图;pFA(k,i) 和pFB(k,j)分别代表两组图像的归一化联合灰度直方图。综合考虑这两个值量,用MIFA 和
MIFB 之和来表示图像融合后包含源图像A、B的交互信息量的总和。
ABMIF?MIFA?MIFB (8.79)
交互信息量的值越大,表示融合图像从源图像中获取的信息越丰富,融合效果越好。
四、图像均值?
图像均值是图像像素的灰度平均值,对人眼反映为平均亮度。图像均值的定义为:
1?=
M?N??G(x,y) (8.80)
x?1y?1MN其中G(x,y)表示图像中第(x,y)个像素的灰度,图像尺寸为M?N。如果均值适中,则目视效果良好。
五、灰度标准差δg
图像的灰度标准差定义为为:
L?1?g=
?(g??)g?0_2?p(g) (8.81)
其中L为图像的总灰度级,g表示图像第(x,y)个像素的灰度,?表示图