Thompson用随机向量场变换构造一个可变形的概率脑图谱。包括从多个受试者到单一解剖模板的功能、血管、组织诸方面映射,三维图谱到新受试者的扫描图像的映射。Visible Human CD的CT骨窗图像、MR图像及彩绘的冷冻切片照片由于具有清晰的解剖结构和高度的分辨(1毫米/每层片),近来也被用来做新配准方法精度的评估。
四、 目测检验(Visual Inspection)
对多模医学图像配准的结果请领域专家用目测方法检验,听起来有些主观,但在一定程度上的确是一种相当可信的方法。
第六节 医学图像融合技术
一、医学图像融合概念
医学图像融合(Medical Image Fusion)是指将两幅(或两幅以上)来自不同成像设备或不同时刻获取的已配准的图像,采用某种算法,把各个图像的优点或互补性有机地结合起来,获得信息量更丰富的新图像的技术。
在图像融合处理中,图像配准是图像融合的第一步,也是实现图像融合的先决条件,只有实现了待融合图像的配准,才能实现相应组织之间的融合,如果对应组织的位置有较大的偏差,那么融合的图像是不准确的。只有两幅图像中同一空间位置的像素都对应相同的解剖结构,融合起来的图像才有意义。
二、医学图像融合分类
因为研究者的研究对象和研究目的不一样,所以发展和形成的图像融合分类也就多种多样。
1.按照被融合图像的成像方式不同,可以把融合分为单模融合(mono-modality)和多模融合(multi-modality)。所谓单模融合是指待融合的图像由同一设备获取的。简单地说,就是 CT-CT 或者 MRI-MRI 这种类似形式的融合处理。多模融合是指待融合的两幅或多幅图像来源于不同的成像设备,研究较多的CT 与 MRI图像融合和 CT 与核医学图像的融合都属于此类。
2.按照融合对象的不同,可分为单样本时间融合、单样本空间融合和模板融合。单样本时间融合是指跟踪某个病人,将其一段时间内对同一脏器所做的同种检查图像进行融合,以助于跟踪病理发展和研究该检查对该疾病诊断的特异
性。单样本空间融合是指将某个病人在同一时期内(临床上视 1-2 周内的时间为同时)对同一脏器所做的几种检查的图像进行融合,以便综合利用这几种检查提供的信息(如 MRI/CT 可以提供脏器的结构信息,SPECT 可以提供脏器的功能信息),对病情做出更准确的诊断。模板融合:从许多健康人的研究中建立一系列模板,将病人的图像与模板图像融合,有助于研究某种疾病和确立诊断标准。
3.按照图像处理方法的不同,又可分为数值融合法和智能融合法。数值融合法将不同来源的图像做空间归一化处理后直接融合。智能融合法将不同来源的图像做归一化处理后,根据需要选择不同图像中的所需信息再进行融合。
4.按图像类型不同,可以分为断层图像间相互融合、断层图像与投影图像融合以及结构图像与功能图像融合。断层图像间相互融合主要指 CT 与 MRI 图像融合;断层图像与投影图像融合主要指 CT、MRI 图像与 DSA 图像通过三维重建后进行融合;而结构图像融合与功能图像融合主要指 CT、MRI 图像与 PET、SPECT 图像进行融合。
另外,还可以将图像融合分为前瞻性融合和回溯性融合。两者的区别在于: 前瞻性融合在图像采集时使用特别措施(如加外部标志等),而回溯性融合在图像采集时则不采取特别措施。
综上所述,依据不同的分类原则,图像融合有多种分类方式,应该指出,以上分类不是绝对的,孤立的,在实际应用中,一个融合系统的设计过程往往是综合各种分类概念来实现的。
第七节 常用的医学图像融合方法
一、基于空域的图像融合
基于空域的图像融合是指直接在空间域中对图像的像素点进行操作,该类方法简单直观,易于理解,但常常融合效果有限,只适用于有限的场合。
(一) 图像像素灰度值极大(小)融合法
设g1(i,j)和g2(i,j)为待融合图像,F(i,j)为融合后的图像,其中i、j为图像中某一像素的坐标,图像大小为M*N,则i∈[0,M-1],j∈[0,N-1],
g1(i,j),g2(i,j)?[0,255]
F(i,j)?Max?g1(i,j),g2(i,j)? (8.57) F(i,j)?Min?g1(i,j),g2(i,j)? (8.58)
此方法只需对两幅待配准图像取对应像素点灰度值较大(小)者即可。这种方法计算简单,效果有限,只适用于对融合效果要求不高的场合。
(二)图像像素灰度值加权融合法
加权法是将两幅输入图像g1(i,j)和g2(i,j)各自乘上一个权系数,融合而成新的图像F(i,j)。
F(i,j)?ag1(i,j)?(1?a)g2(i,j) (8.59)
其中:a为权重因子,且0≤a≤1,可以根据需要调节a的大小。该算法实现简单,其困难在于如何选择权重系数,才能达到最佳的视觉效果。
(三)TOET图像融合方法
① 首先求输入图像g1(i,j)和g2(i,j)的共同成分。
g1?g2?Min?g1,g2? (8.60)
② 从图像g1上扣除共同成分得到图像g2的特征成分g1:
g1?g1?g1?g2 (8.61)
同理得到g2的特征成分g2: g2?g2?g1?g2
????
(8.62)
?
③ 从图像g1中扣除图像g2的特征成分g2,得到: g1?g2?(g1?g2)?g1?g2 (8.63) 同理,从图像g2中扣除图像g1的特征成分g1,得到:
?g2?g1?(g1?g2)?g1?g2 (8.64) 这项操作是为了改善图像的融合效果。 ④ 确定图像g2(i,j)和g1(i,j)的不同成分,
??g2?g1?g2?g1 (8.65) 当 g2??g1? 时,定义g2??g1??0。
此操作的目的是将两幅图像的不同部分作为背景,突出图像g2(i,j)的特征,以便准确判断g1(i,j)的位置;反之也行。该成分在融合图像中的比重由权重系
??数决定,这里到底突出哪个图像的特征以及判断哪个图像的位置要根据实际情况确定。
⑤ 将步骤3和步骤4中得到的结果按不同权重计算融合图像的灰度值:
F(i,j)?a(g1?g2)?b(g2?g1)?c(g2?g1) (8.66)
其中:a,b,c为权重系数,且a+b+c=1,具体可根据需要选取。 图8-6是分别采用以上方法对已配准的CT、MR图像进行的融合。
图8-6 几种融合方法比较
灰度加权法
TOET法
像素灰度极小值法
像素灰度极大值法
CT 图像
MR 图像
????CT 图像
二、基于变换域的图像融合
变换域法,顾名思义,就是将变换后的两个或多个图像进行融合,再通过反变换得到融合后图像的方法。下面介绍几种常用的基于变换域的图像融合方法。
(一)、基于多分辨率的金字塔融合法
这是最早的一种基于变换域的方法。在这种方法中,原图像不断地被滤波,
形成一个塔状结构。在塔的每一层都用一种算法对这一层的数据进行融合,从而得到一个合成的塔式结构,然后对合成的塔式结构进行重构,最后得到合成的图像。合成图像包含了原图像的所有重要信息。但这类方法产生的数据有冗余,且不同级的数据之间相关。
(二)、基于傅里叶变换的图像融合法
傅立叶变换是数字图像处理技术的基础,其通过在时空域和频率域来回切换图像,对图像的信息特征进行提取和分析,简化了计算工作量,被喻为描述图像信息的第二种语言。基于傅里叶变换的图像融合法包括以下三个步骤:
1、对每一源图像分别进行图像的二维傅里叶变换; 2、对变换系数通过加权得到融合图像的傅里叶变换; 3、对融合后的系数进行傅里叶反变换,得到融合图像。 (三)基于小波变换的图像融合
小波变换本质是一种高通滤波,当采用不同的小波基,就会产生不同的滤波效果。小波变换可将原始图像分解成一系列具有不同空间分辨率和频域特性的子图像,可以针对不同频带子图像的小波系数进行组合,形成融合图像的小波系数。
1、 图像的二维小波分解及融合 Mallat于1989年提出了图像的二维小波分解的Mallat快速算法,公式如下:
?Cj?1?HCjH*?h*?Dj?1?GCjH?v*?Dj?1?HCjG?Ddj?1?GCG*j ?
j?0,1,?,J?1 (8.67)
式中:h,v,d分别表示水平、垂直和对角分量;H(低通)和G(高通)为两个一维滤波算子,H和G分别是H和G的共轭转置矩阵;J为分解层数。
相应的小波重构算法为:
*v*dCj?1?H*CjH?G*DhjH?HDjG?GDjG (8.68)
**
图像经二维小波变换分解后,可得到四个不同的频带 LL、LH、HL、HH。其中低频带 LL 保留了原图的轮廓信息。HL、LH、HH 分别保留了原图水平、垂直和对角方向的高频信息,代表图像的细节部分。然后在对子图像分解得到