第 1 章 绪论
利用被试者想象右手或右脚运动来产生两种不同的脑电波,系统分析识别这两种不同的脑电波然后分别作为“选择”和“确定”的意思,通过这种方式来让被试者选择期望输入的字符。和之前的基于P300的字符拼写系统相比,这个系统的通讯速度提高了很多。奥地利格拉茨科技大学的脑机接口研究小组也是以运动想象为主要实验模式,实现了多类在线异步脑机接口系统,其中的典型代表为神经假肢控制系统。这个系统中实验者是一名小儿麻痹症患者,患者的左手手臂不能够自由抬放,手指不能抓握。实验中分析识别患者运动想象时发出的脑电信号,转化为假肢的控制指令,从而使患者可以实现左手手臂的举起、放下、手指的抓紧和松开等动作,从而让患者实现一定程度的自理。除此之外,该小组还开发出了其他的脑机接口系统,像多媒体控制、虚拟键盘拼写等[25]。无独有偶,德国著名的图宾根大学的wolpaw等使用另一种方法设计了一种思想翻译装置,通过监测慢皮质电位的变化来实现对外部设备的控制。系统中通过使用视觉反馈技术实现了字母拼写的功能。此外,美国纽约州最全面的州立健康实验室Wadsworth中心主要研究如何用从运动感觉皮质测得的脑电信号控制指针的一维或二维运动[26]。为了便于比较和评估,他们研制了脑机接口-2000 通用系统,目前世界上200 多个实验室都已经在使用脑机接口-2000 通用系统。
最近,脑电波研究小组和脑电波研究方向的人数都在增加,但即使都是做脑机接口研究的小组,也是从不同的方面找不同的突破口,用来实现不同的应用,可以说是百家齐放,百花争鸣。早在1995 年,全球的研究小组还不到6个,可是到了1999 年,研究小组的个数已经超过了20,截止目前,世界各地的研究小组也有近百个。随着研究小组的增多,与此相关的学术会议也日渐频繁,相关的学术刊物文章也比比皆是,很多相关领域的杂志都已经为脑机接口开辟了专刊。同时国际脑机接口竞赛也应运而生,竞赛组织者会提供真实系统下采集的真人的EEG数据,各参赛小组或个人对这些数据进行分析处理,最后提交结果和算法检验说明,此竞赛迄今为止已经顺利举办了很多次。伴随着脑机接口竞赛的成功举办,越来越多的研究单位开始对脑机接口技术产生兴趣。
目前研究者们把用在各个领域的特征提取和分类的算法拿来研究对EEG信号的特征提取和分类。常用的特征提取算法有:自回归模型(AR模型)、功率谱密度估计、小波变换、混沌法、公共空间模式、新型描述符、多维统计分析等。常用的分类方法有:Fisher线性判别、贝叶斯方法、BP神经网络、支持向量机等。
经过多年的努力,BCI的研究取得了不少令人欣慰的成果,但不可否认的是尚处于发展阶段。目前,大多数BCI仍然处于实验阶段,大部分测试在正常人中进行,在残疾人中测试较少[27]。BCI要进入实际应用阶段,还有很多问题等待解决,如:如何降低脑机接口系统对感觉输出通道和常规运动的依赖程度;脑机接口系统
第 1 章 绪论
的信息传输率需要提高;目前还没有准确客观地评估脑机接口系统性能的规范;如何更有效地剔除各种噪声,获取清晰的脑电信号,寻求有效的信号特征、最优的特征提取和转换算法;脑机接口系统的开发要注重多样化、个性化,用来满足脑机接口系统应用广泛性的要求和使用者个体的差异;怎样设计出更为合理的学习训练方法,让使用者在尽可能短的时间内最有效地控制其脑电信号特征;减少电极的数量,降低使用的复杂程度,增强脑机接口系统的稳定性和兼容性;提高用户使用时的自动化程度;增强使用者与脑机接口系统的相互适应性。
近些年来,脑电波和大脑意识之间的作用关系的研究取得了显著的进展,科研人员意识到可以根据不同的脑电信号对不同的意识任务进行精准而迅速的分类,从而实现神经障碍患者和外界环境的信息沟通[28]。脑机接口的开发和探索还存在着很多问题。尽管目前存在的这些问题不可能在短时间内完全解决,但它却为我们今后的研究方向提供了指导作用。相信随着当前各相关交叉学科,如智能控制,数学,信息科学,神经生物学、人工智能等,的不断发展与互相促进,还有全球各地的研究机构之间合作和交流的日渐频繁,脑机接口技术将越来越成熟稳定[29]。随着对上述问题的认识的深入,这些问题也会逐一解决,那时脑机接口将不再是实验室的一种理论,而是遍布我们生活的方方面面,各种新颖独特、高效便捷的脑机接口设备将会深入我们的生活,为我们提供便利。
1.3 本文的研究内容
本文主要是对受试者回答“是”或“非”时产生的P300脑电波进行了研究,通过对信号的预处理、特征提取和分类,最后达到能根据受试者的P300脑电波判断出受试者回答的是“是”还是“非”的结果。本文选择共空间模式(CSP)作为信号特征提取的算法,然后分别选择了Fisher线性识别和支持向量机(SVM)作为信号分类识别的算法,处理实验采集到的听觉刺激诱发的P300数据。
本文共分为5章。第1章为绪论,主要介绍了脑机接口的基本概念和科学应用,阐述了脑机接口的研究背景和研究意义;第2章为脑机接口原理和实验信号采集,首先介绍了脑机接口系统的基本结构和原理,之后介绍了脑电信号的特点和分类,重点介绍了P300信号,最后介绍了脑电信号的采集过程;第3章为脑电信号数据处理方法介绍,主要介绍了脑电信号的各种算法。首先针对预处理逐一介绍了脑电信号中会包含的各种噪声及其特点,其次,介绍了特征提取算法,重点介绍了共空间模式,最后,介绍了特征分类算法,重点介绍了支持向量机和Fisher线性判别;第4章为实验数据处理,主要对实验采集到的数据进行处理:脑电信号预处理、脑电信号特征提取、特征分类,最后分析和讨论了数据处理结果;第5章为结论与展望,主要对全文的工作进行了总结,并对以后的研究进行展望。
第 2 章 脑机接口原理和实验信号采集
第 2 章 脑机接口原理和实验信号采集
2.1 脑机接口基本原理及结构
受试者在接收外界刺激后或产生动作意识和动作执行之间,他的大脑的神经系统电活动会发生相应的改变。我们可以通过一定的手段检测出神经电活动的这种变化,并把它作为动作即将发生的特征信号。通过对该信号特征提取和分类识别,分辨出引发脑电变化的动作意图,再通过计算机传输和外部驱动设备,把人的动作意图转化为实际动作,实现在没有肌肉和外围神经直接参与的情况下人脑对外部环境的控制[30],这就是脑机接口的基本工作原理。脑机接口系统一般都具备脑电信号采集、脑电信号预处理、特征提取、分类、进入实际应用几个功能模块,详细见下图2.1。
图2.1 脑机接口系统图
第 2 章 脑机接口原理和实验信号采集
2.2 脑电信号介绍
2.2.1 脑电信号采集方式
脑电图在头皮外测量,电极仅仅用于接收信号。这是它最大的优势,不会对监控的大脑造成任何可能的损伤。而它的缺点也同样明显:在头皮外接收到的电信号不仅微弱,而且多个脑区的活动信号会叠加在一起,最终形成看起来十分混乱的波形。幸好这些缺点可以部分克服[31]。微弱的电信号可以放大,而波形的分离早在十九世纪就已经由法国数学家傅立叶解决。现在我们只需要解决脑电波和大脑思考行为的对应关系就可以[32]。
脑电信号的采集方式,从破坏性上可分为两类:“有创”和 “无创”。“有创”采集方式由于要进行开颅手术而对大脑有一定的损伤;“无创”采集方式就不需要这种手术,从而对人脑没有什么损害。有创采集方式具体可分为完全植入型和皮层表面电极。完全植入型就是将电极植入到大脑皮层中;而皮层表面电极型则是将电极放在大脑皮层的表面而不是真正植入大脑[33]。1999年,由John Donoghue 领导的研究小组在Nature 杂志上发表论文称[34],他们通过将一个微小的电极阵列植入了一名瘫痪病人的大脑运动皮层,从而使这位患者可以通过思维来操控外界设备,如打开电视机,移动假肢,使用键盘打字,移动鼠标等。皮层表面电极方式和完全植入型相比较,两者虽然都需要做开颅手术,但皮层表面电极方式却不需要将电极植入大脑皮层,而是放置在大脑皮层表面,这样对皮层神经元的损伤就很小,风险也更低些。尽管如此,对大多数用户而言,开颅手术还是难以接受的。因此,有创型的研究和实施一般都是在那些需要用大脑皮层电极来实现病灶的精确定位的癫痫病人身上。目前使用最广泛的仍是基于头皮脑电的无创的脑机接口技术。但是,由于脑电信号在传输到头皮时已经衰减很多,信号十分微弱,要从如此微弱的脑电信号中提取意识信息是相当有难度的。在过去的十年中,科研工作者的研究方向主要就是集中在对头皮脑电信号的检测和分析上[35]。
侵入式BCI,又称植入式BCI,是一种有损型脑电采集技术,利用直接脑神经接口技术,通过外科开颅手术将电极阵列植入颅内,直接记录或刺激大脑神经元,从而实现和外界环境的交互。通过植入这些微装置于颅内神经中枢,可以更精准地监测大脑的活动、研究大脑机能、治疗脑部疾病,控制外部设备等。随着微机电技术、传感器技术、无线通信技术等技术的发展,新一代的可全植入、多功能的微装置也将实现[36]。
还有一种无损植入型技术是非侵入式BCI。非侵入式BCI使用头皮电极记录大脑活动产生的EEG信号。非侵入式BCI系统可以实现简单、无损的脑机交互。侵入式BCI和非侵入式BCI相比,侵入式BCI有损伤,但精确;而非侵入式BCI无损
第 2 章 脑机接口原理和实验信号采集
伤,但信号模糊,不易捕获,易被干扰[37]。目前世界上的研究状况是不可兼得,但随着生物技术和信号技术的发展,非侵入式BCI的检测精度也将逐渐上升,这种技术也将在以后的研究中处于主导地位,并且在实际使用中有着广泛的应用。
脑电图仪为放大百万倍的微伏级精密电子设备,它的使用环境及条件设备要求比较严格。通常应该选择在安静、避光和电磁干扰小的房间。临床使用的脑电图仪至少应有8个导联,此外还有12、16、32导联等多种规格型号。在认知研究中则一般使用32、64、96导联的脑电图仪。通常脑电图仪导联数目越多,所能获得的脑电时空信息业越丰富。但是,电极数越多,除了设备更昂贵以外,在使用时安装电极的时间也越长,信息处理的复杂度也相应增加,因此应根据具体情况做出合理的取舍。
记录脑电图所使用的电极有漏斗状电极、针状电极和盘状电极等几种,此外还有一些需要放置在特定部位的特殊电极如蝶骨电极、鼻咽电极、皮质电极和深部电极等。关于头皮电极的位置,有许多放置法如Montreal、Cohn及Gibbs法等[38]。但应用最多的是10-20系统法,即国际脑电图学会建议采用的标准电极安放法。为了区分电极和两大脑半球的关系,通常右侧用偶数,左侧用奇数。
10~20系统电极法,其前后方向的测量是以从鼻根到枕骨粗隆连成的正中线为基准,将该距离分成10等份,按10,20,20,20,20,10(%)的顺序做好标记。在此线左右等距的相应部位标定出左右前额点(FP1,FP2)、额点(F3,F4)、中间点(C3,C4)、顶点(P3,P4)和枕点(O1,O2),前额点的位置在鼻根上相当于鼻根至枕骨粗隆的10%处,额点在前额点之后相当于鼻根至前额点距离的两倍,即鼻根正中线距离20%处,向后中央、顶、枕诸点的间隔均为20%,10~20系统电极的命名即源于此。10~20电极安放示意图见下图2.2。
图2.2 10-20电极安放示意图