1.4.3主机环境
【风险分析】
CRM系统除idserver、UAA（p550app1/2,p520int3/4）通过主机高可靠性配置HACMP保障切换IP，其余应用部署主机均通过四层交换配置保障高可靠性，单台主机故障不会对应用带来影响。
【应对措施】
通过远程或后台登录方式，以系统命令查看p550app1或者p520int3主机上的ip是否对应切换到p550app2或者p520int4主机上，核查系统HA成功切换资源组的切换日志。并且重启应用程序。
1.5 应急保障工作流程
【根据应急保障工作步骤，给出相应的流程图，并对流程中的角色及每个工作环节进行详细说明。】 应急保障工作流程说明：
流程 准备 内容 1、 值班人员发现问题或收到相关故障电话。 2、 系统出现问题暂时无法立刻修复。 收集信息 3、系统负责人对故障进行判断，确定该故障是否1小时内无法修复。 1. 系统负责人联系应急预案响应责任启动应急保障保障前期准备工作 人，完成故障通报，并确认是否启动应急预案。 2. 现场责任人立即与系统责任人联系，做好应急预案启动准备。 启动应急预案 3. 收到应急预案启动信息后，立即开始启动应急预案。 4. 将对用户影响降到最低。 问题处理 8.系统负责人负责故障处理。 实时监控 实时优化 9.值班人员负责业务紧密监控 4. 故障处理完成后，现场责任人通知应急保障活动退出 故障响应负责人，要求取消应急预案。 5. 撤出人员设备 6. 恢复性割接 网络指标提取 7. 提取网络的话务、接通率等指标，分析是否正常 8. 对系统进行测试，确实业务正常。 应急协作总结 14.对应急预案总结，如果出现问题，需要对问题进行分析，同时完善应急预案。
1.6 应急演练
【为检验预案的有效性，同时使相关人员了解运行维护预案的目标和内容，熟悉应急响应的操作规程，应进行应急演练。预案包含演练计划，整个应急响应过程和详细的演练脚本，报告。参照附件中的演练报告。】
为检验应急预案的有效性，并使相关人员熟悉应急预案的操作规程和方案，发现存在的问题，定于每年9月进行应急预案演练。依据风险评估中的风险要素抽取2项,制定演练脚本进行模拟演练。如果演练会影响业务，可以进行虚拟推演。对整个演练过程应形成记录报告，以总结发现其中的问题并加以改进。参考附录中的应急演练脚本和报告。
第一章专有名词定义： A/B角：A角对某项工作主要负责，B角应主动熟悉并协助做好该项工作，当A角出差或其他原因不能承担完成该项工作时，由B角接替完成该项工作，并切实负起责任。A、B两个责任人不得同时外出。
第二章 监测与预警
2.1 日常监测与预警
1. 应用支撑系统监控
A、 单点登陆、CRM1、CRM2、CRM3、IOM系统 B、 代理商支持系统、资料扫描系统
C、 接口应用监控：能力开放平台、联机指令、安讯接口、ESS接口、ECS
接口、一卡充接口、客服接口、电子渠道、短信接口等等
2. 预警措施
CRM系统维护人员和客户响应与业务支撑每天早上对系统进行巡检，并且一旦有程序和服务down掉会马上有短信告警发到运维人员手机上，使问题最先通知到各个相关人员。另外，CRM系统维护提供24小时值班电话15601870188，接收各部门投诉及问题受理。
如图1、应用和关键进程告警,如果进程发生异常，下列界面将会有内容显示
如图2、系统表数据阀值告警,如果有异常，下列界面将会有内容显示
CRM系统架构中的关键系统分别通过以下监控工具进行日常监测与预警:
监测对象 检测工具 系统监控程序/人工 监测项 所有数据库 时间间隔 < 10秒 预警阀值 >= 80% 负责人 数据库 值班人员 徐明华 系统应用程系统监控程关键应用程< 10秒 序运行情况 序/人工 各个主机运行情况 系统监控程序/人工 序 空间使用率，< 10秒 CPU/内存等 >= 80% 值班人员 陈诚 >= 80% 值班人员 经力 值班人员收到系统预警信息后,第一时间通过电话通知相关系统负责人登录系统对告警进行核实。然后又由系统运维负责人确认故障后,马上向现场负责人报告故障现象,业务受损情况等。由现场运维处理人员进行处理相应的告警。
2.2 预案启动
【应急预案的启动对相关资源和业务会产生重大影响，应建立、审议预案启动的策略和程序，以控制预案启动的授权和实施。明确授权预案启动的负责人及启动程序，对预案启动进行评估，启动过程和结果记录在案。现场负责人应向相关方通报预案启动信息并得到确认和反馈。信息通报应选取适当的方式，如电话、邮件、传真、书面文件等。内容包括启动原因，事件级别，对应预案，技术应对