2 故障排错流程
2.1 防火墙故障处理流
流程说明：从防火墙的排障的总体流程来看，首先必须确定故障点设备，再从故障点设备进行排错。流程主要集中在防火墙的问题进行说明，以下对流程进行说明：
2.2 故障级别定义：
故障级别 1级 影响 对业务运营造成灾难性影响 网络或系统停机，导致客户业务完全停止服务； ? 连续不断或经常发生的不稳定性，影响大部分网络的流量处理能力； ? 大部分网络连接中断或被隔离； ? 发生危险或紧急情况，比如自然环境灾难或误操作导致。 严重影响业务运营。? 对最终客户造成间歇影响的网络或系统事件； ? 主或备做冗余设备发生故障； ? 无法进行例行管理或诊断功能； 6
2级
? 需要的关键功能无法实现； ? 由于硬件部件故障导致业务出现间歇性故障。 3级 只对最终客户造成有限影响的网络事件； ? 测试或试运行环境中发现的问题，通常会对运营网络造成负面影响； ? 有现成的成功临时变通方法，可以用来解决优先级较高的问题 信息请求； ? 有关设备配置或功能的标准问题。 ? 有关设备相关信息提供说明。 4级
3 防火墙故障处理
3.1． 防火墙一级故障处理： A:一级故障定义：
对业务运营造成灾难性影响
网络或系统停机，导致客户业务完全停止服务；
如：防火墙系统crash，且未发生切换，业务完全受阻。
B:信息内容搜集：
如无法快速判断故障问题，请抓取最基本数据：注意需要收集两台设备信息 如无法通过SSH登录设备，请通过原装console线登录设备命令行收集，所有会话需要记录到文件。
IP平台设备信息搜集:
? 设备宕机没有切换，硬关机，然后加电重启设备，使用Console线搜集重启的字符输出。 ? 登录系统后搜集所有coredump文件，如下所示，通常在/var/crash目录
[admin]# find / -name \ /var/crash/vmcore.0.gz /var/crash/vmcore.1.gz /var/crash/vmcore.2.gz ? 搜集系统CST文件
CST是Configuration Summary Tool的简写，CST文件会包含系统配置、版本信息、系统运行情况、系统日志、甚至保存在本地硬盘上的防火墙日志，如果不需要搜集防火墙日志可以使用IPSO-A[admin]# cst –small命令，缩短搜集CST的时间，搜集完整的CST过程如下:
IPSO-A[admin]# cst CST version 2007-09-26
=============== N O T I C E: VOYAGER LOCKS ========================= Please make sure you are logged out of Voyager.
CST gathers certain information from clish, which may not work
when there is a configuration lock in place established by an active
7
Voyager session.
=============== E N D O F N O T I C E ========================= Continue? [y] y
Output Directory? [.] /var/tmp #指定CST文件的存储目录
注意:ECST文件，其路径在/opt/ecst_output。
? 如果设备完全挂起，接入console口没有任何输出的情况下，或者如下情况：
System hang
Complete loss of connectivity No console login prompt
Transient failure/performance conditions Out of memory conditions Out of swap conditions
请通过如下步骤搜集信息，首先准备如下设备，
一个DTE (Date Terminal Equipment) 支持数据通信标准EIA/TIA-232 的console线连接到 IPSO console接口.
必须通过如下Terminal工具登录: HyperTerm,SecureCRT (Windows) cu or tip (UNIX)
Serial console (terminal) server. Dumb terminal.
DTE串口属性设置参数 9600 bps 8 data bits 1 stop bit No parity
No flow control
---------------------------------------------------------------------------
1. 在发生故障时，接入console线到设备， 2. 在console工具上启用会话记录，
3. 首先敲键盘 “Break”键，然后立即执行”ddb”,屏幕上不会显示任何输出。 4. 如果发生Crash你将会看到有输出，否则重复步骤1~3 5. 如果有输出信息后，输入 ps 命令 (观察并且搜集进程信息) 6. 输入 trace 命令 (观察并且搜集trace 信息) 7. 输入一个 continue 命令 返回 IPSO 8. 重复3到6的步骤多次，直到输出信息相同。
9. 输入 panic 命令 (系统将dump 一个 core 文件并且重启) 10. 保存完整的会话日志和core文件并且上传给support。
到 ipso系统使用命令[admin]# find / -name \确认找到core 文件, 同时从$FWDIR/bin/boot/modules目录下尽量搜索并且得到所有的*.o 文件。
-----------------------------------------------------------------------------------
8
Power-1与UTM-1平台信息搜集:
如无法快速判断故障问题，请抓取最基本数据：注意需要收集两台设备信息 如无法通过SSH登录设备，请用原装console线登录设备命令行收集，所有会话需要记录到文件。 ? 设备宕机没有切换，硬关机，然后加电重启设备，使用Console线搜集重启的字符输出。 ? 登录系统后搜集所有coredump文件，操作过程如下所示: SecurePlatform OS 2.4
启用生成 User Mode core dump文件: 进入 Expert 模式 # expert
设置core dump文件的大小为'unlimited' # ulimit -a
# ulimit -c unlimited # ulimit -a
注意: 如需禁用则允许'ulimit -c 0'命令
确认'/etc/sysctl.conf' 文件中如下行的输出为1
# Controls whether core dumps will append the PID to the core filename. # Useful for debugging multi-threaded applications. kernel.core_uses_pid = 1
校验 LKCD（Linux Kernel Crash Dump）工具的级别设置如下 # less -N -M /etc/sysconfig/dump
到输出信息的最后查看如下输出的参数一直，如果数值不一致则使用vi编辑工具修改为如下值。 DUMP_ACTIVE=1
DUMPDEV=/dev/vmdump DUMPDIR=/var/log/dump DUMP_SAVE=1 DUMP_LEVEL=8 DUMP_FLAGS=0 DUMP_COMPRESS=0 PANIC_TIMEOUT=5
保存LKCD工具的参数设置 # /sbin/lkcd config
确认如下目录已经存在 /var/log/dump/usermode
如果没有，需要创建一个目录。
# mkdir -p /var/log/dump/usermode 保存配置，重启设备
9
# reboot
当下次设备发生挂起或者重启时，系统会记录下core dump信息到如下文件。 /var/log/dump/usermode/ProcessName.PID.core
SecurePlatform OS 2.6 启用core dump的步骤 启用生成 User Mode core dump文件: 进入 Expert 模式 # expert
设置core dump文件的大小为'unlimited' # ulimit -a
# ulimit -c unlimited # ulimit -a
注意: 如需禁用则允许'ulimit -c 0'命令
确认'/etc/sysctl.conf' 文件中如下行的输出为1
# Controls whether core dumps will append the PID to the core filename. # Useful for debugging multi-threaded applications. kernel.core_uses_pid = 1
确认如下目录已经存在 /var/log/dump/usermode
如果没有，需要创建一个目录。
# mkdir -p /var/log/dump/usermode
保存配置，重启设备 # reboot
当下次设备发生挂起或者重启时，系统会记录下core dump信息到如下文件。 /var/log/dump/usermode/ProcessName.PID.core 也可以通过命令搜索core dump文件，如下所示。 [admin]# find / -name \/var/crash/vmcore.0.gz /var/crash/vmcore.1.gz /var/crash/vmcore.2.gz
Core dump 文件搜集到后将文件上传给TAC做进一步分析。 ? 搜集系统cpinfo文件
Cpinfo是SecurePlatform(SPLAT)的配置文件、系统日志以及设备当前运行状态的 [R71-FWA]# expert #登入专家模式 Enter expert password:
10