环路故障排错案例
刘颐-401
? 概述：
一、网络拓扑结构 二、现场情况 三、故障处理流程 四、总结
? 内容介绍
一、网络拓扑结构
1） 每个变电站的拓扑结构均相同，业务划分由路由器完成，每个路由器将将此次自能网改造业务流划分到VLAN 499中通过VPN安全隧道汇聚到主站服务中。每个变电站网段均不相同，变电站之间设备均不能互访。
2） 主网默认情况下使用老的SDH网，路由器业务传输上联使用STM-12 2M的数据网，现计划改造成路由器业务传输上联使用100M 数据网，改善上联瓶颈问题。
3） 默认情况下，如果没有PTN设备，业务走SDH网络，如果有PTN设备，业务走PTN网络。两个网络形成冗余备份，提供保护。
4） 我司C8000属于接入层设备，按要求创建VLAN 499 过交换机trunk模式走业务流。另外VLAN 1000走PTN形成局域网走OLT管理流。
5）
二、现场情况
设备联调过程中发现终端设备向上通信质量较差，通过ping发现有比较明显的丢包过程。经过多次验证及长ping发现确实有丢包现象，丢包率在60%以上。
三、故障处理流程
1） 逐级ping初步定位故障点
终端ping ---- olt ping------ 交换机ping ----- 路由器ping
通过ping发现，从路由器向上ping 丢包率为0 ,从交换机及OLT向上ping均丢包率在 60%以上。初步定为故障点在变电站。 2） 远程登录OLT查看ARP表及MAC表
nanfang(config)# show arp info LINK LEVEL ARP TABLE
Destination LL Address Flags Refcnt Use Interface ---------------------------------------------------------------------
20.23.38.254 00:23:89:a4:04:02 0x8405 1 228 sc2 192.168.1.1 00:1a:69:01:36:68 0x8405 1 27363 fei1 192.168.1.2 00:1a:69:01:36:7e 0x8405 0 58927 fei1 192.168.1.3 00:1a:69:01:36:74 0x8405 0 109134 fei1 192.168.1.4 00:1a:69:01:36:88 0x8405 0 22536 fei1
anfang(config)# show mac-addr vlan 499
Index MacAddr VLAN State Dest-port -------------------------------------------------------------------
1 00:90:e8:29:05:23 499 dynamic 2/4 2 00:90:e8:29:9f:8d 499 dynamic 2/2 3 00:90:e8:29:a0:d9 499 dynamic 1/4 4 00:90:e8:29:a0:ef 499 dynamic 3/2 5 00:23:89:a4:04:02 499 dynamic 12/1 6 00:90:e8:29:05:77 499 dynamic 2/2 7 00:90:e8:29:9e:e1 499 dynamic 2/1 注意：
00:23:89:a4:04:02 这个MAC地址，这个地址是路由器的上联接口MAC。 20.23.38.254 这个IP地址是路由器接口地址。
表中显示均正常。OLT设备二层学习没有问题，ARP解析也正确。继续查看交换机mac表，再次排查故障问题。
3） 远程登录H3C的交换机上<建议跟局方提出申请后再登录，建议只查看，不要修改数据
配置>
查看H3C交换机的MAC表： [D-SD-LY-NFB.S1]display mac-address
MAC ADDR VLAN ID STATE PORT INDEX AGING TIME(s)
0090-e829-9ee1 499 Learned Ethernet1/0/23 AGING 0090-e829-9ec1 499 Learned Ethernet1/0/23 AGING 0090-e829-9fa1 499 Learned Ethernet1/0/23 AGING 0090-e829-9f8d 499 Learned Ethernet1/0/23 AGING 0090-e829-9f89 499 Learned Ethernet1/0/23 AGING 0023-89a4-0402 499 Learned GigabitEthernet1/1/1 AGING 3456-7987-0098 1 Learned Ethernet1/0/18 AGING 0090-e829-0351 499 Learned Ethernet1/0/23 AGING
0090-e829-a0d5 499 Learned Ethernet1/0/23 AGING 0090-e829-a0d9 499 Learned Ethernet1/0/23 AGING 0090-e829-a0ef 499 Learned Ethernet1/0/23 AGING 可以看到，物理端口及MAC的学习均没问题。故障还未定位，此时继续登录路由器查看ARP表
GigabitEthernet1/1/1 上联路由器接口 Ethernet1/0/23 下联OLT接口 499 业务VLAN 4） 登录路由器查看ARP表:
D-SD-LY-NFB.R1]display arp vpn-instance VPN-PW
Type: S-Static D-Dynamic A-Authorized
IP Address MAC Address VLAN ID Interface Aging Type 20.23.38.250 00aa-bb11-2201 N/A GE0/0.499 18 D 20.23.38.249 000c-53a8-b361 N/A GE0/0.499 16 D 20.23.38.34 0090-e829-9ee1 N/A GE0/0.499 1 D 20.23.38.22 0090-e829-a0d9 N/A GE0/0.499 13 D 20.23.38.23 0090-e829-0351 N/A GE0/0.499 7 D 20.23.38.56 0090-e829-a129 N/A GE0/0.499 8 D 20.23.38.51 0090-e829-9dfb N/A GE0/0.499 10 D 注意：20.23.38.250 OLT带内地址 00aa-bb11-2201 OLT带内MAC
ARP默认老化时间是20分钟，但是在实际查看情况来看arp中标黄的项目在刷了几次ARP表后自动老化后，重新学习的速度比较慢，可以确定，应该是路由器与交换机连接的端口学习MAC产生了滞后情况。因为时间问题，当时就没有过多的观察其他MAC的学习情况，其他MAC为终端设备MAC。继续返回交换机，再次查看MAC表。
(小编补充：以后建议手动修改ARP老化时间表，快速老化，定位速度要快的多) 5） 再次查看交换机MAC表：（这次修改了mac的老化时间，将默认的300秒改成10秒）
D-SD-LY-NFB.S1]display mac-address
MAC ADDR VLAN ID STATE PORT INDEX AGING TIME(s)
3456-7987-0098 499 Learned Ethernet1/0/18 AGING 0023-89a4-0402 199 Learned GigabitEthernet1/1/1 AGING 0090-e829-9ee1 499 Learned Ethernet1/0/23 AGING 00aa-bb11-2201 499 Learned Ethernet1/0/23 AGING 0090-e829-9dfb 499 Learned Ethernet1/0/23 AGING 0023-89a4-0402 499 Learned GigabitEthernet1/1/1 AGING 0090-e829-0351 499 Learned Ethernet1/0/23 AGING 0023-89a4-0402 299 Learned GigabitEthernet1/1/1 AGING 0023-89a4-0402 10 Learned GigabitEthernet1/1/1 AGING
--- 12 mac address(es) found --- [D-SD-LY-NFB.S1]display mac-address
MAC ADDR VLAN ID STATE PORT INDEX AGING TIME(s)
3456-7987-0098 499 Learned Ethernet1/0/18 AGING 0023-89a4-0402 199 Learned GigabitEthernet1/1/1 AGING 0090-e829-9ee1 499 Learned Ethernet1/0/23 AGING 00aa-bb11-2201 499 Learned Ethernet1/0/23 AGING 0090-e829-9dfb 499 Learned Ethernet1/0/23 AGING 0023-89a4-0402 499 Learned Ethernet1/0/23 AGING 0090-e829-0351 499 Learned Ethernet1/0/23 AGING 0090-e829-a0d9 499 Learned Ethernet1/0/23 AGING 0090-e829-a0ef 499 Learned Ethernet1/0/23 AGING 0023-89a4-0402 299 Learned GigabitEthernet1/1/1 AGING 0023-89a4-0402 10 Learned GigabitEthernet1/1/1 AGING
从mac表中我们发现 0023-89a4-0402 这个MAC地址在端口上发生了抖动。但是刷新了很长时间，只有此mac地址发生了抖动，其他地址均无抖动产生。可以初步定位有环路产生或是ARP攻击。但是此环路产生的mac表抖动情况很奇怪，因为如果是交换机有环路，那么所有的MAC地址都会抖动，而不是一个MAC地址。需要继续排查。