简介

本文档介绍使用主板上的共享局域网(LOM)时发生的ping问题。

背景信息

在Nexus控制面板(ND)的早期部署中存在相同节点的思科集成管理控制器(CIMC)和ND OS无法相互ping通的已知问题。

考虑到同一节点上的CIMC - OS连接没有与ND部署相关的要求，本文提供的说明可作为解决与连接行为相关的问题的参考。

什么是共享LOM？

使用共享LOM时，在早期部署ND时可能会遇到特定问题，即同一节点的CIMC和ND OS无法彼此ping通，并且ping问题存在某些模式。

共享LOM具有主用/备用模式和主用/主用模式。可在CIMC GUI - Admin > Networking > Network (tab) > NIC Properties (section) 部分进行更改。主用端口和备用端口都可以接收数据包，但只有主用端口可以发送数据包。

CIMC NIC冗余模式

有两个内部CIMC端口。在此处将其命名为CIMC#1和CIMC#2。回想一下，数据包仅在使用共享LOM主用/备用模式时通过主用CIMC端口发送。但是，相反，在主用/主用共享模式下，两个CIMC内部端口都可以发送和接收数据包。

据观察，ICMP应答发送端口在端口之间定期交替。对于ARP，只能通过一个端口发送应答。这取决于发送方的IP/MAC地址。此行为类似于端口通道负载均衡。

在本例中，在CIMC专用模式下，CIMC MAC地址以C0结尾。CIMC共享LOM处于主用/主用模式时，CIMC#1的MAC地址以c1结束，而CIMC#2以c2结束。

CIMC行为的要点：

· ARP应答只能通过一个活动的CIMC端口发送

· ICMP应答可以在两个活动CIMC端口之间定期交替发送

ND OS绑定模式

我们有两个用于Nexus控制面板操作系统的物理端口eth1-1和eth1-2作为管理端口。尽管在ND OS级别上还有两个端口mgmt0和mgmt1，但它们仅作为主用/备用模式工作。与CIMC标准端口不同，OS备用端口不能发送或接收数据包。如果数据包到达备用OS端口，则会被丢弃。管理端口的MAC地址以C6结尾。我们可以通过命令检查活动端口。

root@pND1:~# cat /proc/net/bonding/bond1        <<<

Ethernet Channel Bonding Driver: version 5.15.68.5
Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: mgmt1      <<<
MII Status: up
MII Polling Interval (ms): 60
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

Slave Interface: mgmt1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 1
Permanent HW addr: ec:01:d5:70:0d:c7
Slave queue ID: 0

Slave Interface: mgmt0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: ec:01:d5:70:0d:c6
Slave queue ID: 0

内部结构和数据包发送行为

以下是根据我们的实验室测试说明的ASIC的内部结构，包括ND OS端口和CIMC端口。

数据包发送行为：

· 从管理发送的广播到达两个CIMC内部端口

     例如，从mgmt0发出的ARP请求（广播）通过内部路径发送到CIMC#1，也通过第二层发送到CIMC#2。

· 从管理或CIMC发送的单播只能在内部路径内发送

    例如，即使mgmt1是活动端口，从CIMC#2发送的ARP应答（单播）也会发送到mgmt1。

Ping问题模式

注意：本节中介绍的行为是以物理端口eth1-1和eth1-2都关联在一起为前提的。如果仅链接一条链路，则不会出现ping问题。

1. 共享LOM模式：主用/备用

   1-1 的多播地址发送一次邻居消息。ND OS主用和CIMC主用是同一端口

           PIng正常。

   1-2 的多播地址发送一次邻居消息。ND OS主用和CIMC主用是不同的端口

           Ping NG。在管理备用端口收到ARP应答，这会导致ping失败。



2. 共享LOM模式：主用/主用

   2-1 的多播地址发送一次邻居消息。ND OS活动端口和CIMC arp应答端口是同一端口

           Ping成功和Ping失败会定期显示。 

   2-2 的多播地址发送一次邻居消息。ND OS活动端口和CIMC arp应答端口是不同的端口

           Ping NG。 在管理备用端口收到ARP应答，这会导致ping失败。

有关详情，请观看此视频：