UCS交换矩阵互联管理接口出现间歇性连接问题

下载选项

PDF (168.4 KB)
在各种设备上使用 Adobe Reader 查看
ePub (80.2 KB)
在 iPhone、iPad、Android、Sony Reader 或 Windows Phone 上使用各种应用查看
Mobi (Kindle) (67.8 KB)
在 Kindle 设备上查看或在多个设备上使用 Kindle 应用查看

已更新: 2020 年 2 月 21 日

文档 ID:215278

非歧视性语言

此产品的文档集力求使用非歧视性语言。在本文档集中，非歧视性语言是指不隐含针对年龄、残障、性别、种族身份、族群身份、性取向、社会经济地位和交叉性的歧视的语言。由于产品软件的用户界面中使用的硬编码语言、基于 RFP 文档使用的语言或引用的第三方产品使用的语言，文档中可能无法确保完全使用非歧视性语言。深入了解思科如何使用包容性语言。

关于此翻译

思科采用人工翻译与机器翻译相结合的方式将此文档翻译成不同语言，希望全球的用户都能通过各自的语言得到支持性的内容。请注意：即使是最好的机器翻译，其准确度也不及专业翻译人员的水平。 Cisco Systems, Inc. 对于翻译的准确性不承担任何责任，并建议您总是参考英文原始文档（已提供链接）。

简介

本文档介绍UCS交换矩阵互联管理（管理）接口在与特定IP范围的通信中如何遇到间歇性连接问题。

先决条件

要求

Cisco 建议您了解以下主题：

统一计算系统管理器(UCSM)软件
统一计算系统(UCS)网络

使用的组件

本文档中的信息基于以下软件和硬件版本：

6200 FI
UCS Manager 4.0

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。

问题：UCS交换矩阵互联管理接口存在间歇性连接问题。

UCS交换矩阵互联管理接口会间歇性地断开连接，但只有在通信跨特定IP范围时。VLAN 10的IP范围10.128.10.0/24用于交换矩阵互联(FI)管理接口和虚拟IP(VIP)。当与VLAN 1的IP范围10.128.1.0/24连接到FI或从FI连接时，通信会中断。因此，VLAN 1的IP范围内的任何设备都无法连接到UCSM，并且只能ping通一个FI IP。至少一个FI IP（共三个FI-A、FI-B、VIP）始终能够通信。

拓扑

VLAN 10上的交换矩阵互联IP

FI-A: 10.128.10.84

FI-B: 10.128.10.85

VIP:  10.128.10.86

GW: 10.128.10.1

VLAN 1上有问题的设备通信

Subnet 10.128.1.0/24

GW: 10.128.1.1

故障排除

从两个交换矩阵互联的本地管理上下文，它能够到达其默认(df)网关(gw)10.128.10.1。但是，VLAN 1 IP范围10.128.1.0/24上的IP地址无法到达或从交换矩阵互联本地管理上下文访问。

首先，这似乎是网关处的路由问题，而不是UCS问题，因为这只是交换矩阵互联上的管理接口，以及它能否到达网关和任何其他IP范围。这在上游网络上表现为第3层路由问题。

当traceroute从交换矩阵互联运行到随机IP范围（以及不在VLAN 1范围内的任何其他IP范围）时(例如，来自VLAN 20的IP:10.128.20.1),traceroute上的第一跳是VLAN 10的网关10.128.10.1,ping操作成功。

当traceroute运行到已知有问题的IP范围10.128.1.x/24时，traceroute将失败。

这就导致了在UCS端进行调查的原因。
这应该不会失败，第一跳应该是管理接口的df gw， 10.128.10.1，就像测试的10个IP中的10个IP不在VLAN 10 IP范围内且不在VLAN 1 IP范围内一样。

为了进一步调查，您运行了Ethanalyzer以查看发生了什么情况，并且当对VLAN 1的IP范围执行ping操作时，ARP会表现出奇怪的行为：

EWQLOVIUCS02-A(nxos)# ethanalyzer local interface mgmt display-filter arp limit-captured-frames 0

Capturing on eth0

2019-12-17 11:45:50.807837 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

2019-12-17 11:45:51.807835 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

2019-12-17 11:45:52.807827 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

2019-12-17 11:45:55.807829 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

预期行为是询问谁拥有此VLAN 1 IP，然后告知mgmt VLAN 10的网关。

但是，当VLAN 1的IP范围被ping通时，ARP会询问谁拥有该IP并告知10.128.0.142，请遵循以下步骤：

这应该是“Tell 10.128.10.1”，与测试的所有其他IP一样。
您甚至无法识别10.128.0.x子网或IP地址。

这是FI告诉10.128.0.142的原因，在对UCS域进行调查时，发现此IP地址已应用于服务器1/5的CIMC:

EWQLOVIUCS02-B(local-mgmt)# show mgmt-ip-debug ip-tables

<SNIPPED>

Chain PREROUTING (policy ACCEPT 5303K packets, 360M bytes)

pkts bytes target     prot opt in     out     source               destination

  188  9776 cimcnat    tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:443

    0     0 cimcnat    tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:80

    0     0 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.85        to:127.6.1.1

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.85        tcp dpt:2068 to:127.6.1.1:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.85        udp dpt:623 to:127.6.1.1:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.85        tcp dpt:22 to:127.6.1.1:22

  449 26940 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.108       to:127.6.1.2

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.108       tcp dpt:2068 to:127.6.1.2:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.108       udp dpt:623 to:127.6.1.2:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.108       tcp dpt:22 to:127.6.1.2:22

  931 55860 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.107       to:127.6.1.3

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.107       tcp dpt:2068 to:127.6.1.3:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.107       udp dpt:623 to:127.6.1.3:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.107       tcp dpt:22 to:127.6.1.3:22

    0     0 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.104       to:127.6.1.3

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.104       tcp dpt:2068 to:127.6.1.3:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.104       udp dpt:623 to:127.6.1.3:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.104       tcp dpt:22 to:127.6.1.3:22

  920 55200 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.106       to:127.6.1.4

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.106       tcp dpt:2068 to:127.6.1.4:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.106       udp dpt:623 to:127.6.1.4:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.106       tcp dpt:22 to:127.6.1.4:22

  912 54720 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.105       to:127.6.1.6

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.105       tcp dpt:2068 to:127.6.1.6:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.105       udp dpt:623 to:127.6.1.6:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.105       tcp dpt:22 to:127.6.1.6:22



    0     0 DNAT       icmp --  *      *       0.0.0.0/0            10.128.0.142        to:127.6.1.5     <<---- Indicates that 10.128.0.142 is the OOB KVM IP address for server 1/5.



    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.0.142        tcp dpt:2068 to:127.6.1.5:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.0.142        udp dpt:623 to:127.6.1.5:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.0.142        tcp dpt:22 to:127.6.1.5:22

  910 54600 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.102       to:127.6.1.7

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.102       tcp dpt:2068 to:127.6.1.7:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.102       udp dpt:623 to:127.6.1.7:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.102       tcp dpt:22 to:127.6.1.7:22

  908 54480 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.101       to:127.6.1.8

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.101       tcp dpt:2068 to:127.6.1.8:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.101       udp dpt:623 to:127.6.1.8:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.101       tcp dpt:22 to:127.6.1.8:22

<SNIPPED>

根本原因

问题是服务器1/5的静态CIMC IP地址输入错误。

此外，它被置于子网255.255.248.0中

这在交换矩阵互联的路由表中创建了一个不需要的条目。在达到10.128.0.1 - 10.128.7.254范围内所有IP的默认路由之前，会达到该条件的路由

Linux(debug)# route -n

Kernel IP routing table

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface

10.128.10.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

127.15.1.0      0.0.0.0         255.255.255.0   U     0      0        0 vlan4042

127.7.0.0       0.0.0.0         255.255.0.0     U     0      0        0 vlan4043

127.5.0.0       0.0.0.0         255.255.0.0     U     0      0        0 vlan4044

127.14.0.0      0.0.0.0         255.255.0.0     U     0      0        0 vlan4046

127.12.0.0      0.0.0.0         255.255.0.0     U     0      0        0 bond0

127.9.0.0       0.0.0.0         255.255.0.0     U     0      0        0 vlan4047

10.0.0.0        0.0.0.0         255.0.0.0       U     0      0        0 eth0      <<---- Undesired route entry

10.0.0.0        0.0.0.0         255.0.0.0       U     0      0        0 eth0      <<---- Undesired route entry

0.0.0.0         10.128.10.1     0.0.0.0         UG    0      0        0 eth0

解决方案

本案例的解决方案是从未受影响的IP范围浏览UCSM，并更正服务器1/5的CIMC带外(OOB)静态地址。它从OOB管理池中提取，并已设置。它应该像环境中的其他所有服务器一样使用。

其他信息

如果交换矩阵互联重新启动，它有时会工作。问题出在该服务器的管理实例。不需要的路由表条目仅在交换矩阵互联上创建。当管理实例与主交换矩阵互联是同一交换矩阵互联时，它们无法到达VIP或该交换矩阵互联。

CIMC管理IP分配应始终与交换矩阵互联的OOB IP范围处于同一IP范围内。