ACIファブリックディスカバリのトラブルシューティング：マルチポッドディスカバリ

概要

このドキュメントでは、ACIマルチポッドディスカバリの説明とトラブルシューティングの手順について説明します。

背景説明

このドキュメントの内容は、 Troubleshooting Cisco Application Centric Infrastructure, Second Edition 特にFabric Discovery(FPD)を確認します。 マルチポッドディスカバリ 章

マルチポッドの概要

ACIマルチポッドを使用すると、単一のAPICクラスタを導入して、相互接続された複数のACIネットワークを管理できます。これらの個別のACIネットワークは「ポッド」と呼ばれ、各ポッドは通常の2層または3層のスパインリーフトポロジです。1つのAPICクラスタで複数のポッドを管理できます。

また、マルチポッド設計では、複数の部屋に物理的に存在するポッド間、またはリモートデータセンターのロケーション間でACIファブリックポリシーを拡張できます。マルチポッド設計では、APICコントローラクラスタで定義されたポリシーは、すべてのポッドで自動的に使用できるようになります。

最後に、マルチポッド設計により、障害ドメインの分離が強化されます。実際には、各ポッドはCOOP、MP-BGP、およびIS-ISプロトコルの独自のインスタンスを実行するため、これらのプロトコルに関する障害や問題はそのポッド内に含まれ、他のポッドには広がりません。

マルチポッドの設計とベストプラクティスの詳細については、cisco.comのドキュメント『ACIマルチポッドホワイトペーパー』を参照してください。

マルチポッドACIファブリックの主な要素は、リーフスイッチ、スパインスイッチ、APICコントローラ、およびIPNデバイスです。

この例では、ACIマルチポッドファブリックの設定に関連する問題のトラブルシューティングワークフローについて詳しく説明します。このセクションで使用される参照トポロジを次の図に示します。

ACIマルチポッド参照トポロジ

トラブルシューティングワークフロー

ACIポリシーの確認

アクセスポリシー

マルチポッドは、「infra」テナント経由でポッドを接続するためにL3Outを使用します。つまり、IPNに向かうスパインポートで必要なMulti-Pod L3Outカプセル化(VLAN-4)を有効にするには、アクセスポリシーの標準セットを設定する必要があります。

アクセスポリシーは、マルチポッドの導入に使用する[Add Pod]ウィザードで設定できます。ウィザードを使用した後、展開されたポリシーをAPIC GUIから確認できます。ポリシーが正しく設定されていないと、インフラテナントに障害が発生し、スパインからIPNへの接続が期待どおりに機能しない可能性があります。

スパインノード上のIPN側インターフェイスのアクセスポリシー定義を確認する際に、次のスキーマを参照できます。

スパイン201

スパイン202

スパイン401

スパイン402

インフラテナントでは、マルチポッドL3Outを次のスキーマに従って設定する必要があります。

インフラテナントでのマルチポッドL3Out

次に、Multi-Pod L3Out論理インターフェイスプロファイル設定の参照ショットを示します。ルータのサブインターフェイス定義は、スパイン201に対して次の図のように表示されます

インフラストラクチャL3Outの論理インターフェイスプロファイル

各ポッドには、次の図のように定義されたTEPプールが必要です。APICコントローラからTEPプールを使用して、オーバーレイ1 VRF用にノードのIPアドレスをプロビジョニングすることに注意してください。

ポッドファブリックセットアップポリシー

ファブリック外部接続ポリシーのデフォルト

infraテナントで「Fabric Ext Policy default」オブジェクトが適切に定義および設定されていることを確認します。この設定の例を次の図に示します。

ファブリック外部接続ポリシーのデフォルト

データプレーンTEP

ファブリック外部ルーティングプロファイルサブネット

ファブリック外部ルーティングプロファイルを使用すると、定義されたIPNのルーティングされたすべてのサブネットがその上にあるかどうかを確認できます。

IPN検証

マルチポッドは、ポッド間の接続を提供するポッドネットワーク(IPN)に依存します。IPNの設定が正しく行われていることを確認することが重要です。多くの場合、設定の障害や欠落は、障害が発生した場合の予期しない動作やトラフィックのドロップの原因になります。このセクションでは、IPNの設定について詳しく説明します。

次のセクションでは、次のIPNトポロジを参照してください。

IPNトポロジ

IPN dot1q VLAN-4サブインターフェイスへのスパイン接続

スパインからIPNへのポイントツーポイント接続は、VLAN-4上のサブインターフェイスで実現されます。この接続の最初の検証は、スパインとIPNデバイス間のIP到達可能性をテストすることです。

これを行うには、正しいインターフェイスを判別し、アップとして表示されていることを確認します。

S1P1-Spine201# show ip int brief vrf overlay-1 | grep 172.16.101.2
eth1/29.29           172.16.101.2/30      protocol-up/link-up/admin-up 

S1P1-Spine201# show ip interface  eth1/29.29
IP Interface Status for VRF "overlay-1"
eth1/29.29, Interface status: protocol-up/link-up/admin-up, iod: 67, mode: external
  IP address: 172.16.101.2, IP subnet: 172.16.101.0/30
  IP broadcast address: 255.255.255.255
  IP primary address route-preference: 0, tag: 0

S1P1-Spine201# show system internal ethpm  info interface Eth1/29.29
Ethernet1/29.29 - if_index: 0x1A01C01D
Router MAC address: 00:22:bd:f8:19:ff
Admin Config Information:
  state(up), mtu(9150), delay(1), vlan(4), cfg-status(valid)
  medium(broadcast)
Operational (Runtime) Information:
  state(up), mtu(9150), Local IOD(0x43), Global IOD(0x43), vrf(enabled)
  reason(None)
  bd_id(29)
Information from SDB Query (IM call)
  admin state(up), runtime state(up), mtu(9150),
  delay(1), bandwidth(40000000), vlan(4), layer(L3),
  medium(broadcast)
  sub-interface(0x1a01c01d) from parent port(0x1a01c000)/Vlan(4)
  Operational Bits:

User config flags:  0x1
  admin_router_mac(1)

Sub-interface FSM state(3)
No errors on sub-interface
Information from GLDB Query:
Router MAC address: 00:22:bd:f8:19:ff

インターフェイスがアップしていることを確認した後、ポイントツーポイントIP接続をテストします。

S1P1-Spine201# iping -V overlay-1 172.16.101.1 
PING 172.16.101.1 (172.16.101.1) from 172.16.101.2: 56 data bytes 
64 bytes from 172.16.101.1: icmp_seq=0 ttl=255 time=0.839 ms 
64 bytes from 172.16.101.1: icmp_seq=1 ttl=255 time=0.719 ms 
^C 
--- 172.16.101.1 ping statistics --- 
2 packets transmitted, 2 packets received, 0.00% packet loss 
round-trip min/avg/max = 0.719/0.779/0.839 ms 

接続に問題がある場合は、リモートIPN(IPN1)のケーブル配線と設定を確認します。

IPN1# show ip interface brief | grep 172.16.101.1 
Eth1/33              172.16.101.101  protocol-up/link-up/admin-up 
Eth1/35              172.16.101.105  protocol-up/link-up/admin-up 
Eth1/53.4            172.16.101.1    protocol-up/link-up/admin-up 

IPN1# show run int Eth1/53.4 
interface Ethernet1/53.4 
description to spine 1pod1 
mtu 9150 
encapsulation dot1q 4 
ip address 172.16.101.1/30 
ip ospf cost 100 
ip ospf network point-to-point 
ip router ospf 1 area 0.0.0.0 
ip pim sparse-mode 
ip dhcp relay address 10.0.0.3 
no shutdown 

OSPF 設定

OSPFは、ACI VRF「overlay-1」内でPod1とPod2を接続するためのルーティングプロトコルとして使用されます。 スパインとIPNデバイスの間でOSPFがアップ状態になっているかどうかを検証する一般的なフローとして、次を参照できます。

S1P1-Spine201# show ip ospf neighbors vrf overlay-1 
OSPF Process ID default VRF overlay-1 
Total number of neighbors: 2 
Neighbor ID     Pri State            Up Time  Address         Interface 
172.16.101.201    1 FULL/ -          08:39:35 172.16.101.1    Eth1/29.29 
172.16.101.202    1 FULL/ -          08:39:34 172.16.101.9    Eth1/30.30

S1P1-Spine201# show ip ospf  interface  vrf overlay-1 
Ethernet1/29.29 is up, line protocol is up 
   IP address 172.16.101.2/30, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State P2P, Network type P2P, cost 1 
   Index 67, Transmit delay 1 sec 
   1 Neighbors, flooding to 1, adjacent with 1 
   Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5 
     Hello timer due in 00:00:10 
   No authentication 
   Number of opaque link LSAs: 0, checksum sum 0 
loopback0 is up, line protocol is up 
   IP address 10.0.200.66/32, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State LOOPBACK, Network type LOOPBACK, cost 1
 loopback14 is up, line protocol is up 
   IP address 172.16.1.4/32, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State LOOPBACK, Network type LOOPBACK, cost 1
 Ethernet1/30.30 is up, line protocol is up 
   IP address 172.16.101.10/30, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State P2P, Network type P2P, cost 1 
   Index 68, Transmit delay 1 sec 
   1 Neighbors, flooding to 1, adjacent with 1 
   Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5 
     Hello timer due in 00:00:09 
   No authentication 
   Number of opaque link LSAs: 0, checksum sum 0

IPN1# show ip ospf  neighbors 
OSPF Process ID 1 VRF default 
Total number of neighbors: 5 
Neighbor ID     Pri State            Up Time  Address         Interface 
172.16.101.203    1 FULL/ -          4d12h    172.16.101.102  Eth1/33 
172.16.101.202    1 FULL/ -          4d12h    172.16.101.106  Eth1/35 
172.16.110.201    1 FULL/ -          4d12h    172.16.110.2    Eth1/48 
172.16.1.4        1 FULL/ -          08:43:39 172.16.101.2    Eth1/53.4 
172.16.1.6        1 FULL/ -          08:43:38 172.16.101.6    Eth1/54.4 

すべてのスパインとIPNデバイス間でOSPFがアップ状態の場合、すべてのPod TEPプールがIPNルーティングテーブル内に表示されます。

IPN1# show ip ospf database 10.0.0.0 detail 
       OSPF Router with ID (172.16.101.201) (Process ID 1 VRF default)
                Type-5 AS External Link States
LS age: 183 
Options: 0x2 (No TOS-capability, No DC) 
LS Type: Type-5 AS-External 
Link State ID: 10.0.0.0 (Network address) 
Advertising Router: 172.16.1.4 
LS Seq Number: 0x80000026 
Checksum: 0x2da0 
Length: 36 
Network Mask: /16 
      Metric Type: 2 (Larger than any link state path) 
      TOS: 0 
      Metric: 20 
      Forward Address: 0.0.0.0 
      External Route Tag: 0
LS age: 183 
Options: 0x2 (No TOS-capability, No DC) 
LS Type: Type-5 AS-External 
Link State ID: 10.0.0.0 (Network address) 
Advertising Router: 172.16.1.6 
LS Seq Number: 0x80000026 
Checksum: 0x21aa 
Length: 36 
Network Mask: /16 
      Metric Type: 2 (Larger than any link state path) 
      TOS: 0 
      Metric: 20 
      Forward Address: 0.0.0.0 
      External Route Tag: 0

IPN1# show ip ospf database 10.1.0.0 detail 
     OSPF Router with ID (172.16.101.201) (Process ID 1 VRF default)
                Type-5 AS External Link States
LS age: 1779 
Options: 0x2 (No TOS-capability, No DC) 
LS Type: Type-5 AS-External 
Link State ID: 10.1.0.0 (Network address) 
Advertising Router: 172.16.2.4 
LS Seq Number: 0x80000022 
Checksum: 0x22ad 
Length: 36 
Network Mask: /16 
      Metric Type: 2 (Larger than any link state path) 
      TOS: 0 
      Metric: 20 
      Forward Address: 0.0.0.0 
      External Route Tag: 0
LS age: 1780 
Options: 0x2 (No TOS-capability, No DC) 
LS Type: Type-5 AS-External 
Link State ID: 10.1.0.0 (Network address) 
Advertising Router: 172.16.2.6 
LS Seq Number: 0x80000022 
Checksum: 0x16b7 
Length: 36 
Network Mask: /16 
      Metric Type: 2 (Larger than any link state path) 
      TOS: 0 
      Metric: 20 
      Forward Address: 0.0.0.0 
      External Route Tag: 0

IPN1# show ip route 10.0.0.0 
IP Route Table for VRF "default" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.0.0.0/16, ubest/mbest: 2/0 
*via 172.16.101.2, Eth1/53.4, [110/20], 08:39:17, ospf-1, type-2 
*via 172.16.101.6, Eth1/54.4, [110/20], 08:39:17, ospf-1, type-2

IPN1# show ip route 10.1.0.0 
IP Route Table for VRF "default" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.1.0.0/16, ubest/mbest: 1/0 
*via 172.16.101.102, Eth1/33, [110/20], 08:35:25, ospf-1, type-2

リモートポッド(Pod2)のIPN1では、「show ip route」コマンドに最も最適なルートだけが表示されます。

DHCP リレー設定

スイッチノードは、APICに対してDHCPを利用してインフラストラクチャTEPアドレスを受信します。通常、すべてのAPICがディスカバリを受信しますが、ディスカバリを受信し、TEPアドレスを割り当てるオファーを提示するのは最初のAPICです。マルチポッドシナリオでこれを説明するには、IPNでDHCPリレーを設定してこれらの検出を受信し、APICに向けてユニキャストします。一般に、すべてのIPNスパイン側インターフェイスに、すべてのAPICを指すIPヘルパーを設定します。これにより、APICが再ケーブル化によって移動した場合、スタンバイAPICがフェールオーバーした場合、またはAPICが新しいポッドに移動するシナリオが発生した場合に、IPN設定が保護されます。

このシナリオでは、すべてのAPICを指すIPヘルパーを使用してIPN1 Eth1/53.4およびEth1/54.4を設定することを意味します。

interface Ethernet1/53.4 
 description to  spine 1pod1 
 mtu 9150 
 encapsulation dot1q 4 
 ip address 172.16.101.1/30 
 ip ospf cost 100 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
 ip dhcp relay address 10.0.0.1 
 ip dhcp relay address 10.0.0.2 
 ip dhcp relay address 10.0.0.3 
 no shutdown

interface Ethernet1/54.4 
 description to  spine 2pod1 
 mtu 9150 
 encapsulation dot1q 4 
 ip address 172.16.101.5/30 
 ip ospf cost 100 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
 ip dhcp relay address 10.0.0.1 
 ip dhcp relay address 10.0.0.2 
 ip dhcp relay address 10.0.0.3 
 no shutdown

IPN3から：

interface Ethernet1/53.4 
 description to  spine 1pod2 
 mtu 9150 
 encapsulation dot1q 4 
 ip address 172.16.101.17/30 
 ip ospf cost 100 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
 ip dhcp relay address 10.0.0.1 
 ip dhcp relay address 10.0.0.2 
 ip dhcp relay address 10.0.0.3 
 no shutdown

interface Ethernet1/54.4 
 description to  spine 2pod2 
 mtu 9150 
 encapsulation dot1q 4 
 ip address 172.16.101.21/30 
 ip ospf cost 100 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
 ip dhcp relay address 10.0.0.1 
 ip dhcp relay address 10.0.0.2 
 ip dhcp relay address 10.0.0.3 
 no shutdown

MTU

スパインとIPNデバイスの間でOSPFが起動しない場合（EXCHANGEまたはEXSTART）、デバイス間でMTUが一致することを確認します。

RP設定

PIM BiDirでは、ランデブーポイント(RP)はデータパスの一部ではありません。機能マルチキャストでは、各IPNデバイスに必要なのはRPアドレスへのルートだけです。冗長性は、ファントムRP設定を使用して実現できます。この場合、Multicast Source Discovery Protocol(MSDP)経由で交換する送信元がないため、エニーキャストRPは有効な冗長方式ではありません。

ファントムRP設計では、RPは到達可能なサブネットに存在しないアドレスです。次の設定では、APIC初期設定で設定されているマルチキャスト範囲がデフォルトの225.0.0.0/15であると仮定しています。APIC初期設定でマルチキャスト範囲を変更した場合は、IPN設定を調整する必要があります。

次のloopback1はphantom-rpループバックです。OSPFに注入する必要があります。ただし、OPSFルータIDとして使用することはできません。それには別のループバック(loopback0)を使用する必要があります。

IPN1 config:

interface loopback1 
 description IPN1-RP-Loopback 
 ip address 172.16.101.221/30 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir 
ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

IPN2 config:

ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir 
ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

IPN3 config:

interface loopback1 
 description IPN3-RP-Loopback 
 ip address 172.16.101.221/29 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir 
ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

IPN4 config:

ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir 
ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

ループバックのサブネットマスクを/32にすることはできません。ファントムRP設計でプライマリデバイスとしてIPN1を使用するには、/30サブネットマスクを使用して、OSPFトポロジで優先される最も具体的なルートを利用します。IPN3はPhantom RP設計のセカンダリデバイスになるため、/29サブネットマスクを使用して、より限定的なルートにします。/29は、/30がOSPFトポロジ内に存在し、その後に存在することを停止する何らかの問題が発生した場合にのみ使用されます。

ファブリックに参加する最初のリモートポッドスパインのトラブルシューティング

次の手順では、最初のリモートポッドスパインがファブリックに参加するために実行するプロセスの概要を示します。

1. スパインは、IPNに面するサブインターフェイスでDHCPを実行します。DHCPリレー設定は、このディスカバリをAPICに伝送します。スパインがファブリックメンバーシップに追加されると、APICが応答します。提供されるIPアドレスは、Multi-Pod L3Outで設定されたIPアドレスです。
2. スパインは、IPアドレスをポイントツーポイントインターフェイスの反対側へのスタティックルートとして提供するDHCPサーバへのルートをインストールします。
3. スパインは、スタティックルートを介してAPICからブートストラップファイルをダウンロードします。
4. スパインは、ブートストラップファイルに基づいて設定され、VTEP、OSPF、およびBGPを起動してファブリックに参加します。

APICから、L3Out IPが提供されるように適切に設定されているかどうかを確認します。(Spine 401にはシリアルFDO22472FCV)

bdsol-aci37-apic1# moquery -c dhcpExtIf

# dhcp.ExtIf 
ifId         : eth1/30 
childAction  : 
dn           : client-[FDO22472FCV]/if-[eth1/30] 
ip           : 172.16.101.26/30 
lcOwn        : local 
modTs        : 2019-10-01T09:51:29.966+00:00 
name         : 
nameAlias    : 
relayIp      : 0.0.0.0 
rn           : if-[eth1/30] 
status       : 
subIfId      : unspecified

# dhcp.ExtIf
ifId         : eth1/29 
childAction  : 
dn           : client-[FDO22472FCV]/if-[eth1/29] 
ip           : 172.16.101.18/30 
lcOwn        : local 
modTs        : 2019-10-01T09:51:29.966+00:00 
name         : 
nameAlias    : 
relayIp      : 0.0.0.0 
rn           : if-[eth1/29] 
status       : 
subIfId      : unspecified

IPN側のインターフェイスが、infraテナントで行われたL3Out設定に一致する予期されたIPアドレスを受信したかどうかを検証します。

S1P2-Spine401# show ip interface brief | grep eth1/29 
eth1/29              unassigned           protocol-up/link-up/admin-up 
eth1/29.29           172.16.101.18/30     protocol-up/link-up/admin-up 

これで、スパインからAPICへのIP接続が確立され、pingによる接続を確認できます。

S1P2-Spine401# iping -V overlay-1 10.0.0.1 
PING 10.0.0.1 (10.0.0.1) from 172.16.101.18: 56 data bytes 
64 bytes from 10.0.0.1: icmp_seq=0 ttl=60 time=0.345 ms 
64 bytes from 10.0.0.1: icmp_seq=1 ttl=60 time=0.294 ms 
^C 
--- 10.0.0.1 ping statistics --- 
2 packets transmitted, 2 packets received, 0.00% packet loss 
round-trip min/avg/max = 0.294/0.319/0.345 ms 

スパインはIPNへのOSPFを起動し、ルータIDのループバックをセットアップします。

S1P2-Spine401# show ip ospf neighbors vrf overlay-1
OSPF Process ID default VRF overlay-1 
Total number of neighbors: 2 
Neighbor ID     Pri State            Up Time  Address         Interface 
172.16.101.204    1 FULL/ -          00:04:16 172.16.101.25   Eth1/30.30 
172.16.101.203    1 FULL/ -          00:04:16 172.16.101.17   Eth1/29.29

S1P2-Spine401# show ip ospf  interface  vrf overlay-1 
loopback8 is up, line protocol is up 
   IP address 172.16.2.4/32, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State LOOPBACK, Network type LOOPBACK, cost 1
 Ethernet1/30.30 is up, line protocol is up 
   IP address 172.16.101.26/30, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State P2P, Network type P2P, cost 1 
   Index 68, Transmit delay 1 sec 
   1 Neighbors, flooding to 1, adjacent with 1 
   Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5 
     Hello timer due in 00:00:07 
   No authentication 
   Number of opaque link LSAs: 0, checksum sum 0 
Ethernet1/29.29 is up, line protocol is up 
   IP address 172.16.101.18/30, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State P2P, Network type P2P, cost 1 
   Index 67, Transmit delay 1 sec 
   1 Neighbors, flooding to 1, adjacent with 1 
   Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5 
     Hello timer due in 00:00:04 
   No authentication 
   Number of opaque link LSAs: 0, checksum sum 0

スパインはDHCPを介してPTEPを受信します。

S1P2-Spine401# show ip interface vrf overlay-1 | egrep -A 1 status 
lo0, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: ptep 
IP address: 10.1.88.67, IP subnet: 10.1.88.67/32

スパインはDiscoveringからActiveに移行し、完全に検出されます。

bdsol-aci37-apic1# acidiag fnvread 
     ID   Pod ID                 Name    Serial Number         IP Address    Role        State   LastUpdMsgId 
-------------------------------------------------------------------------------------------------------------- 
    101        1         S1P1-Leaf101      FDO224702JA     10.0.160.64/32    leaf         active   0 
    102        1         S1P1-Leaf102      FDO223007G7     10.0.160.67/32    leaf         active   0 
    201        1        S1P1-Spine201      FDO22491705     10.0.160.65/32   spine         active   0 
    202        1        S1P1-Spine202      FDO224926Q9     10.0.160.66/32   spine         active   0 
    401        2        S1P2-Spine401      FDO22472FCV      10.1.88.67/32   spine         active   0

リモートスパインに少なくとも1つのリーフスイッチが接続されている場合にのみ、リモートスパインを検出できます。

残りのリーフ/スパインスイッチを確認する

ポッドの残りの部分は、通常のポッドの起動手順に従って検出されます（「ファブリックセットアップの初期設定」の項を参照）。

リモートポッドAPICの確認

3番目のAPICを検出するには、次のプロセスに従います。

• leaf301はLLDP（単一のポッドケースと同じ）に基づいて、直接接続されたAPIC(APIC3)へのスタティックルートを作成します。リモートAPICはPOD1 IPプールからIPアドレスを受信します。このルートを/32として作成します。
• Leaf301は、IS-ISを使用してSpine401とSpine402にこのルートをアドバタイズします（単一のポッドケースと同じ）
• Spine401とSpine402は、このルートをIPNに向けてOSPFに再配布します
• Spine201とSpine202は、このルートをOSPFからPod1のIS-ISに再配布します
• これで、APIC3とAPIC1およびAPIC2の間の接続が確立されます
• APIC3はクラスタに参加できます

確認するには、次のチェックを使用します。

Leaf301は、LLDP（シングルポッドケースと同じ）に基づいて、直接接続されたAPIC(APIC3)へのスタティックルートを作成します

S1P2-Leaf301# show ip route 10.0.0.3 vrf overlay-1 
IP Route Table for VRF "overlay-1" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 2/0 
   *via 10.1.88.64, eth1/50.14, [115/12], 00:07:21, isis-isis_infra, isis-l1-ext 
   *via 10.1.88.67, eth1/49.13, [115/12], 00:07:15, isis-isis_infra, isis-l1-ext 
    via 10.0.0.3, vlan9, [225/0], 07:31:04, static

Leaf301は、IS-ISを使用してSpine401とSpine402にこのルートをアドバタイズします（単一のポッドケースと同じ）

Spine401とSpine402は、IPNに向かうOSPFにこのルートをリークします

S1P2-Spine401# show ip route 10.0.0.3 vrf overlay-1 
IP Route Table for VRF "overlay-1" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 1/0 
    *via 10.1.88.65, eth1/2.35, [115/11], 00:17:38, isis-isis_infra, isis-l1-ext  S1P2-Spine401#

IPN3# show ip route 10.0.0.3 
IP Route Table for VRF "default" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 2/0 
    *via 172.16.101.18, Eth1/53.4, [110/20], 00:08:05, ospf-1, type-2 
    *via 172.16.101.22, Eth1/54.4, [110/20], 00:08:05, ospf-1, type-2

S1P1-Spine201# show ip route vrf overlay-1 10.0.0.3 
IP Route Table for VRF "overlay-1" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 2/0 
    *via 172.16.101.1, eth1/29.29, [110/20], 00:08:59, ospf-default, type-2 
    *via 172.16.101.9, eth1/30.30, [110/20], 00:08:59, ospf-default, type-2 
    via 10.0.160.64, eth1/1.36, [115/12], 00:18:19, isis-isis_infra, isis-l1-ext 
    via 10.0.160.67, eth1/2.35, [115/12], 00:18:19, isis-isis_infra, isis-l1-ext 

これで、APIC3とAPIC1およびAPIC2の間の接続が確立されます

APIC3はクラスタに参加できます

apic1# show controller 
Fabric Name          : POD37 
Operational Size     : 3 
Cluster Size         : 3 
Time Difference      : 133 
Fabric Security Mode : PERMISSIVE
 ID    Pod   Address          In-Band IPv4     In-Band IPv6               OOB IPv4         OOB IPv6                        Version             Flags  Serial Number     Health 
----  ----  ---------------  ---------------  -------------------------  ---------------  ------------------------------  ------------------  -----  ----------------  ------------------ 
1*    1     10.0.0.1         0.0.0.0          fc00::1                    10.48.176.57     fe80::d6c9:3cff:fe51:cb82       4.2(1i)             crva-  WZP22450H82       fully-fit 
2     1     10.0.0.2         0.0.0.0          fc00::1                    10.48.176.58     fe80::d6c9:3cff:fe51:ae22       4.2(1i)             crva-  WZP22441AZ2       fully-fit 
3     2     10.0.0.3         0.0.0.0          fc00::1                    10.48.176.59     fe80::d6c9:3cff:fe51:a30a       4.2(1i)             crva-  WZP22441B0T       fully-fit
Flags - c:Commissioned | r:Registered | v:Valid Certificate | a:Approved | f/s:Failover fail/success 
(*)Current (~)Standby (+)AS 

APIC1からPod2のリモートデバイスにpingを実行し、次のpingを使用して接続を確認します。（APIC1のケース10.0.0.1では、必ずローカルインターフェイスから発信してください）。

apic1# ping 10.0.0.3 -I 10.0.0.1 
PING 10.0.0.3 (10.0.0.3) from 10.0.0.1 : 56(84) bytes of data. 
64 bytes from 10.0.0.3: icmp_seq=1 ttl=58 time=0.132 ms 
64 bytes from 10.0.0.3: icmp_seq=2 ttl=58 time=0.236 ms 
64 bytes from 10.0.0.3: icmp_seq=3 ttl=58 time=0.183 ms 
^C 
--- 10.0.0.3 ping statistics --- 
3 packets transmitted, 3 received, 0% packet loss, time 2048ms 
rtt min/avg/max/mdev = 0.132/0.183/0.236/0.045 ms 

トラブルシューティングのシナリオ

スパインがIPNにpingできない

この原因として最も可能性が高いのは次のとおりです。

• ACIアクセスポリシーの設定ミス。
• IPN設定の設定ミス。

この章の「トラブルシューティングワークフロー」を参照して、次の項目を確認してください。

• ACIポリシーを確認します。
• IPN検証。

リモートスパインがファブリックに参加していない

この原因として最も可能性が高いのは次のとおりです。

• IPNネットワークでのDHCPリレーの問題。
• IPNネットワーク上でのスパインからAPICへのIP到達可能性。

この章の「トラブルシューティングワークフロー」を参照して、次の項目を確認してください。

• ACIポリシーを確認します。
• IPN検証。
• 1番目のファブリック結合のトラブルシューティング

リモートスパインに少なくとも1つのリーフが接続されていること、およびスパインがこのリーフとLLDP隣接関係を持つことを確認します。

Pod2のAPICがファブリックに参加していない

これは通常、リモートポッドリーフスイッチとスパインスイッチがファブリックに正しく参加できたと仮定したAPICの初期設定ダイアログの誤りが原因で発生します。正しい設定では、次の「avread」出力が予想されます（APIC3参加シナリオが動作）。

apic1# avread 
Cluster: 
------------------------------------------------------------------------- 
fabricDomainName        POD37 
discoveryMode           PERMISSIVE 
clusterSize             3 
version                 4.2(1i) 
drrMode                 OFF 
operSize                3
APICs: 
------------------------------------------------------------------------- 
                   APIC 1                  APIC 2                  APIC 3 
version           4.2(1i)                 4.2(1i)                 4.2(1i) 
address           10.0.0.1                10.0.0.2                10.0.0.3 
oobAddress        10.48.176.57/24         10.48.176.58/24         10.48.176.59/24 
routableAddress   0.0.0.0                 0.0.0.0                 0.0.0.0 
tepAddress        10.0.0.0/16             10.0.0.0/16             10.0.0.0/16 
podId             1                       1                       2 
chassisId         7e34872e-.-d3052cda     84debc98-.-e207df70     89b73e48-.-f6948b98 
cntrlSbst_serial  (APPROVED,WZP22450H82)  (APPROVED,WZP22441AZ2)  (APPROVED,WZP22441B0T) 
active            YES                     YES                     YES 
flags             cra-                    cra-                    cra- 
health            255                     255                     255 

（リモートPod内の）APIC3がpodId 2とPod1のtepAddressで設定されていることに注目してください。

次のコマンドを使用して、元のAPIC3セットアップ設定を確認します。

apic3# cat /data/data_admin/sam_exported.config 
Setup for Active and Standby APIC
fabricDomain = POD37 
fabricID = 1 
systemName =bdsol-aci37-apic3 
controllerID = 3 
tepPool = 10.0.0.0/16 
infraVlan = 3937 
clusterSize = 3 
standbyApic = NO 
enableIPv4 = Y 
enableIPv6 = N 
firmwareVersion = 4.2(1i) 
ifcIpAddr = 10.0.0.3 
apicX = NO 
podId = 2 
oobIpAddr = 10.48.176.59/24

誤りが発生した場合は、APIC3にログインし、「acidiag touch setup」と「acidiag reboot」を実行します。

POD-to-POD BUMトラフィックが機能しない

この原因として最も可能性が高いのは次のとおりです。

• IPネットワークにRPがない
• RPがACIファブリックから到達不能IPNデバイスでの一般的なマルチキャストの設定ミス

この章の「トラブルシューティングワークフロー」を参照して、次の項目を確認してください。

• IPN検証

また、いずれかのIPN RPデバイスがオンラインであることを確認します。

1台のIPNデバイスで障害が発生した後、BUMトラフィックはドロップされます

トラブルシューティングワークフローのIPN検証で説明されているように、ファントムRPを使用して、プライマリRPがダウンしたときに、セカンダリRPが使用可能であることを保証します。「IPN検証」セクションを確認し、正しい検証を確認してください。

同じEPG内でポッドエンドポイント間の接続が切断される

これは、マルチポッドセットアップの設定ミスが原因である可能性が高く、トラブルシューティングワークフローを検証してフロー全体を確認してください。問題が解決しない場合は、「Intra-Fabric Forwarding」の章の「Multi-Pod forwarding」の項を参照して、この問題のトラブルシューティングを進めてください。