ACIイントラファブリックフォワーディング – L3フォワーディングのトラブルシューティング：異なるBDの2つのエンドポイント

概要

このドキュメントでは、ACI L3フォワーディングシナリオを理解し、トラブルシューティングする手順について説明します。

背景説明

このドキュメントの内容は、 Troubleshooting Cisco Application Centric Infrastructure, Second Edition 特に イントラファブリックフォワーディング – L3フォワーディング：異なるBDの2つのエンドポイント 章

L3フォワーディング：異なるBDの2つのエンドポイント

この章では、異なるブリッジドメインのエンドポイントが相互に通信できないトラブルシューティング例について説明します。これは、ACIファブリックによってルーティングされるフローです。図1にトポロジを示します。

異なるブリッジドメインのエンドポイント

高度なトラブルシューティングワークフロー

次に、一般的なトラブルシューティング手順と確認コマンドを示します。

最初のチェック：プログラミングの検証

• BD普及ゲートウェイはリーフノードにプッシュする必要があります。
• 宛先BDサブネットへのルートは、リーフノードにプッシュする必要があります。
• ホストのデフォルトゲートウェイのARPを解決する必要があります。

2番目のチェック：リーフノードのCLIを使用して学習エントリとテーブルエントリを検証します。

• 送信元リーフおよび宛先リーフノードがエンドポイントを学習し、宛先エンドポイントを学習するかどうかを確認します。
  • エンドポイントテーブル – 'show endpoint'。
  • TEP宛先：「show interface tunnel <x>」。
  • 'show ip route <TEP address> vrf overlay-1'コマンドでTEP宛先を見つけます。
• スパインノードがエンドポイントを学習することを確認します。
  • 'show coop internal info'。

3番目のチェック：パケットを取得し、転送の決定を分析します。

• ELAM（ELAM AssistantまたはCLI）を使用して、フレームが存在することを確認します。
• またはfTriageを使用してフローを追跡します。

既知のエンドポイントのトラブルシューティングワークフロー

BDの広範なゲートウェイをチェックします。

この例では、次の送信元エンドポイントと宛先エンドポイントが使用されます。

• EP A 10.1.1.1をleaf1の下に配置します。
• VPCペアleaf3およびleaf4の下のEP B 10.1.2.1。

次の広範なゲートウェイが表示されます。

• leaf1のBD1ゲートウェイ用の10.1.1.254/24。
• leaf3およびleaf4上のBD2ゲートウェイの10.1.2.254/24。

これを確認するには、次のコマンドを使用します。リーフノード上の'show ip interface vrf <vrf name>'。

リーフ1:

leaf1# show ip interface vrf Prod:VRF1
IP Interface Status for VRF "Prod:VRF1"
vlan7, Interface status: protocol-up/link-up/admin-up, iod: 106, mode: pervasive
 IP address: 10.1.1.254, IP subnet: 10.1.1.0/24
 IP broadcast address: 255.255.255.255
 IP primary address route-preference: 0, tag: 0

リーフ3および4:

leaf3# show ip interface  vrf Prod:VRF1
IP Interface Status for VRF "Prod:VRF1"
vlan1, Interface status: protocol-up/link-up/admin-up, iod: 159, mode: pervasive
 IP address: 10.1.2.254, IP subnet: 10.1.2.0/24
 IP broadcast address: 255.255.255.255
 IP primary address route-preference: 0, tag: 0

leaf4# show ip interface  vrf Prod:VRF1
IP Interface Status for VRF "Prod:VRF1"
vlan132, Interface status: protocol-up/link-up/admin-up, iod: 159, mode: pervasive
 IP address: 10.1.2.254, IP subnet: 10.1.2.0/24
 IP broadcast address: 255.255.255.255
 IP primary address route-preference: 0, tag: 0

leaf3とleaf4のゲートウェイアドレスは同じですが、SVIのVLANカプセル化が異なる可能性があることに注意してください。

• leaf3はVLAN 1を使用します。
• leaf4はVLAN 132を使用します。

これは、VLAN 1またはVLAN 132がリーフ上のローカルVLANであるために予想されます。

普及しているゲートウェイIPアドレスがリーフにプッシュされない場合は、APIC GUIで、VLANの展開を妨げる障害がないことを確認します。

リーフ上のルーティングテーブルのチェック

Leaf1にはサブネット10.1.2.0/24にエンドポイントがありませんが、それに到達するには、そのサブネットへのルートが必要です。

leaf1# show ip route 10.1.2.0/24 vrf Prod:VRF1
IP Route Table for VRF "Prod:VRF1"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>

10.1.2.0/24, ubest/mbest: 1/0, attached, direct, pervasive
   *via 10.0.8.65%overlay-1, [1/0], 00:22:37, static, tag 4294967294
        recursive next hop: 10.0.8.65/32%overlay-1

「pervasive」および「direct」のフラグが設定されたルートのネクストホップは10.0.8.65であることに注意してください。これは、すべてのスパインに存在するanycast-v4ループバックアドレスです。

leaf1# show isis  dteps  vrf overlay-1 | egrep 10.0.8.65
10.0.8.65          SPINE   N/A             PHYSICAL,PROXY-ACAST-V4

同様に、leaf3とleaf4には10.1.1.0/24へのルートが必要です。

leaf3# show ip route 10.1.1.1 vrf Prod:VRF1
IP Route Table for VRF "Prod:VRF1"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>

10.1.1.0/24, ubest/mbest: 1/0, attached, direct, pervasive
   *via 10.0.8.65%overlay-1, [1/0], 00:30:25, static, tag 4294967294
        recursive next hop: 10.0.8.65/32%overlay-1

これらのルートがない場合は、BD1のEPGとBD2のEPGの間にコントラクトがないことが原因である可能性があります。リーフの下のBD1にローカルエンドポイントがない場合、BD1の普及ゲートウェイはリーフにプッシュされません。BD1の別のEPGと契約しているEPGにローカルエンドポイントがある場合、BD1サブネットはリーフで学習されます。

デフォルトゲートウェイIPのARP解決

ローカルエンドポイントが存在するリーフには拡散ゲートウェイが必要なので、拡散ゲートウェイのARP要求は常にローカルリーフによって解決される必要があります。これは、次のコマンドを使用してローカルリーフで確認できます。

leaf1# show ip arp internal event-history event  | egrep 10.1.1.1
   [116] TID 26571:arp_handle_arp_request:6135: log_collect_arp_pkt; sip = 10.1.1.1; dip = 10.1.1.254;interface = Vlan7; phy_inteface = Ethernet1/3; flood = 0; Info = Sent ARP response.
    [116] TID 26571:arp_process_receive_packet_msg:8384: log_collect_arp_pkt; sip = 10.1.1.1; dip = 10.1.1.254;interface = Vlan7; phy_interface = Ethernet1/3;Info = Received arp request

入力リーフソースIPおよびMACエンドポイントの学習

レイヤ3フォワーディングの場合、ACIはレイヤ3送信元IPラーニングと宛先IPルックアップを実行します。学習されたIPアドレスはVRFにスコープ設定されます。

これは、GUIのEPGの[operational]タブで確認できます。ここでは、IPとMACの両方が学習されることに注意してください。

EPGの運用エンドポイント

EPG運用エンドポイント：詳細

ローカルエンドポイントがローカルリーフで学習されていることを確認します。次に、leaf1でIP 10.1.1.1が学習されていることを確認します。

leaf1# show endpoint ip 10.1.1.1
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
46                                        vlan-2501    0000.1001.0101 L                      eth1/3
Prod:VRF1                                 vlan-2501          10.1.1.1 L                      eth1/3

上記のように、エンドポイントのコンテンツは次のとおりです。

• BD（BDの内部VLANは46）、EPG(vlan-2501)とeth1/3で学習されたMACアドレスのVLANカプセル化
• IP 10.1.1.1を使用するVRF(Prod:VRF1)

これは、従来のネットワークのARPエントリと同等と理解できます。ACIは、エンドポイントのARPテーブルにARP情報を保存しません。エンドポイントは、エンドポイントテーブルにのみ表示されます。

リーフ上のARPテーブルは、L3Outネクストホップにのみ使用されます。

leaf1# show ip arp vrf Prod:VRF1    
Flags: * - Adjacencies learnt on non-active FHRP router
       + - Adjacencies synced via CFSoE
       # - Adjacencies Throttled for Glean
       D - Static Adjacencies attached to down interface    IP ARP Table for context Prod:VRF1
Total number of entries: 0
Address         Age       MAC Address     Interface    
< NO ENTRY >

入力リーフ宛先IPルックアップ：既知のリモートエンドポイント

宛先IPが既知の（既知のユニキャスト）であると仮定した場合、次に示すのは宛先IP 10.1.2.1の「show endpoint」出力です。これはleaf1には存在せず、特にローカルで学習されるトンネルインターフェイス(tunnel 4)を指しているため、リモート学習となります。

リモートエンドポイントにはIPまたはMACのいずれかのみが含まれ、両方が同じエントリに含まれることはありません。同じエンドポイントのMACアドレスとIPアドレスは、エンドポイントがローカルで学習された場合にのみ発生します。

leaf1# show endpoint ip 10.1.2.1
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
Prod:VRF1                                                    10.1.2.1 p                     tunnel4

leaf1# show interface tunnel 4
Tunnel4 is up
   MTU 9000 bytes, BW 0 Kbit
   Transport protocol is in VRF "overlay-1"
   Tunnel protocol/transport is ivxlan
   Tunnel source 10.0.88.95/32 (lo0)
   Tunnel destination 10.0.96.66
   Last clearing of "show interface" counters never
   Tx
   0 packets output, 1 minute output rate 0 packets/sec
   Rx
   0 packets input, 1 minute input rate 0 packets/sec

宛先TEPは、leaf3と4 VPCペアのエニーキャストTEPであり、アップリンクを介してスパインに学習されます。

leaf1# show ip route 10.0.96.66 vrf overlay-1
IP Route Table for VRF "overlay-1"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>

10.0.96.66/32, ubest/mbest: 4/0
   *via 10.0.88.65, eth1/49.10, [115/3], 02w06d, isis-isis_infra, isis-l1-int
   *via 10.0.128.64, eth1/51.8, [115/3], 02w06d, isis-isis_infra, isis-l1-int
   *via 10.0.88.64, eth1/52.126, [115/3], 02w06d, isis-isis_infra, isis-l1-int
   *via 10.0.88.94, eth1/50.128, [115/3], 02w06d, isis-isis_infra, isis-l1-int

IP 10.1.2.1の追加のエンドポイント情報は、「show system internal epm endpoint ip <ip>」コマンドを使用して収集できます。

leaf1# show system internal epm endpoint ip 10.1.2.1
MAC : 0000.0000.0000 ::: Num IPs : 1
IP# 0 : 10.1.2.1 ::: IP# 0 flags :  ::: l3-sw-hit: No
Vlan id : 0 ::: Vlan vnid : 0 ::: VRF name : Prod:VRF1
BD vnid : 0 ::: VRF vnid : 2097154
Phy If : 0 ::: Tunnel If : 0x18010004
Interface : Tunnel4
Flags : 0x80004420 ::: sclass : 32771 ::: Ref count : 3
EP Create Timestamp : 10/01/2019 13:53:16.228319
EP Update Timestamp : 10/01/2019 14:04:40.757229
EP Flags : peer-aged|IP|sclass|timer|
::::

​その出力で、次のことを確認します。

• VRF VNID is populated：これは、VXLAN内のフレームをファブリックにカプセル化するために使用されるVNIDです。
• リモートIPエントリではMACアドレスが設定されないため、MACアドレスは0000.0000.0000です。
• BD VNIDは不明です。ルーテッドフレームの場合、入力リーフはルータとして動作し、MAC書き換えを行います。つまり、リモートリーフは宛先のBDを認識できず、VRFのみを認識します。

このフレームは、VRFのVNIDである2097154のVXLAN IDを使用して、リモートTEP 10.0.96.66に向かうVXLANフレームにカプセル化されます。これはオーバーレイ1ルーティングテーブル（IS-ISルート）でルーティングされ、宛先TEPに到達します。10.0.96.66はleaf3とleaf4 VPCペアのエニーキャストTEPアドレスであるため、ここではleaf3またはleaf4のいずれかに到達します。

出力リーフでの送信元IPラーニング

この出力はleaf3から取得されていますが、leaf4でも同様です。パケットがleaf3（宛先リーフとTEPの所有者）に到達すると、leafはVRF内のパケットの送信元IPを学習します。

leaf3# show endpoint ip 10.1.1.1
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
Prod:VRF1                                                    10.1.1.1 p                    tunnel26

leaf3# show interface tunnel 26
Tunnel26 is up
   MTU 9000 bytes, BW 0 Kbit
   Transport protocol is in VRF "overlay-1"
   Tunnel protocol/transport is ivxlan
   Tunnel source 10.0.88.91/32 (lo0)
   Tunnel destination 10.0.88.95
   Last clearing of "show interface" counters never
   Tx
   0 packets output, 1 minute output rate 0 packets/sec
   Rx
   0 packets input, 1 minute input rate 0 packets/sec

宛先TEP 10.0.88.95はleaf1のTEPアドレスであり、スパインへのすべてのアップリンクを介して学習されます。

出力リーフの宛先IPルックアップ

最後の手順では、出力リーフが宛先IPを検索します。10.1.2.1のエンドポイントテーブルを確認します。

次の情報が表示されます。

• 出力リーフは宛先10.1.2.1（ルーティングテーブルの/32ホストルートと同様）を認識し、ルートは正しいVRFで学習されます。
• 出力リーフは、MAC 0000.1001.0201（エンドポイント情報）を認識します。
• 出力リーフは、10.1.2.1宛てのトラフィックをvlan-2502でカプセル化し、ポートチャネル1(po1)で送信する必要があることを認識しています。

leaf3# show endpoint ip 10.1.2.1
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
2                                         vlan-2502    0000.1001.0201 LpV                       po1
Prod:VRF1                                 vlan-2502          10.1.2.1 LpV                       po1

データパスに従うトリアージ

APICでfTriageを使用して、データパスフローを追跡します。fTriageはELAMに依存しているため、実際のデータフローが必要です。これにより、完全なデータパスを確認でき、パケットがleaf3ポート1/16でファブリックから出ることを確認できます。

apic1# ftriage route -ii LEAF:101 -sip 10.1.1.1 -dip 10.1.2.1
fTriage Status: {"dbgFtriage": {"attributes": {"operState": "InProgress", "pid": "6888", "apicId": "1", "id": "0"}}}
Starting ftriage
Log file name for the current run is: ftlog_2019-10-01-21-17-54-175.txt
2019-10-01 21:17:54,179 INFO     /controller/bin/ftriage route -ii LEAF:101 -sip 10.1.1.1 -dip 10.1.2.1
2019-10-01 21:18:18,149 INFO     ftriage:     main:1165 Invoking ftriage with default password and default username: apic#fallback\\admin
2019-10-01 21:18:39,194 INFO     ftriage:     main:839  L3 packet Seen on bdsol-aci32-leaf1 Ingress: Eth1/3 Egress: Eth1/51 Vnid: 2097154
2019-10-01 21:18:39,413 INFO     ftriage:     main:242  ingress encap string vlan-2501
2019-10-01 21:18:39,419 INFO     ftriage:     main:271  Building ingress BD(s), Ctx
2019-10-01 21:18:41,240 INFO     ftriage:     main:294  Ingress BD(s) Prod:BD1
2019-10-01 21:18:41,240 INFO     ftriage:     main:301  Ingress Ctx: Prod:VRF1
2019-10-01 21:18:41,349 INFO     ftriage:   pktrec:490  bdsol-aci32-leaf1: Collecting transient losses snapshot for LC module: 1
2019-10-01 21:19:05,747 INFO     ftriage:     main:933  SIP 10.1.1.1 DIP 10.1.2.1
2019-10-01 21:19:05,749 INFO     ftriage:  unicast:973  bdsol-aci32-leaf1: <- is ingress node
2019-10-01 21:19:08,459 INFO     ftriage:  unicast:1215 bdsol-aci32-leaf1: Dst EP is remote
2019-10-01 21:19:09,984 INFO     ftriage:     misc:657  bdsol-aci32-leaf1: DMAC(00:22:BD:F8:19:FF) same as RMAC(00:22:BD:F8:19:FF)
2019-10-01 21:19:09,984 INFO     ftriage:     misc:659  bdsol-aci32-leaf1: L3 packet getting routed/bounced in SUG
2019-10-01 21:19:10,248 INFO     ftriage:     misc:657  bdsol-aci32-leaf1: Dst IP is present in SUG L3 tbl
2019-10-01 21:19:10,689 INFO     ftriage:     misc:657  bdsol-aci32-leaf1: RwDMAC DIPo(10.0.96.66) is one of dst TEPs ['10.0.96.66']
2019-10-01 21:20:56,148 INFO     ftriage:     main:622  Found peer-node bdsol-aci32-spine3 and IF: Eth2/1 in candidate list
2019-10-01 21:21:01,245 INFO     ftriage:     node:643  bdsol-aci32-spine3: Extracted Internal-port GPD Info for lc: 2
2019-10-01 21:21:01,245 INFO     ftriage:     fcls:4414 bdsol-aci32-spine3: LC trigger ELAM with IFS: Eth2/1 Asic :0 Slice: 0 Srcid: 32
2019-10-01 21:21:33,894 INFO     ftriage:     main:839  L3 packet Seen on bdsol-aci32-spine3 Ingress: Eth2/1 Egress: LC-2/0 FC-22/0 Port-1 Vnid: 2097154
2019-10-01 21:21:33,895 INFO     ftriage:   pktrec:490  bdsol-aci32-spine3: Collecting transient losses snapshot for LC module: 2
2019-10-01 21:21:54,487 INFO     ftriage:      fib:332  bdsol-aci32-spine3: Transit in spine
2019-10-01 21:22:01,568 INFO     ftriage:  unicast:1252 bdsol-aci32-spine3: Enter dbg_sub_nexthop with Transit inst: ig infra: False glbs.dipo: 10.0.96.66
2019-10-01 21:22:01,682 INFO     ftriage:  unicast:1417 bdsol-aci32-spine3: EP is known in COOP (DIPo = 10.0.96.66)
2019-10-01 21:22:05,713 INFO     ftriage:  unicast:1458 bdsol-aci32-spine3: Infra route 10.0.96.66 present in RIB
2019-10-01 21:22:05,713 INFO     ftriage:     node:1331 bdsol-aci32-spine3: Mapped LC interface: LC-2/0 FC-22/0 Port-1 to FC interface: FC-22/0 LC-2/0 Port-1
2019-10-01 21:22:10,799 INFO     ftriage:     node:460  bdsol-aci32-spine3: Extracted GPD Info for fc: 22
2019-10-01 21:22:10,799 INFO     ftriage:     fcls:5748 bdsol-aci32-spine3: FC trigger ELAM with IFS: FC-22/0 LC-2/0 Port-1 Asic :0 Slice: 2 Srcid: 24
2019-10-01 21:22:29,322 INFO     ftriage:  unicast:1774 L3 packet Seen on FC of node: bdsol-aci32-spine3  with Ingress: FC-22/0 LC-2/0 Port-1  Egress: FC-22/0 LC-2/0 Port-1 Vnid: 2097154
2019-10-01 21:22:29,322 INFO     ftriage:   pktrec:487  bdsol-aci32-spine3: Collecting transient losses snapshot for FC module: 22
2019-10-01 21:22:31,571 INFO     ftriage:     node:1339 bdsol-aci32-spine3: Mapped FC interface: FC-22/0 LC-2/0 Port-1 to LC interface: LC-2/0 FC-22/0 Port-1
2019-10-01 21:22:31,572 INFO     ftriage:  unicast:1474 bdsol-aci32-spine3: Capturing Spine  Transit pkt-type L3 packet on egress LC on Node: bdsol-aci32-spine3 IFS: LC-2/0 FC-22/0 Port-1
2019-10-01 21:22:31,991 INFO     ftriage:     fcls:4414 bdsol-aci32-spine3: LC trigger ELAM with IFS: LC-2/0 FC-22/0 Port-1 Asic :0 Slice: 1 Srcid: 0
2019-10-01 21:22:48,952 INFO     ftriage:  unicast:1510 bdsol-aci32-spine3: L3 packet Spine egress  Transit pkt Seen on bdsol-aci32-spine3 Ingress: LC-2/0 FC-22/0 Port-1 Egress: Eth2/3 Vnid: 2097154
2019-10-01 21:22:48,952 INFO     ftriage:   pktrec:490  bdsol-aci32-spine3: Collecting transient losses snapshot for LC module: 2
2019-10-01 21:23:50,748 INFO     ftriage:     main:622  Found peer-node bdsol-aci32-leaf3 and IF: Eth1/51 in candidate list
2019-10-01 21:24:05,313 INFO     ftriage:     main:839  L3 packet Seen on bdsol-aci32-leaf3 Ingress: Eth1/51 Egress: Eth1/12 (Po1) Vnid: 11365
2019-10-01 21:24:05,427 INFO     ftriage:   pktrec:490  bdsol-aci32-leaf3: Collecting transient losses snapshot for LC module: 1
2019-10-01 21:24:24,369 INFO     ftriage:     nxos:1404 bdsol-aci32-leaf3: nxos matching rule id:4326 scope:34 filter:65534
2019-10-01 21:24:25,698 INFO     ftriage:     main:522  Computed egress encap string vlan-2502
2019-10-01 21:24:25,704 INFO     ftriage:     main:313  Building egress BD(s), Ctx
2019-10-01 21:24:27,510 INFO     ftriage:     main:331  Egress Ctx Prod:VRF1
2019-10-01 21:24:27,510 INFO     ftriage:     main:332  Egress BD(s): Prod:BD2
2019-10-01 21:24:30,536 INFO     ftriage:  unicast:1252 bdsol-aci32-leaf3: Enter dbg_sub_nexthop with Local inst: eg infra: False glbs.dipo: 10.0.96.66
2019-10-01 21:24:30,537 INFO     ftriage:  unicast:1257 bdsol-aci32-leaf3: dbg_sub_nexthop invokes dbg_sub_eg for vip
2019-10-01 21:24:30,537 INFO     ftriage:  unicast:1784 bdsol-aci32-leaf3: <- is egress node
2019-10-01 21:24:30,684 INFO     ftriage:  unicast:1833 bdsol-aci32-leaf3: Dst EP is local
2019-10-01 21:24:30,685 INFO     ftriage:     misc:657  bdsol-aci32-leaf3: EP if(Po1) same as egr if(Po1)
2019-10-01 21:24:30,943 INFO     ftriage:     misc:657  bdsol-aci32-leaf3: Dst IP is present in SUG L3 tbl
2019-10-01 21:24:31,242 INFO     ftriage:     misc:657  bdsol-aci32-leaf3: RW seg_id:11365 in SUG same as EP segid:11365
2019-10-01 21:24:37,631 INFO     ftriage:     main:961  Packet is Exiting fabric with peer-device: bdsol-aci32-n3k-3 and peer-port: Ethernet1/12

ELAM Assistantアプリケーションを使用した出力リーフでのパケットキャプチャ

次に、スパインから発信されたleaf3上のELAM Assistantアプリケーションでキャプチャされたパケットを示します。これは、次のことを示しています。

• 外部レイヤ4情報からのVNID(VNIDは2097154)。
• 外部L3ヘッダー送信元TEPと宛先TEP。

ELAM Assistant:L3フロー出力リーフ（パート1）

ELAM Assistant:L3フロー出力リーフ（パート2）

[Packet Forwarding Information]セクションは、ポートチャネル1でパケットが送信されたことを示しています

ELAM Assistant:L3出力リーフ：パケット転送情報

不明なエンドポイントのトラブルシューティングワークフロー

このセクションでは、入力リーフが宛先IPを認識しない場合の違いを示します。

入力リーフ宛先IPルックアップ

最初のステップは、宛先IPに対して学習するエンドポイントがあるかどうかを確認することです。

leaf1# show endpoint ip 10.1.2.1
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+------------+   
<NO ENTRY>

宛先のエンドポイントテーブルには何もないため、次の手順では、ルーティングテーブルで宛先への最長プレフィクス照合ルートを確認します。

leaf1# show ip route 10.1.2.1 vrf Prod:VRF1
IP Route Table for VRF "Prod:VRF1"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>

10.1.2.0/24, ubest/mbest: 1/0, attached, direct, pervasive
   *via 10.0.8.65%overlay-1, [1/0], 01:40:18, static, tag 4294967294
        recursive next hop: 10.0.8.65/32%overlay-1

/24 BDサブネット10.1.2.0/24に属するリーフは、宛先TEP 10.0.8.65（スパイン上のanycast-v4）でVXLAN内のフレームをカプセル化することを意味します。 フレームはVRF VNIDであるVXLAN IDを使用します。

スパインのCOOPルックアップ：宛先IPがわかっています

パケットは、IPデータベースでCOOPルックアップを行うスパインの1つに到達します。送信元を確認し、宛先IPをCOOPデータベースから正しく学習する必要があります。

COOPデータベースでIPを見つけるには、キーはVRF VNID(この例では2097154)です

次の出力から、COOPデータベースにTEP 10.0.88.95(leaf1)からの送信元IPのエントリが正しく含まれていることを確認できます。

spine1# show coop internal info ip-db key 2097154 10.1.1.1
IP address : 10.1.1.1
Vrf : 2097154
Flags : 0
EP bd vnid : 15302583
EP mac :  00:00:10:01:01:01
Publisher Id : 10.0.88.95
Record timestamp : 10 01 2019 14:16:50 522482647
Publish timestamp : 10 01 2019 14:16:50 532239332
Seq No: 0
Remote publish timestamp: 01 01 1970 00:00:00 0
URIB Tunnel Info
Num tunnels : 1
       Tunnel address : 10.0.88.95
       Tunnel ref count : 1

次の出力は、COOPデータベースにTEP 10.0.96.66（leaf3と4 VPCペアのエニーキャストTEP）からの宛先IPのエントリが正しく含まれていることを示しています

spine1# show coop internal info ip-db key 2097154 10.1.2.1
IP address : 10.1.2.1
Vrf : 2097154
Flags : 0
EP bd vnid : 15957974
EP mac :  00:00:10:01:02:01
Publisher Id : 10.0.88.90
Record timestamp : 10 01 2019 14:52:52 558812544
Publish timestamp : 10 01 2019 14:52:52 559479076
Seq No: 0
Remote publish timestamp: 01 01 1970 00:00:00 0
URIB Tunnel Info
Num tunnels : 1
       Tunnel address : 10.0.96.66
       Tunnel ref count : 1

このシナリオでは、COOPは宛先IPを認識しているため、VXLANパケットの外部IPヘッダーの宛先IPを10.0.96.66に書き換え、leaf3またはleaf4に送信します（ECMPハッシングに依存）。 VXLANフレームの送信元IPは変更されないため、リーフ1 PTEPであることに注意してください。

スパインのCOOPルックアップ：宛先IPが不明です

宛先IPのCOOPエントリが入力されていない場合（サイレントエンドポイントまたはエージングアウト）、スパインはそれを解決するためにARP収集を生成します。詳細については、「マルチポッド転送」セクションを参照してください。

ACI転送の概要

次の図は、レイヤ2およびレイヤ3の使用例のACI転送をまとめたものです。