ACI管理およびコアサービスのトラブルシューティング：インバンドおよびアウトオブバンド管理

概要

このドキュメントでは、ACIアウトオブバンド(OOB)およびインバンド(INB)管理のトラブルシューティング手順について説明します。

背景説明

このドキュメントの内容は、『Troubleshooting Cisco Application Centric Infrastructure, Second Edition（Ciscoアプリケーションセントリックインフラストラクチャのトラブルシューティング、第2版）』の「管理とコアサービス：インバンドおよびアウトオブバンド管理」の章から抜粋したものです。

インバンドおよびアウトオブバンド管理

ACIファブリックノードには、管理接続のオプションが2つあります。アウトオブバンド(OOB)：デバイスの背面にある専用の物理管理ポートを管理します。インバンド(INB)：管理テナント内の特定のEPG/BD/VRFを使用して、ある程度の設定可能なパラメータでプロビジョニングします。管理('mgmt')テナントにOOB EPGが存在しますが、デフォルトで存在するため変更できません。提供されたOOB契約の設定のみが可能です。APICでは、「ifconfig」コマンドの出力にOOBインターフェイスが「oobmgmt」と表示され、インバンドインターフェイスは「bond.x」インターフェイスで表されます。は、インバンドEPGに設定されたカプセル化VLANです。

apic1# ifconfig oobmgmt
oobmgmt: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.4.20  netmask 255.255.255.0  broadcast 192.168.4.255
        inet6 fe80::7269:5aff:feca:2986  prefixlen 64  scopeid 0x20
        ether 70:69:5a:ca:29:86  txqueuelen 1000  (Ethernet)
        RX packets 495815  bytes 852703636 (813.2 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 432927  bytes 110333594 (105.2 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

apic1# ifconfig bond0.300
bond0.300: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1496
        inet 10.30.30.254  netmask 255.255.255.0  broadcast 10.30.30.255
        inet6 fe80::25d:73ff:fec1:8d9e  prefixlen 64  scopeid 0x20
        ether 00:5d:73:c1:8d:9e  txqueuelen 1000  (Ethernet)
        RX packets 545  bytes 25298 (24.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 6996  bytes 535314 (522.7 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

リーフでは、OOBインターフェイスは「ifconfig」コマンド出力で「eth0」として表示され、INBは専用SVIとして表示されます。ユーザは、「ifconfig」または「show ip interface vrf mgmt:」でインターフェイスを表示できます。ここで、はインバンドVRF用に選択された名前です。

leaf101# show interface mgmt 0
mgmt0 is up
admin state is up,
  Hardware: GigabitEthernet, address: 00fc.baa8.2760 (bia 00fc.baa8.2760)
  Internet Address is 192.168.4.23/24
  MTU 1500 bytes, BW 1000000 Kbit, DLY 10 usec
  reliability 255/255, txload 1/255, rxload 1/255
  Encapsulation ARPA, medium is broadcast
  Port mode is routed
  full-duplex, 1000 Mb/s
  Beacon is turned off
  Auto-Negotiation is turned on
  Input flow-control is off, output flow-control is off
  Auto-mdix is turned off
  EtherType is 0x0000
  30 seconds input rate 3664 bits/sec, 4 packets/sec
  30 seconds output rate 4192 bits/sec, 4 packets/sec
  Rx
    14114 input packets 8580 unicast packets 5058 multicast packets
    476 broadcast packets 2494768 bytes
  Tx
    9701 output packets 9686 unicast packets 8 multicast packets
    7 broadcast packets 1648081 bytes

leaf101# show ip interface vrf mgmt:inb
  IP Interface Status for VRF "mgmt:inb-vrf" 
  vlan16, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: pervasive 
    IP address: 10.30.30.1, IP subnet: 10.30.30.0/24 
    secondary IP address: 10.30.30.3, IP subnet: 10.30.30.0/24 
    IP broadcast address: 255.255.255.255 
  IP primary address route-preference: 0, tag: 0

'show ip interface vrf mgmt:'は、セカンダリIPアドレスとしてインバンド管理BDサブネットIPを表示します。これは予想される出力です。

スパインスイッチでは、インバンド管理IPアドレスが「mgmt:」VRFの専用ループバックインターフェイスとして追加されます。したがって、この実装は、リーフスイッチでのインバンド管理IP実装とは異なります。スパインスイッチで下記の「show ip int vrf mgmt:」コマンド出力を確認します

spine201# show ip interface vrf mgmt:inb
  IP Interface Status for VRF "mgmt:inb"
  lo10, Interface status: protocol-up/link-up/admin-up, iod: 98, mode: pervasive
    IP address: 10.30.30.12, IP subnet: 10.30.30.12/32
    IP broadcast address: 255.255.255.255
 IP primary address route-preference: 0, tag: 0 

[System Settings]の下に、APICのインバンドまたはアウトオブバンドの接続プリファレンスを選択する設定があります。

APICから送信されるトラフィックだけが、[APIC Connectivity Preferences]で選択された管理設定を使用します。 APICは、インバンドまたはアウトオブバンドのどちらか一方が設定されている場合でも、トラフィックを受信できます。APICは次の転送ロジックを使用します。

• インターフェイスに着信し、同じインターフェイスから発信されるパケット。
• APICから送信され、直接接続されたネットワークを宛先とするパケットは、直接接続されたインターフェイスから送信されます。
• APICから発信され、リモートネットワークを宛先とするパケットは、APIC接続の設定に基づいてインバンドまたはアウトオブバンドを優先します。

APIC接続の設定

OOBが選択されたAPICルーティングテーブル。oobmgmtインターフェイスのメトリック値16を観察します。この値は、bond0.300のインバンド管理インターフェイスのメトリック32よりも小さくなります。つまり、oobmgmtアウトバンド管理インターフェイスが発信管理トラフィックに使用されます。

apic1# bash
admin@apic1:~> route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.4.1     0.0.0.0         UG    16     0        0 oobmgmt
0.0.0.0         10.30.30.1      0.0.0.0         UG    32     0        0 bond0.300

インバンドが選択されたAPICルーティングテーブルbond0.300インバンド管理インターフェイスのメトリックが8の場合に、このメトリックがoobmgmtインターフェイスのメトリックである16よりも低くなっていることを確認します。これは、bond0.300インバンド管理インターフェイスが発信管理トラフィックに使用されることを意味します。

admin@apic1:~> route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.30.30.1      0.0.0.0         UG    8      0        0 bond0.300
0.0.0.0         192.168.4.1     0.0.0.0         UG    16     0        0 oobmgmt

リーフ/スパインのノード管理プリファレンスは、この設定の影響を受けません。これらの接続設定は、プロトコルポリシーの下で選択されます。NTPの例を次に示します。

[APIC Connectivity Preferences]で[in-band]が選択されていて、プロトコルで[out-of-band]が選択されている場合、プロトコルパケットが使用するインターフェイスはどれか？

• [APIC Connectivity Preference]は常に、APICでのプロトコル選択よりも優先されます。
• リーフノードは逆で、プロトコルの下の選択のみを参照します。

シナリオ：管理ネットワークに到達できない

ユーザが管理ネットワークに到達できない場合は、さまざまな問題が原因である可能性がありますが、常に同じ方法を使用して問題を切り分けることができます。このシナリオでは、ユーザがL3Outの背後から管理ネットワーク内のデバイスに到達できないことが前提となっています。

• APIC接続プリファレンスを確認します。これについては、「APIC接続の設定」の図で説明されており、オプションはOOBまたはインバンドです。
• 選択した設定に応じて、設定が正しいこと、インターフェイスがアップしていること、選択したインターフェイス経由でデフォルトゲートウェイに到達できること、パケットのパスにドロップがないことを確認します。

GUIの設定の各セクションで障害を確認することを忘れないでください。ただし、一部の設定ミスは予期しない状態で発生することがありますが、ユーザが最初に考慮したセクション以外のセクションで障害が発生する可能性があります。

アウトオブバンド管理アクセス

アウトオブバンド設定の検証

アウトオブバンド設定には、「mgmt」という特別なテナントの下で確認するフォルダが4つあります。

• ノード管理アドレス。
• ノード管理EPG
• アウトオブバンド契約（契約の下）。
• 外部ネットワークインスタンスプロファイル。

ノード管理アドレスは、静的に、またはプールから割り当てることができます。スタティックアドレス割り当ての例を次に示します。タイプのアウトオブバンドIPアドレスが割り当てられていることと、デフォルトゲートウェイが正しいことを確認します。

スタティックノード管理アドレスGUIの検証

アウトオブバンドEPGは、Node Management EPGsフォルダの下に存在する必要があります。

アウトオブバンドEPG：デフォルト

アウトオブバンドEPGから提供される管理サービスを制御する契約は、アウトオブバンド契約フォルダで設定される特別な契約です。

帯域外契約

次に、外部管理ネットワークインスタンスプロファイルが作成され、正しいアウトオブバンド契約が「Consumed Out-Of-Band Contract」として設定されていることを確認します。

外部管理ネットワークインスタンスプロファイル

次に確認する項目は、インターフェイスの状態とケーブル配線、ゲートウェイへの接続です。

• oobmgmtインターフェイスがアップしているかどうかを確認するには、APIC CLIで「ifconfig oobmgmt」と入力します。インターフェイスフラグが「UP」および「RUNNING」であること、正しいIPアドレスが設定されていること、およびパケットがRXカウンタとTXカウンタで増加していることを確認します。チェックが欠落している場合は、正しいケーブルが使用されていて、APICの正しい物理管理ポートに接続されていることを確認します。管理ポートにはEth1-1とEth1-2というラベルが付き、最近のハードウェアにはアウトオブバンドインターフェイスを示すoobmgmtステッカーが貼られています。APICの背面にある物理的なアウトオブバンド管理ポートの詳細については、「ファブリックの検出」の章の「初期ファブリックセットアップ」の項を参照してください。
  
  

apic1# ifconfig oobmgmt
oobmgmt: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
inet 192.168.4.20  netmask 255.255.255.0  broadcast 192.168.4.255
inet6 fe80::7269:5aff:feca:2986  prefixlen 64  scopeid 0x20
ether 70:69:5a:ca:29:86  txqueuelen 1000  (Ethernet)
RX packets 295605  bytes 766226440 (730.7 MiB)
RX errors 0  dropped 0  overruns 0  frame 0
TX packets 253310  bytes 38954978 (37.1 MiB)
TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

• OOBを介したネットワーク接続を確認するには、pingを使用して、アウトオブバンドネットワークを介したパケットのパスをテストします。

apic1# ping 192.168.4.1
PING 192.168.4.1 (192.168.4.1) 56(84) bytes of data.
64 bytes from 192.168.4.1: icmp_seq=1 ttl=255 time=0.409 ms
64 bytes from 192.168.4.1: icmp_seq=2 ttl=255 time=0.393 ms
64 bytes from 192.168.4.1: icmp_seq=3 ttl=255 time=0.354 ms

APICのbashシェルでtracerouteを使用して、エンドユーザへの接続をトレースします。tracerouteが不完全な場合は、このデバイスにログインし（アクセス可能な場合）、oobmgmtインターフェイスにpingを実行し、ホストにpingを実行します。障害が発生した方向に応じて、従来のネットワーキングの問題として問題をトラブルシューティングします。

tracerouteは、1から始まるTTLが増加したUDPパケットを送信することによって機能します。ルータがTTLが1のパケットを受信し、それをルーティングする必要がある場合は、フレームをドロップし、ICMP到達不能メッセージを送信側に返します。各ホップは現在のTTLで3つのUDPパケットを送信し、アスタリスクはICMP到達不能/TTL超過パケットが受信されなかった試行を表します。これらの3つのアスタリスクのブロックは、ほとんどのネットワークで想定されています。一部のルーティングデバイスではICMP到達不能/TTL超過メッセージが無効になっているため、ルーティングする必要のあるTTL 1パケットを受信すると、パケットをドロップするだけで、メッセージを送信者に返信しません。

apic1# bash
admin@apic1:~> traceroute 10.55.0.16
traceroute to 10.55.0.16 (10.55.0.16), 30 hops max, 60 byte packets
    1  192.168.4.1 (192.168.4.1)  0.368 ms  0.355 ms  0.396 ms
    2  * * *
    3  * * *
    4  10.0.255.221 (10.0.255.221)  6.419 ms 10.0.255.225 (10.0.255.225)  6.447 ms *
    5  * * *
    6  * * *
    7  10.55.0.16 (10.55.0.16)  8.652 ms  8.676 ms  8.694 ms

リーフスイッチはtcpdumpコマンドにアクセスできます。このコマンドは、どのパケットがoobmgmtインターフェイスを通過しているかを確認するために使用できます。次の例では、「eth0」（リーフスイッチとスパインスイッチで使用されるoobmgmtインターフェイス）をキャプチャし、tcpdumpに「 – n」オプションを使用してDNS名の代わりに使用されるIPアドレスを指定し、NTPパケット（UDPポート123）専用にフィルタリングします。 前の例では、リーフがNTPサーバ172.18.108.14をポーリングしています。以下では、NTPパケットがアウトオブバンドインターフェイスを介して送信されていることと、リーフがサーバから応答を受信していることを確認できます。

fab1-leaf101# tcpdump -n -i eth0 dst port 123
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
16:49:01.431624 IP 192.168.4.23.123 > 172.18.108.14.123: NTPv4, Client, length 48
16:49:01.440303 IP 172.18.108.14.123 > 192.168.4.23.123: NTPv4, Server, length 48

インバンド管理設定では、レイヤ2またはレイヤ3の導入に関して特定の考慮事項が必要です。この例では、レイヤ3の導入とトラブルシューティングについてのみ説明します。

インバンド管理設定

管理テナントにBDがあり、そのサブネットからインバンドノード管理アドレスがインバンド接続用にファブリックノードに割り当てられることを確認し、L3Outがインバンド管理BDの下で関連付けられていることを確認します。

インバンド管理ゲートウェイとして機能するブリッジドメインサブネット

インバンドノード管理EPGが存在することを確認します。次のスクリーンショットに示すように、インバンドEPG名はプレフィックス「inb – 」でGUIに表示されます。 インバンドEPGカプセル化VLANがVLANプールに正しく関連付けられていることを確認します。

インバンド管理EPGで設定されたカプセル化VLANは、アクセスポリシーによって許可される必要があります。「inb mgmt EPG encap VLAN > VLAN Pool > Domain > AEP > Interface Policy Group > Leaf Interface Profile > Switch Profile」 サポートするアクセスポリシーが設定されていない場合は、次のスクリーンショットのように、コードF0467のエラーが発生します。

障害F0467:inb EPG

ブリッジドメインが、インバンドサブネット用に上記で作成されたものと同じであることを確認します。最後に、インバンド管理EPGに設定されたProvided Contractが存在し、これが外部EPGによって消費されていることを確認します。

インバンドEPG

外部EPGインスタンスプロファイル

アウトオブバンドと同様に、ファブリックノードのインバンド管理IPアドレスは、事前に選択した範囲から静的に割り当てることも、動的に割り当てることもできます。インバンドタイプに適用されるアドレスが、設定された前のBDサブネットと一致することを確認します。また、デフォルトゲートウェイが正しいことを確認します。

スタティックノード管理アドレス

すべてが正しく設定され、前述のセクションに障害がない場合、次のステップとして、スイッチまたはAPICの間でpingを実行し、インバンド接続がACI内で正しく動作していることを確認します。

スパインノードは、ARPに応答しない接続にループバックインターフェイスを使用するため、インバンドでpingに応答しません。

リーフスイッチで使用されるインバンドインターフェイスはkpm_inbです。同様のtcpdumpキャプチャを使用して、パケットがインバンドCPUインターフェイスから出力されていることを確認します。

fab2-leaf101# tcpdump -n -i kpm_inb dst port 123 
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on kpm_inb, link-type EN10MB (Ethernet), capture size 65535 bytes
16:46:50.431647 IP 10.30.30.3.123 > 172.18.108.14.123: NTPv4, Client, length 48
16:47:19.431650 IP 10.30.30.3.123 > 172.18.108.15.123: NTPv4, Client, length 48

インバンドに使用されるSVIが「protocol-up/link-up/admin-up」であることを確認します。

fab1-leaf101# show ip interface vrf mgmt:inb-vrf
IP Interface Status for VRF "mgmt:inb-vrf"
vlan16, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: pervasive
    IP address: 10.30.30.1, IP subnet: 10.30.30.0/24 secondary
    IP address: 10.30.30.3, IP subnet: 10.30.30.0/24
    IP broadcast address: 255.255.255.255
    IP primary address route-preference: 0, tag: 0