ACI VMM統合のトラブルシューティング
内容
はじめに
このドキュメントでは、ACI Virtual Machine Manager(VM)統合(VMM)を理解し、トラブルシューティングする手順について説明します。
背景説明
このドキュメントの内容は、『Troubleshooting Cisco Application Centric Infrastructure, Second Edition』マニュアル、具体的には『VMM Integration - Overview, VMM Integration - vCenter Connectivity, VMM Integration - Host Dynamic Discovery』および『VMM Integration - Hypervisor Uplink Load Balancing』の章から抽出されています。
Virtual Machine Managerの概要
ACIコントローラには、サードパーティの仮想マシンマネージャ(VMM)と統合する機能があります。
これは、ファブリックのエンドツーエンドネットワーキング設定と、ファブリックに接続するワークロードの操作を簡素化および自動化する、ACIの重要な機能の1つです。ACIは、複数のワークロードタイプ（仮想マシン、ベアメタルサーバ、コンテナ）に拡張可能な単一のオーバーレイポリシーモデルを提供します。
この章では、特にVMware vCenter VMMの統合に関連する一般的なトラブルシューティングシナリオに焦点を当てます。
読者は次の項目について説明します。
- vCenter通信の障害に関する調査
- ホストおよびVMの動的検出プロセスと障害シナリオ
- ハイパーバイザロードバランシングアルゴリズム。
vCenter接続
ロールベースアクセスコントロール(RBAC)
APICがvCenter Controllerとインターフェイスできるメカニズムは、特定のVMMドメインに関連付けられたユーザアカウントによって異なります。APICがvCenter上で操作を正常に実行できるようにするための、VMMドメインに関連付けられたvCenterユーザの固有の要件の概要を説明します。この要件は、インベントリと設定のプッシュと取得、または管理対象インベントリ関連イベントのモニタリングとリスニングのいずれでも同じです。
このような要件に関する懸念を解消する最も簡単な方法は、フルアクセス権を持つ管理者vCenterアカウントを使用することです。ただし、この種の自由はACI管理者が常に利用できるとは限りません。
ACIバージョン4.2におけるカスタムユーザアカウントの最小権限は、次のとおりです。
- アラーム
- APICはフォルダに2つのアラームを作成します。1つはDVS用で、もう1つはポートグループ用です。APICでEPGまたはVMMドメインポリシーが削除されるとアラームが発生しますが、VMが接続されているため、vCenterは対応するポートグループまたはDVSを削除できません。
- 分散スイッチ
- dvPortグループ
- フォルダ
- Network
- APICは、ポートグループの追加または削除、ホスト/DVS MTUの設定、LLDP/CDP、LACPなどのネットワーク設定を管理します。
- ホスト
- さらにAVSを使用する場合、ユーザはAPICがDVSを作成するデータセンターのホスト権限が必要です。
- ホスト。構成。詳細設定
- Host.Local operations.Reconfigure virtual machine（仮想マシンの再構成）
- Host.Configuration.Network設定
- これは、AVSと、仮想レイヤ4 ～レイヤ7サービスVMの自動配置機能に必要です。AVSでは、APICがVMKインターフェイスを作成し、OpFlexに使用されるVTEPポートグループに配置します。
- 仮想マシン
- サービスグラフを使用している場合は、仮想アプライアンスに対する仮想マシン権限も必要です。
- 仮想マシン。構成。デバイス設定の変更
- 仮想マシン。構成。設定
RBAC関連の問題のトラブルシューティング
RBACの問題は、VMMドメインの初期セットアップ中に最も頻繁に発生しますが、初期セットアップの実行後にvCenter管理者がVMMドメインに関連付けられたユーザーアカウントのアクセス許可を変更した場合に発生することがあります。
症状は次のように現れます。
- 新しいサービスを展開できない部分または完全な機能（DVSの作成、ポートグループの作成、一部のオブジェクトが正常に展開されるが、すべてではない）。
- 運用インベントリが不完全であるか、ACI管理者ビューに表示されない。
- サポートされていないvCenter操作またはいずれかのシナリオ（ポートグループの展開の失敗など）で発生した障害。
- vCenterコントローラはオフラインとして報告され、障害は接続またはクレデンシャルに関連する問題があることを示します。
RBAC関連の問題のソリューション
VMMドメインで設定されているvCenterユーザにすべての権限が付与されていることを確認します。
もう1つの方法は、VMMドメイン設定で定義されたものと同じクレデンシャルを使用してvCenterに直接ログインし、同様の操作（ポートグループの作成を含む）を試行する方法です。ユーザがvCenterに直接ログインしている間に同じ操作を実行できない場合、正しい権限がユーザに付与されないことは明らかです。
接続のトラブルシューティング
VMMの接続関連の問題をトラブルシューティングする際は、ACIがvCenterと通信する方法の基本的な動作の一部に注意することが重要です。
1つ目の最も関連性の高い動作は、クラスタ内の1つのAPICのみが設定を送信し、任意の時点でインベントリを収集することです。このAPICは、このVMMドメインのシャードリーダーと呼ばれます。ただし、複数のAPICは、シャードリーダーが何らかの理由でイベントを見逃したシナリオを把握するために、vCenterイベントをリッスンしています。APICの同じ分散アーキテクチャに従って、特定のVMMドメインに、プライマリデータと機能を処理する1つのAPIC（この場合はシャードリーダー）、および2つのレプリカ(VMMの場合はフォロワー)があります。APIC全体にVMMの通信と機能の処理を分散させるには、任意の2つのVMMドメインに同じシャードリーダーまたは異なるシャードリーダーを設定します。
vCenterの接続状態は、GUIで対象のVMMコントローラに移動するか、次に示すCLIコマンドを使用して確認できます。
VMWare VMMドメイン – vCenterの接続状態
apic2# show vmware domain name VDS_Site1 vcenter 10.48.176.69
Name : bdsol-aci37-vc
Type : vCenter
Hostname or IP : 10.48.176.69
Datacenter : Site1
DVS Version : 6.0
Status : online
Last Inventory Sync : 2019-10-02 09:27:23
Last Event Seen : 1970-01-01 00:00:00
Username : administrator@vsphere.local
Number of ESX Servers : 2
Number of VMs : 2
Faults by Severity : 0, 0, 0, 0
Leader : bdsol-aci37-apic1
Managed Hosts:
ESX VMs Adjacency Interfaces
--------------- -------- ---------- ------------------------------------------------
10.48.176.66 1 Direct leaf-101 eth1/11, leaf-102 eth1/11
10.48.176.67 1 Direct leaf-301 eth1/11, leaf-302 eth1/11
VMMコントローラがオフラインであると示された場合、次のようなエラーがスローされます。
Fault fltCompCtrlrConnectFailed
Rule ID:130
Explanation:
This fault is raised when the VMM Controller is marked offline. Recovery is in process.
Code: F0130
Message: Connection to VMM controller: hostOrIp with name name in datacenter rootContName in domain: domName is failing repeatedly with error: [remoteErrMsg]. Please verify network connectivity of VMM controller hostOrIp and check VMM controller user credentials are valid.
これらの手順は、VCとAPIC間の接続の問題をトラブルシューティングするために使用できます。
1. シャードリーダーの特定
APICとvCenter間の接続の問題をトラブルシューティングするための最初の手順は、特定のVMMドメインのシャードリーダーであるAPICを理解することです。この情報を確認する最も簡単な方法は、任意のAPICでコマンドshow vmware domain name <domain>を実行することです。
apic1# show vmware domain name VDS_Site1
Domain Name : VDS_Site1
Virtual Switch Mode : VMware Distributed Switch
Vlan Domain : VDS_Site1 (1001-1100)
Physical Interfaces : leaf-102 eth1/11, leaf-301 eth1/11, leaf-302 eth1/11,
leaf-101 eth1/11
Number of EPGs : 2
Faults by Severity : 0, 0, 0, 0
LLDP override : RX: enabled, TX: enabled
CDP override : no
Channel Mode override : mac-pinning
NetFlow Exporter Policy : no
Health Monitoring : no
vCenters:
Faults: Grouped by severity (Critical, Major, Minor, Warning)
vCenter Type Datacenter Status ESXs VMs Faults
-------------------- -------- -------------------- -------- ----- ----- ---------------
10.48.176.69 vCenter Site1 online 2 2 0,0,0,0
APIC Owner:
Controller APIC Ownership
------------ -------- ---------------
bdsol- apic1 Leader
aci37-vc
bdsol- apic2 NonLeader
aci37-vc
bdsol- apic3 NonLeader
aci37-vc
2. vCenterへの接続の確認
vCenterとアクティブに通信しているAPICを特定したら、pingなどのツールを使用してIP接続を確認します。
apic1# ping 10.48.176.69
PING 10.48.176.69 (10.48.176.69) 56(84) bytes of data.
64 bytes from 10.48.176.69: icmp_seq=1 ttl=64 time=0.217 ms
64 bytes from 10.48.176.69: icmp_seq=2 ttl=64 time=0.274 ms
64 bytes from 10.48.176.69: icmp_seq=3 ttl=64 time=0.346 ms
64 bytes from 10.48.176.69: icmp_seq=4 ttl=64 time=0.264 ms
64 bytes from 10.48.176.69: icmp_seq=5 ttl=64 time=0.350 ms
^C
--- 10.48.176.69 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4084ms
rtt min/avg/max/mdev = 0.217/0.290/0.350/0.052 ms
vCenterがIPアドレスではなくFQDNを使用して設定されている場合は、nslookupコマンドを使用して名前解決を確認できます。
apic1:~> nslookup bdsol-aci37-vc
Server: 10.48.37.150
Address: 10.48.37.150#53
Non-authoritative answer:
Name: bdsol-aci37-vc.cisco.com
Address: 10.48.176.69
3. OOBまたはINBが使用されているかどうかを確認します
APICルーティングテーブルを確認して、アウトオブバンドまたはインバンドのどちらが接続に適しているか、およびどのゲートウェイが使用されているかを確認します。
apic1# bash
admin@apic1:~> route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
default 10.48.176.1 0.0.0.0 UG 16 0 0 oobmgmt
4. すべてのAPICとvCenterの間でポート443が許可されていることを確認します。これには、通信経路にあるファイアウォールも含まれます。
vCenter <-> APIC - HTTPS （TCPポート443） – 通信
APICからvCenterへの一般的なHTTPS到達可能性は、curlを使用してテストできます。
apic2# curl -v -k https://10.48.176.69
* Rebuilt URL to: https://10.48.176.69/* Trying 10.48.176.69...
* TCP_NODELAY set
* Connected to 10.48.176.69 (10.48.176.69) port 443 (#0)
...
シャードリーダーのポート443でnetstatコマンドを使用し、TCP接続が確立されていることを確認します。
apic1:~> netstat -tulaen | grep 10.48.176.69
tcp 0 0 10.48.176.57:40806 10.48.176.69:443 ESTABLISHED 600 13062800
5. パケットキャプチャの実行
可能であれば、シャードリーダーとvCenterの間のパスに沿ってパケットキャプチャを実行し、トラフィックがどちらのデバイスでも送受信されているかどうかを確認します。
VMwareインベントリ
次の表に、VMWare VDSパラメータのリストを示し、APICでこれらを設定できるかどうかを指定します。
APICで管理されるVMware VDSパラメータ
| VMware VDS |
デフォルト値 |
Cisco APICポリシー |
| [名前(Name)] |
VMMドメイン名 |
はい（ドメインから取得） |
| 説明 |
『APIC仮想スイッチ』 |
いいえ |
| フォルダ名 |
VMMドメイン名 |
はい（ドメインから取得） |
| バージョン |
vCenterによる最高のサポート |
Yes |
| 検出プロトコル |
LLDP |
Yes |
| アップリンクポートとアップリンク名 |
8 |
対応(Cisco APICリリース4.2(1)以降) |
| アップリンク名プレフィックス |
アップリンク |
対応(Cisco APICリリース4.2(1)以降) |
| 最大MTU |
9000 |
Yes |
| LACPポリシー |
無効 |
Yes |
| ポート ミラーリング |
0セッション |
Yes |
| アラーム |
フォルダレベルで2つのアラームが追加されました。 |
いいえ |
次の表に、VMWare VDSポートグループのパラメータのリストを示し、APICでこれらが設定できるかどうかを指定します。
APICによって管理されるVMWare VDSポートグループのパラメータ
| VMware VDSポートグループ |
デフォルト値 |
APICポリシーを使用して設定可能 |
| [名前(Name)] |
テナント名 | アプリケーションプロファイル名 | EPG名 |
あり（EPGから取得） |
| ポートバインド |
静的バインド |
いいえ |
| VLAN |
VLANプールから取得 |
Yes |
| ロードバランシングアルゴリズム |
APICのポートチャネルポリシーに基づいて取得 |
Yes |
| 無差別モード |
Disabled |
Yes |
| 偽造された送信 |
Disabled |
Yes |
| MACの変更 |
Disabled |
Yes |
| すべてのポートをブロック |
FALSE |
いいえ |
VMwareインベントリのトラブルシューティング
インベントリ同期イベントは、APICがポリシーを動的に更新する必要があるvCenterイベントをAPICが認識できるようにするために発生します。vCenterとAPICの間で発生するインベントリ同期イベントには、完全なインベントリ同期とイベントベースのインベントリ同期の2種類があります。APICとvCenter間の完全なインベントリ同期のデフォルトスケジュールは24時間ごとですが、手動でトリガーすることもできます。イベントベースのインベントリ同期は、通常、vMotionなどのトリガーされたタスクに関連付けられます。このシナリオでは、仮想マシンがあるホストから別のホストに移動し、これらのホストが2つの異なるリーフスイッチに接続されている場合、APICはVM移行イベントをリッスンし、オンデマンド展開の即時性のシナリオでは、ソースリーフのEPGをプログラミング解除して、宛先リーフのEPGをプログラミングします。
VMMドメインに関連付けられたEPGの展開の即時性によっては、vCenterからインベントリを取得できない場合に望ましくない結果が生じる可能性があります。インベントリが完了しなかったり、部分的であったりするシナリオでは、エラーの原因となったオブジェクトを示すエラーが常に発生します。
シナリオ1 – 無効なバッキングを持つ仮想マシン：
仮想マシンが1つのvCenterから別のvCenterに移動された場合、または仮想マシンのバッキングが無効であると判断された場合（たとえば、古い/削除されたDVSにポートグループが接続された場合）、vNICに動作上の問題があることが報告されます。
Fault fltCompVNicOperationalIssues
Rule ID:2842
Explanation:
This fault is raised when ACI controller failed to update the properties of a VNIC (for instance, it can not find the EPG that the VNIC attached to).
Code: F2842
Message: Operational issues detected for VNic name on VM name in VMM controller: hostOrIp with name name in datacenter rootContName in domain: domName due to error: issues.
Resolution:
Remediate the virtual machines indicated in the fault by assigning a valid port group on the affected vNIC of the VM.
シナリオ2:vCenter管理者がvCenter上のVMM管理対象オブジェクトを変更した。
vCenterからAPICによって管理されるオブジェクトの変更はサポートされていません。このエラーは、サポートされていない操作がvCenterで実行された場合に発生します。
Fault fltCompCtrlrUnsupportedOperation
Rule ID:133
Explanation:
This fault is raised when deployment of given configuration fails for a Controller.
Code: F0133
Message: Unsupported remote operation on controller: hostOrIp with name name in datacenter rootContName in domain domName detected, error: [deployIssues]
Resolution:
If this scenario is encountered, try to undo the unsupported change in vCenter and then trigger an 'inventory sync' manually.
VMWare VMMドメイン – vCenterコントローラ – インベントリ同期のトリガー
VMware DVSバージョン
VMMドメインの一部として新しいvCenterコントローラを作成する場合、DVSバージョンのデフォルト設定は「vCenterデフォルト」を使用します。 これを選択すると、DVSバージョンがvCenterのバージョンで作成されます。
VMWare VMMドメイン – vCenterコントローラの作成
つまり、6.5を実行するvCenterと6.0を実行するESXiサーバの例では、APICがバージョン6.5のDVSを作成するため、vCenter管理者は6.0を実行するESXiサーバをACI DVSに追加できません。
APICマネージドDVS:vCenterホストの追加：空のリスト
APICマネージドDVS:vCenterホストの追加 – 互換性のないホスト
そのため、VMMドメインを作成する際には、必要なESXiサーバをDVSに追加できるように、正しい「DVSバージョン」を選択してください。
ホストの動的検出
ホスト/VMの検出プロセス
ACIでのVMM統合は、手動プロビジョニングとは異なり、ファブリックがホストと該当する仮想マシンの接続先を動的に検出して、ポリシーを効率的に展開できます。この動的なプロセスを通じて、VLAN、SVI、ゾーニングルールなどがノード上に展開されるリーフスイッチ上のハードウェアリソースの使用率を最適化できるのは、ポリシーを必要とするエンドポイントが接続されている場合だけです。ネットワーク管理者にとって、使いやすさの観点から見た利点は、VMが接続されるVLAN/ポリシーがACIによって自動的にプロビジョニングされることです。ポリシーをどこに展開する必要があるかを決定するために、APICは複数のソースからの情報を使用します。この図は、DVSベースのVMMドメインを使用する際のホスト検出プロセスの基本手順の概要を示しています。
VMWare VMMドメイン – 展開ワークフロー
要するに、これらの重要なステップは次の場合に発生します。
- LLDPまたはCDPは、ハイパーバイザスイッチとリーフスイッチ間で交換されます。
- ホストはvCenterに隣接関係の情報を報告します。
- vCenterがAPICにアジャセンシー関係情報を通知：
- APICはインベントリ同期によってホストを認識します。
- APICがリーフポートにポリシーをプッシュ：
- これらの条件の詳細については、「解決の緊急度」のサブセクションを参照してください。
- vCenter隣接関係情報が失われた場合、APICはポリシーを削除できます。
このように、CDP/LLDPは検出プロセスで重要な役割を果たします。CDP/LLDPが適切に設定され、両側で同じプロトコルが使用されていることを確認することが重要です。
ファブリックLooseNode/中間スイッチ – 使用例
ブレードシャーシを使用し、リーフスイッチとハイパーバイザの間に中間スイッチを配置する導入では、APICはアジャセンシー関係を「縫い合わせる」必要があります。このシナリオでは、中間スイッチのプロトコル要件がホストとは異なるため、複数の検出プロトコルを使用できます。
ブレードサーバと中間スイッチ（つまり、ブレードシャーシスイッチ）を使用した設定では、ACIは中間スイッチを検出し、その背後にあるハイパーバイザをマッピングできます。ACIでは、中継スイッチはLooseNodeまたは「アンマネージドファブリックノード」と呼ばれます。検出されたLooseNodeは、Fabric > Inventory > Fabric Membership > Unmanaged Fabric Nodesの順に選択することで確認できます。GUIでこれらのタイプのサーバのいずれかに移動することで、ユーザはリーフから中間スイッチを経由するホストへのパスを表示できます。
APIC UI：アンマネージドファブリックノード(LooseNodes)
LLDPまたはCDP検出を実行すると、中間スイッチのハイパーバイザダウンストリームがVMM統合によって管理され、リーフ自体がダウンストリームから中間スイッチに隣接関係を持っていることを前提として、ACIはこのようなLooseNodeのトポロジを決定できます。
この概念を次の図に示します。
APIC UI – アンマネージドファブリックノードパス
解決の緊急性
vCenter/ESXiへの管理接続など、重要なサービスがVMM統合DVSを利用するシナリオでは、事前プロビジョニング解決の即時性を使用することが賢明です。この設定では、ダイナミックホストディスカバリのメカニズムが削除され、代わりにポリシー/VLANがホストに面するインターフェイスに静的にプログラムされます。この構成では、VMM VLANは、VMMドメインが参照するAEPに関連付けられたすべてのインターフェイスに常に展開されます。これにより、検出プロトコル関連の隣接関係イベントが原因で、重要なVLAN（管理など）がポートから削除される可能性がなくなります。
次のダイヤグラムを参照してください。
プロビジョニング前の導入例
ACI_VDS1 VMMドメインのEPGに事前プロビジョニングが設定されている場合、VLANはServer1のリンクに展開されますが、Server2のAEPにはACI_VDS1 VMMドメインが含まれないため、Server2のリンクには展開されません。
解決の即時性の設定を要約するには、次の手順に従います。
- オンデマンド：ポリシーは、リーフ/ホストと、ポートグループに接続されたVMとの間に隣接関係が確立されたときに展開されます。
- Immediate：リーフとホストの間に隣接関係が確立されると、ポリシーが展開されます。
- 事前プロビジョニング：ポリシーは、VMMドメインが含まれているAEPを使用してすべてのポートに展開されます。隣接関係は必要ありません。
トラブルシューティングのシナリオ
VMがデフォルトゲートウェイのARPを解決できない
このシナリオでは、VMM統合が設定され、DVSがハイパーバイザに追加されていますが、VMはACIのゲートウェイのARPを解決できません。VMのネットワーク接続を確立するには、隣接関係が確立され、VLANが展開されていることを確認します。
まず、ユーザは、選択したプロトコルに応じて、リーフでshow lldp neighborsまたはshow cdp neighborsを使用して、リーフがホストを検出したかどうかをチェックできます。
Leaf101# show lldp neighbors
Capability codes:
(R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
(W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID Local Intf Hold-time Capability Port ID
bdsol-aci37-apic1 Eth1/1 120 eth2-1
bdsol-aci37-apic2 Eth1/2 120 eth2-1
bdsol-aci37-os1 Eth1/11 180 B 0050.565a.55a7
S1P1-Spine201 Eth1/49 120 BR Eth1/1
S1P1-Spine202 Eth1/50 120 BR Eth1/1
Total entries displayed: 5
トラブルシューティングの観点から必要な場合は、CLIとGUIの両方でESXi側から確認できます。
[root@host:~] esxcli network vswitch dvs vmware list
VDS_Site1
Name: VDS_Site1
...
Uplinks: vmnic7, vmnic6
VMware Branded: true
DVPort:
Client: vmnic6
DVPortgroup ID: dvportgroup-122
In Use: true
Port ID: 0
Client: vmnic7
DVPortgroup ID: dvportgroup-122
In Use: true
Port ID: 1
[root@host:~] esxcfg-nics -l
Name PCI Driver Link Speed Duplex MAC Address MTU Description
vmnic6 0000:09:00.0 enic Up 10000Mbps Full 4c:77:6d:49:cf:30 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic7 0000:0a:00.0 enic Up 10000Mbps Full 4c:77:6d:49:cf:31 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
[root@host:~] vim-cmd hostsvc/net/query_networkhint --pnic-name=vmnic6 | grep -A2 "System Name"
key = "System Name",
value = "Leaf101"
}
vCenter Webクライアント：ホスト：vmnic LLDP/CDP隣接関係の詳細
リーフLLDP隣接関係がESXiホストから見えない場合、多くの場合、ESXi OSの代わりにLLDPDUを生成するように設定されたネットワークアダプタを使用したことが原因です。ネットワークアダプタでLLDPが有効になっているかどうかと、すべてのLLDP情報が消費されているかどうかを確認します。この場合は、アダプタ自体でLLDPを無効にして、vSwitchポリシーによって制御されるようにします。
別の原因として、リーフとESXiハイパーバイザ間で使用される検出プロトコル間の不整合が考えられます。両端で同じディスカバリプロトコルを使用していることを確認します。
APIC UIでCDP/LLDP設定がACIとDVS間で一致しているかどうかを確認するには、Virtual Networking > VMM Domains > VMWare > Policy > vSwitch Policyの順に移動します。LLDPポリシーとCDPポリシーは相互に排他的であるため、どちらか一方のみを有効にしてください。
APIC UI:VMWare VMMドメイン：vSwitchポリシー
vCenterで、Networking > VDS > Configureの順に選択します。
vCenter WebクライアントUI - VDSプロパティ
必要に応じてLLDP/CDP設定を修正します。
次に、APICが、UIの[Virtual Networking] > [VMM Domains] > [VMWare] > [Policy] > [Controller] > [Hypervisor] > [General]で、リーフスイッチに対するESXiホストのLLDP/CDPネイバーシップを監視していることを検証します。
APIC UI:VMWare VMMドメイン：ハイパーバイザの詳細
これが期待値を示している場合、ユーザはホストに向かうポートにVLANが存在することを検証できます。
S1P1-Leaf101# show vlan encap-id 1035
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
12 Ecommerce:Electronics:APP active Eth1/11
VLAN Type Vlan-mode
---- ----- ----------
12 enet CE
APICプッシュDVSに接続されたvCenter/ESXi管理VMK
vCenterまたはESXiの管理トラフィックでVMM統合DVSを利用する必要があるシナリオでは、ダイナミックな隣接関係のアクティブ化と必要なVLANのアクティブ化に支障をきたさないように、特別な注意が必要です。
vCenterは通常、VMM統合が設定される前に構築されるため、物理ドメインとスタティックパスを使用して、vCenter VMカプセル化VLANがリーフスイッチで常にプログラムされ、VMM統合が完全に設定される前に使用できるようにすることが重要です。VMM統合を設定した後でも、このEPGが常に使用可能であることを保証するために、このスタティックパスを保持することをお勧めします。
ESXiハイパーバイザの場合は、Cisco.comの『Cisco ACI Virtualization Guide』に従い、vDSへの移行時に、VMKインターフェイスが接続されるEPGが展開され、解決緊急度が事前プロビジョニングに設定されていることを確認することが重要です。これにより、ESXiホストのLLDP/CDP検出に依存することなく、リーフスイッチでVLANが常にプログラムされるようになります。
LooseNodeの背後で検出されないホスト隣接関係
LooseNode検出の問題の一般的な原因は次のとおりです。
- CDP/LLDPが有効になっていない
- CDP/LLDPは、中間スイッチ、リーフスイッチ、およびESXiホスト間で交換する必要があります
- Cisco UCSの場合、これはvNIC上のネットワーク制御ポリシーを介して実行されます
- LLDP/CDPネイバーの管理IPを変更すると、接続が切断されます
- vCenterはLLDP/CDP隣接関係で新しい管理IPを認識しますが、APICは更新しません
- インベントリの手動同期をトリガーして修正
- VMM VLANが中継スイッチに追加されていません
- APICはサードパーティ製のブレード/中間スイッチをプログラムしません。
- 4.1(1)リリースで使用可能なCisco UCSM統合アプリケーション(ExternalSwitch)
- ACIリーフノードに接続されたアップリンクとホストに接続されたダウンリンクに対して、VLANを設定してトランキングする必要があります
F606391 – ホスト上の物理アダプタの隣接関係の欠落
このエラーが表示された場合：
Affected Object: comp/prov-VMware/ctrlr-[DVS-DC1-ACI-LAB]-DVS1/hv-host-104
Fault delegate: [FSM:FAILED]: Get LLDP/CDP adjacency information for the physical adapters on the host: bdsol-aci20-os3 (TASK:ifc:vmmmgr:CompHvGetHpNicAdj)
「VMがデフォルトゲートウェイのARPを解決できない」の項のワークフローを確認してください。これは、CDPおよびLLDPの隣接関係が存在しないことを意味します。これらの隣接関係は、エンドツーエンドで確認できます。
ハイパーバイザアップリンクロードバランシング
ESXiなどのハイパーバイザをACIファブリックに接続する場合、通常は複数のアップリンクを使用して接続されます。実際には、ESXiホストを少なくとも2つのリーフスイッチに接続することをお勧めします。これにより、障害シナリオやアップグレードの影響を最小限に抑えることができます。
ハイパーバイザ上で実行されるワークロードによるアップリンクの使用を最適化するために、VMware vCenterの構成では、ハイパーバイザのアップリンクに向けてVMによって生成されるトラフィックに対して複数のロードバランシングアルゴリズムを設定できます。
正しい接続を確立するには、すべてのハイパーバイザとACIファブリックを同じロードバランシングアルゴリズム設定に合わせることが重要です。そうしないと、ACIファブリックで断続的なトラフィックフローのドロップとエンドポイントの移動が発生する可能性があります。
これは、次のような過剰なアラートによってACIファブリックで発生する可能性があります。
F3083 fault
ACI has detected multiple MACs using the same IP address 172.16.202.237.
MACs: Context: 2981888. fvCEps:
uni/tn-BSE_PROD/ap-202_Voice/epg-VLAN202_Voice/cep-00:50:56:9D:55:B2;
uni/tn-BSE_PROD/ap-202_Voice/epg-VLAN202_Voice/cep-00:50:56:9D:B7:01;
or
[F1197][raised][bd-limits-exceeded][major][sys/ctx-[vxlan-2818048]/bd-[vxlan-16252885]/fault-F1197]
Learning is disabled on BD Ecommerce:BD01
この章では、ACIへのVMWare ESXiホスト接続について説明しますが、ほとんどのハイパーバイザに適用できます。
ラックサーバ
ESXiホストがACIファブリックに接続する方法を見ると、スイッチ依存とスイッチ非依存の2つのロードバランシングアルゴリズムに分けられます。
スイッチに依存しないロードバランシングアルゴリズムは、特定のスイッチ設定が必要ない場所に接続する方法です。スイッチに依存するロードバランシングでは、スイッチ固有の設定が必要です。
vSwitchポリシーが、次の表に示すACIアクセスポリシーグループの要件に適合しているかどうかを確認してください。
チーミングおよびACI vSwitchポリシー
| VMwareチーミングおよびフェイルオーバーモード |
ACI vSwitchポリシー |
説明 |
ACIアクセスポリシーグループ – ポートチャネルが必要 |
| 発信仮想ポートに基づくルート |
MACピニング |
スイッチの仮想ポートIDに基づいてアップリンクを選択します。仮想スイッチは、仮想マシンまたはVMKernelアダプタのアップリンクを選択すると、この仮想マシンまたはVMKernelアダプタの同じアップリンクを介してトラフィックを常に転送します。 |
いいえ |
| 送信元MACハッシュに基づくルーティング |
適用外 |
発信元MACアドレスのハッシュに基づいてアップリンクを選択します |
適用外 |
| 明示的なフェールオーバー順序 |
明示的なフェールオーバーモードの使用 |
アクティブアダプタのリストから、フェールオーバー検出基準を通過する最も高い順序のアップリンクを常に使用します。このオプションでは、実際のロードバランシングは実行されません。 |
いいえ |
| リンク集約(LAG):IPハッシュベース |
静的チャネル – モードオン |
各パケットの送信元IPアドレスと宛先IPアドレスのハッシュに基づいてアップリンクを選択します。非IPパケットの場合、スイッチはこれらのフィールドのデータを使用してハッシュを計算します。IPベースのチーミングでは、ACI側でポートチャネル/VPCが「mode on」で設定されている必要があります。 |
はい（チャネルモードを「オン」に設定） |
| リンク集約(LAG):LACP |
LACPアクティブ/パッシブ |
選択したハッシュに基づいてアップリンクを選択します（20種類の異なるハッシュオプションを使用できます）。LACPベースのチーミングでは、ACI側でLACPを有効にしてポートチャネル/VPCを設定する必要があります。必ずACIで拡張Lagポリシーを作成し、それをVSwitchポリシーに適用してください。 |
Yes（チャネルモードを「LACP Active/Passive」に設定） |
| 物理NIC負荷(LBT)に基づくルート |
MACピニング：物理NICロード |
分散ポートグループまたは分散ポートで使用できます。ポートグループまたはポートに接続されている物理ネットワークアダプタの現在の負荷に基づいてアップリンクを選択します。アップリンクが30秒間75 %以上のビジー状態が続くと、ホストvSwitchは仮想マシントラフィックの一部を、空き容量のある物理アダプタに移動します。 |
いいえ |
次のスクリーンショットは、vSwitchポリシーの一部としてポートチャネルポリシーを検証する方法を示しています。
ACI vSwitchポリシー：ポートチャネルポリシー
注：VMwareネットワーキング機能の詳細については、vSphere Networking(https://docs.vmware.com/en/VMware-vSphere/6.5/com.vmware.vsphere.networking.doc/GUID-D34B1ADD-B8A7-43CD-AA7E-2832A0F7EE76.html)を参照してください。
Cisco UCS Bシリーズ使用例
Cisco UCS Bシリーズサーバを使用する際は、シャーシ内でユニファイドデータプレーンを持たないUCSファブリックインターコネクト(FI)に接続することに注意することが重要です。この使用例は、同様のトポロジを採用している他のベンダーにも同様に適用されます。このため、ACIリーフスイッチ側とvSwitch側で使用されるロードバランシング方式が異なる場合があります。
ACIを使用したUCS FIトポロジを次に示します。
Cisco UCS FIとACIリーフスイッチ：トポロジ
注意すべき重要な事項：
- 各Cisco UCS FIには、ACIリーフスイッチへのポートチャネルがあります。
- UCS FIはハートビートの目的でのみ直接相互接続されます（データプレーンには使用されません）。
- 各ブレードサーバのvNICは、特定のUCS FIに固定されるか、UCSファブリックフェールオーバー（アクティブ – スタンバイ）を使用して、いずれかのFIへのパスを使用します。
- ESXiホストvSwitchでIPハッシュアルゴリズムを使用すると、UCS FIでMACフラップが発生します。
これを正しく設定するには、次の手順を実行します。
MACピニングがACIのvSwitchポリシーの一部としてポートチャネルポリシーで設定される場合、これは「発信仮想ポートに基づくルート」としてVDSのポートグループのチーミング設定を示します。
ACI:vSwitchポリシーの一部としてのポートチャネルポリシー
この例で使用されているポートチャネルポリシーは、ウィザードによって自動的に名前が付けられるため、モード「MACピニング」を使用しても「CDS_lacpLagPol」と呼ばれます。
VMWare vCenter — ACI VDS – ポートグループ – ロードバランシング設定
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
2.0 |
16-Aug-2024 |
フォーマット、スタイルの問題、DEI表現、ヘッダー |
1.0 |
05-Aug-2022 |
初版 |
フィードバック