3 ノードまたは 4 ノードのネットワーク トポロジの選択
3 ノードまたは 4 ノード トポロジを選択するとき、初期展開時に選択されるネットワーク トポロジは、完全な再インストールなしで変更またはアップグレードすることはできないことにご注意ください。将来のニーズを念頭に置いてネットワーク トポロジを慎重に選択し、次の Cisco HyperFlex 製品を考慮してください。
-
Cisco VIC ベース ハードウェアまたは Intel NIC ベース アダプタを搭載した 10/25 Gigabit(GE)トポロジ
-
ノード拡張を必要とせず、トップ オブ ラック(ToR)スイッチに使用可能な 10GE ポートがないクラスタ向けの 1GE トポロジ。
Cisco IMC 接続、物理ケーブル配線、ネットワーク設計、および構成の注意事項の詳細については、次の使用可能なトポロジのリストから選択してください。
10/25GE または 1GE ToR 物理ネットワークとケーブルのセクションが完了したら、ネットワークの共通要件チェックリスト に進みます。
10 または 25GE VIC ベースのトポロジ
10 または 25GE VIC ベースのトポロジ
10 または 25 ギガビット イーサネット (GE) スイッチ トポロジは、スイッチ (デュアルまたはスタック構成のスイッチを使用している場合)、リンクおよびポートの障害から保護する、フル冗長型のデザインを提供します。10/25GE スイッチは、1 台または 2 台のスタンドアロン スイッチとして、またはスイッチ スタック構成で使用することができます。
10/25GE VIC ベース トポロジの Cisco IMC 接続
3 ノードおよび 4 ノード 10/25 ギガビット イーサネット (GE) トポロジに、次の Cisco IMC 接続オプションのいずれかを選択します。
-
専用の 1GE Cisco IMC 管理ポートを使用することが推奨されます。このオプションには追加のポートとケーブルが必要ですが、ネットワークの競合を防ぎ、各物理サーバへのアウト オブ バンド アクセスを常にオンにすることができます。
-
共有 LOM 拡張モード (EXT) の使用。このモードでは、シングル ワイヤ管理が使用され、Cisco IMC トラフィックが 10/25GE VIC 接続に多重化されます。このモードで操作する場合、トラフィックの複数のストリームが同じ物理リンク上で共有され、妨害のない到達可能性は保証されません。この展開オプションは推奨されません。
-
ファブリック インターコネクトベース環境では、シングル ワイヤ管理を使用する場合、内蔵 QpS により Cisco IMC およびサーバ管理への妨害のないアクセスが保証されます。HyperFlex Edge 環境では、QoS が適用されないため、専用管理ポートの使用が推奨されます。
-
上記の Cisco IMC 接続の選択にかかわらず、同様の Cisco UCS C シリーズ サーバについては、『サーバ設置およびサービス ガイド』の次の手順に従い、Cisco IMC に IPv4 管理アドレスを割り当てる必要があります。HyperFlex は IPv6 アドレスをサポートしていません。
10/25GE VIC ベース トポロジ用物理ネットワークおよびケーブル配線
VLAN 機能を備えたマネージド スイッチ (1 または 2) が必要です。Cisco は、Catalyst および Nexus スイッチング プラットフォームのリファレンス構成を完全にテストし、提供します。これらのスイッチのいずれかを選択すると、最高レベルの互換性が提供され、円滑な展開とシームレスな継続的運用が可能になります。
デュアル スイッチの設定には、スイッチの障害、リンクの障害、ポートの障害から保護する完全な冗長性を備えた、少し複雑なトポロジが含まれます。スタンドアロンまたはスタック構成が行われている 2 つのスイッチと、2 つの 10/25GE ポート、CIMC 管理用の 1 つの 1GE ポート、サーバごとに 1 つの Cisco VIC 1457 が必要です。トランク ポートは、唯一サポートされているネットワーク ポート設定です。
シングル スイッチの設定では、サーバごとに 1 台のスイッチ、2 つの 10/25GE ポート、CIMC 管理の 1GE ポート、1 個の Cisco VIC 1457 のみを必要とするシンプルなトポロジが実現します。スイッチ レベルの冗長性は提供されませんが、すべてのリンク/ポートおよび関連するネットワーク サービスは完全に冗長であり、障害を許容することができます。
10 および 25GE トポロジ両方の要件
次の要件は両方の 10/25GE トポロジに共通であり、展開を開始する前に満たす必要があります。
-
サーバごとの専用 1 ギガビット イーサネット (GE) Cisco IMC 管理ポート (推奨)
-
HyperFlex ノードごとに専用 Cisco IMC 管理ポート (お客様が提供) 用の 1 個の 1GE ToR スイッチ ポートと、1 個 (1 個) のカテゴリ 6 イーサネット ケーブル
-
-
Cisco VIC 1457 (各サーバの MLOM スロットに取り付けられている)
-
旧世代の Cisco VIC ハードウェアは、2 ノードまたは 4 ノードの HX Edge クラスタではサポートされていません。
-
HyperFlex ノードごとに 2 個の 10GE ToR スイッチ ポートおよび 4 個の 10GE SFP + または SFP28 ケーブル (お客様が提供。選択したケーブルがスイッチ モデルと互換性があることを確認します。)
-
Cisco VIC 1457 は、Cisco HyperFlex リリース 4.0(1a) 以降で 10GE インターフェイスの速度をサポートしています。
-
Cisco VIC 1457 は Cisco HyperFlex リリース 4.0(2a) 以降で 25GE インターフェイスの速度をサポートしています。
-
40GE インターフェイスの速度はサポートされておらず、Cisco VIC 1457 ではサポートされていません。
-
25GE を使用した HX Edge クラスタの要件
(注) |
25GE モードを使用するには、通常、選択したケーブルのタイプと長さに応じて、前方誤り訂正 (FEC) を使用する必要があります。デフォルトでは、VIC 1400 シリーズは CL91 FEC モードで設定されます (Cisco IMC UI で使用可能な場合、FEC モード「auto」は CL91 と同じです)。自動 FEC ネゴシエーションはサポートされません。特定のスイッチでリンク ステートをアップにするには、この FEC モードに合わせて手動で設定する必要があります。リンクをアップにするには、スイッチと VIC ポートの両方で FEC モードが一致している必要があります。使用中のスイッチが CL91 をサポートしていない場合、スイッチで使用可能な FEC モードと一致させて、VIC ポートが CL74 を使用するように設定できます。これには、[VIC 設定 (VIC configuration)] タブの [CIMC UI] で、手動で FEC モードを変更する必要があります。HyperFlex Edge の展開は、スイッチと VIC ポートからリンク ステートがアップになったと報告されるまで、開始しないでください。CL74 は FC-FEC (ファイアコード) とも呼ばれ、CL91 は RS-FEC (リード ソロモン) とも呼ばれています。Cisco IMC GUI を使用して VIC で設定されている FEC モードを変更する方法については、『CISCO UCS C シリーズ Integrated Management Controller リリース 4.1 GUI コンフィギュレーション ガイド』を参照してください。 |
物理的なケーブル接続を続行するには、シングル スイッチまたはデュアル スイッチの設定を選択します。
10/25GE VIC ベースのデュアル スイッチの物理ケーブル配線
警告 |
適切なケーブル配線は、ネットワークの完全な冗長性を確保するために重要です。 |
デュアル スイッチの設定には、スイッチの障害、リンクの障害、ポートの障害から保護する完全な冗長性を備えた、少し複雑なトポロジが含まれます。HyperFlex ノードごとに、スタンドアロンまたはスタック構成の 2 つのスイッチ、および 2 x 10GE ポート、1 x 1GE ポート (専用 CIMC)、および 1 x Cisco VIC 1457 MLOM カードが必要です。トランク ポートは、唯一サポートされているネットワーク ポート設定です。
冗長性を追加するためデュアル ToR を使用して展開する場合 (ビジュアル レイアウトについては、次の図を参照してください)。
アップストリーム ネットワークの要件
-
VLAN 機能を備えた 2 台のマネージド スイッチ(スタンドアロンまたはスタック構成)
-
HyperFlex ノードごとに 2 x 10GE ポートおよび 1 x 1GE ポート。
10/25GE ポートはすべてトランクで、適用可能なすべての VLAN を許可する必要があります。専用の CIMC ポートに接続すると、すべての 1GE ポートがトランキングまたはアクセス モードになることがあります。
-
ジャンボ フレームを設定する必要はありません。
-
Cisco Integrated Management Controller(CIMC)へのアクセスを中断させないために、すべてのポートに PortFast トランクを設定する必要があります。
-
専用の Cisco IMC を使用している場合は、各サーバ (サーバの背面に「M」というラベルが付いている) の 1GE 管理ポートを 2 つのスイッチのいずれかに接続します。
-
Cisco VIC の 4 つの 10/25GE ポートのうち 1 個を、各サーバから同じ ToR スイッチに接続します。
-
同じスイッチに接続するには、各サーバで同じポート番号を使用します。
(注)
同じ VIC ポート番号を使用しない場合、サーバ間のトラフィックに対して余分なホップが発生し、2 つのスイッチ間で不必要に帯域幅が消費されます。
-
-
Cisco VIC の 2 番目の 10/25GE ポートを、各サーバからもう一方の ToR スイッチに接続します。同じスイッチに接続するには、各サーバで同じポート番号を使用します。
-
クラスタのインストール前に追加の 10/25GE ポートを接続しないでください。クラスタ展開後、追加で 2 つの 10/25GE ポートをゲスト VM トラフィックにオプションで使用することができます。
10/25GE VIC ベースの単一スイッチの物理ケーブル接続
警告 |
適切なケーブル配線は、ネットワークの完全な冗長性を確保するために重要です。 |
シングル スイッチの設定では、サーバごとに 1 台のスイッチ、2 台の 10/25GE ポート、1 台の 1 GE ポートのみを必要とするシンプルなトポロジが実現します。リンク レベルの冗長性は、すべての HyperFlex ネットワーク サービスに提供されます。ただし、単一の ToR スイッチで動作している場合、スイッチ レベルの冗長性は提供されません。トランク ポートは、唯一サポートされているネットワーク ポート設定です。重要な本番稼働アプリケーションには、デュアル スイッチの冗長性が推奨されます。
1 個の ToR を使用して展開する場合 (ビジュアル レイアウトについては、次の図を参照してください)。
-
専用の Cisco IMC を使用している場合は、各サーバ (サーバの背面にある「M」というラベルが付いた) の 1GE 管理ポートをスイッチまたはアウトオブバンド管理スイッチに接続します。
-
Cisco VIC の 4 つの 10/25GE ポートのうち 2 つを、各サーバから同じ ToR スイッチに接続します。
-
クラスタのインストール前に追加の 10/25GE ポートを接続しないでください。クラスタ展開後、追加で 2 つの 10/25GE ポートをゲスト VM トラフィックにオプションで使用することができます。
3 ノードおよび 4 ノード 10/25GE VIC ベース トポロジの仮想ネットワーク設計
このセクションでは、仮想ネットワーク セットアップについて説明しています。HyperFlex 展開プロセスにより自動で仮想ネットワークがセットアップされるため、アクションは必要ありません。これらの詳細は、情報およびトラブルシューティング目的で下記に記載されています。
仮想スイッチ
vSwitch が 4 つ必要です。
-
vswitch-hx-inband-mgmt:ESXi 管理(vmk0)、ストレージ コントローラ管理ネットワーク
-
vswitch-hx-storage-data:ESXi ストレージ インターフェイス(vmk1)、HX ストレージ コントローラ データ ネットワーク
-
vmotion:vMotion インターフェイス(vmk2)
-
vswitch-hx-vm-network:VM ゲスト ポート グループ
ネットワーク トポロジ:
フェールオーバーの順序:
-
vswitch-hx-inband-mgmt:vSwitch 全体がアクティブ/スタンバイに設定されます。デフォルトでは、すべてのサービスが 1 つのアップリンク ポートを使用し、必要に応じてフェールオーバーされます。
-
vswitch-hx-storage-data:HyperFlex ストレージ データ ネットワークと vmk1 は、インバンド管理および vmotion vSwitches としての逆のフェールオーバー順序を使用して、トラフィックの負荷分散を行います。
-
vmotion:vMotion VMKernel ポート(vmk2)は post_install スクリプトの使用時に設定されます。フェールオーバーの順序は、アクティブ/スタンバイに設定されます。
-
vswitch-hx-vm-network:vSwitch がアクティブ/アクティブに設定されます。必要に応じて、個々のポート グループを上書きできます。
10/25GE VIC ベースのスイッチ構成の注意事項
最低でも 3 つの VLAN が必要です。
-
次の条件で 1 VLAN: VMware ESXi 管理、ストレージ コントローラ VM 管理および Cisco IMC 管理。
-
VMware ESXi 管理およびストレージ コントローラ VM 管理は、同じサブネットおよび VLAN に存在する必要があります
-
専用 Cisco IMC 管理ポートは、上記の管理インターフェイスと同じ VLAN を共有できます。または、オプションで専用サブネットおよび VLAN を使用できます。別の VLAN を使用している場合、L3 接続が上記の管理 VLAN に必要です。また、Intersight 接続要件を満たす必要があります (Cisco Intersight による管理)。
-
Cisco IMC 管理の共有 LOM 拡張モードを使用する場合は、専用の VLAN が推奨されます。
-
-
Cisco HyperFlex のストレージ トラフィック用 1 VLAN これは、独立した、またはルーティングされていない VLAN である必要があります。固有である必要があり、管理 VLAN と重複することはできません。
-
vMotion トラフィック用 1 VLAN これは、独立した、またはルーティングされていない VLAN にすることができます。
(注)
これらの VLAN の必要性を縮小したり、削除したりすることはできません。このインストールが試行された場合は失敗します。
-
ゲスト VM トラフィックには、追加の VLAN が必要です。これらの VLAN は、ESXi の追加ポートグループとして設定され、ToR スイッチでポートに面する すべての接続をトランクおよび許可する必要があります。
-
これらの追加ゲスト VM VLAN はオプションです。シンプルなネットワーク設計の維持を望む環境では、ゲスト VM トラフィックに上記の同じ管理 VLAN を使用できます。
(注)
Cisco VIC の特性は、同じ物理ポートから複数の vNICs から切り離されているため、同じホスト上で実行されているインターフェイスまたはサービスに L2 で通信するために、vswitch-hx-vm-network 上でゲスト VM トラフィックを設定することはできません。a) 別の VLAN を使用し L3 ルーティングを実行するか、b) 管理インターフェイスへのアクセスが必要なゲスト VM が vswitch-hx-inband-mgmt vSwitch に配置されていることを推奨します。一般に、vm-network vSwitch を除き、ゲスト VM を HyperFlex で設定された vSwitches のいずれにも配置しないでください。使用例としては、いずれかのノードで vCenter を実行する必要があり、実行している ESXi ホストを管理するための接続が必要な場合などがあります。この場合は、上記の推奨事項のいずれかを使用して、接続が中断されないようにします。
-
-
Cisco VIC に接続されているスイッチポートは、パスが許可された適切な VLAN を使用して、トランク モードで設定する必要があります。
-
専用 Cisco IMC 管理ポートに接続されているスイッチポートは、適切な VLAN で「アクセス モード」で設定する必要があります。
-
すべてのクラスタ トラフィックは、10/25GE トポロジ内の ToR スイッチを通過します。
-
スパニング ツリー PortFast トランク (トランク ポート) は、すべてのネットワーク ポートで有効にする必要があります。
(注)
PortFast の設定に失敗すると、ESXi の起動時に断続的に切断され、物理リンク障害時に必要なネットワークの再コンバージェンスよりも長く時間がかかります。
その他の考慮事項
-
必要に応じて、HX Edge ノードにサードパーティ製の NIC カードをさらにインストールできます。ネットワーク ガイドへのリンクについては、第 1 章の項を参照してください。
-
VIC 以外のすべてのインターフェイスは、インストールが完了するまでシャットダウンするか、ケーブルを切断している必要があります。
-
MLOM スロットでは、HX Edge ノードごとに 1 つの VIC のみがサポートされます。PCIe ベース VIC アダプタは、HX Edge ノードではサポートされていません。
VIC ベースの 10/25GE のジャンボ フレーム
通常、ジャンボ フレームは、ネットワーク上で送信されるパケット数を減らし、効率を向上させるために使用されます。以下では、10/25GE トポロジでジャンボ フレームを使用する際のガイドラインについて説明します。
-
ジャンボ フレームを有効にするオプションは、最初のインストール中にのみ提示され、後で変更することはできません。
-
ジャンボ フレームは不要です。ジャンボ フレームをオプトアウトする場合は、すべてのネットワーク スイッチで MTU を 1500 バイトに設定したままにします。
-
最適なパフォーマンスのために、ジャンボ フレームをオプションで有効にできます。フル パス MTU が 9000 バイト以上であることを確認します。ジャンボ フレームを有効にする場合は、次の点に注意してください。
-
デュアル スイッチ セットアップを実行する場合、すべてのスイッチ インターコネクトおよびスイッチ アップリンクでジャンボ フレームが有効であることが不可欠です。フル パス MTU を確認しないと、リンクまたはスイッチの失敗後、トラフィックのパスが許可されない場合にクラスタがオフになる可能性があります。
-
HyperFlex インストーラは、ノードのいずれかでスタンバイ リンクを使用するため、フェールオーバーを強制する初期展開で、ワンタイム テストを実行します。スイッチのケーブル接続が適切に行われている場合、エンドツーエンド パス MTU をテストします。障害が検出された場合、この警告をバイパスしないでください。問題を修正し、インストーラを再試行して、検証チェックに合格するようにしてください。
-
これらの理由と削除が複雑なため、デュアル スイッチ セットアップを使用する場合はジャンボ フレームを無効にすることをお勧めします。
-
-
ジャンボ フレームを有効にするためのオプションは、ネットワーク設定ポリシーの下の HyperFlex クラスタ プロファイルの下にあります。ボックスをチェックすると、ジャンボ フレームが有効になります。ボックスをチェックしないと、ジャンボ フレームは無効のままになります。
次の手順:
ネットワークの共通要件チェックリストを完了します。
10 または 25GE NIC ベースのトポロジ
10 または 25GE NIC ベース トポロジ
10 または 25 ギガビット イーサネット(GE)スイッチ NIC ベース トポロジは、スイッチ(デュアルまたはスタック構成のスイッチを使用している場合)、リンクおよびポートの障害から保護する、フル冗長型のデザインを提供します。10/25 GE スイッチは、1 つまたは 2 つのスタンドアロンスイッチを利用するか、スイッチスタックの構成で利用することができます。
10 または 25 ギガビット イーサネット(GE)ネットワーク インターフェイス カード(NIC)ベースのトポロジは、VIC ベースのトポロジに代わるオプションです。NIC または VIC ベース トポロジは、スイッチ (デュアルまたはスタック構成のスイッチを使用している場合)、リンクおよびポートの障害から保護する、フル冗長型のデザインを提供します。10/25GE スイッチは、 2 つのスタンドアロンスイッチを利用するか、スイッチ スタックの構成で利用することができます。NIC ベースのトポロジの展開を検討する前に、次の要件とサポートされるハードウェアを検討してください。
NIC ベースのトポロジの要件
展開を開始する前に、次の要件とハードウェアを考察する必要があります。
-
NIC ベース展開は HXDP リリース 5.0(2a) 以降でサポートされています
-
VMware ESXi 7.0 U3 以降
-
NIC ベース クラスタは、Intersight 展開のみに対してサポートされ、Intersight Essentials ライセンスを必要とします
-
NIC ベース HX 展開は、HX 220/225/240/245 M6 ノードにのみサポートされます。
-
エッジと DC-no-FI クラスタのみをサポートします
-
10/25GE デュアル トップオブラック(ToR)スイッチ
-
Cisco HX ハードウェアにインストールされた 1 台の Intel 710/810 クアッド ポート NIC または 2 台の Intel 710/810 シリーズ デュアル ポート NIC。サポートされる NIC オプションは以下のとおりです。
-
Intel X710-DA2 デュアルポート 10Gb SFP+ NIC(HX-PCIE-ID10GF)
-
Intel X710 クワッドポート 10G SFP+ NIC(HX-PCIE-IQ10GF)
-
Cisco-Intel E810XXVDA2 2x25/10 GbE SFP28 PCIe NIC(HX-P-I8D25GF)
-
Cisco-Intel E810XXVDA4L 4x25/10 GbE SFP28 PCIe NIC(HX-P-I8Q25GF)
-
10/25GE NIC ベース トポロジの Cisco IMC 接続
3 ノードおよび 4 ノード 10/25 ギガビット イーサネット (GE) トポロジに、次の Cisco IMC 接続オプションのいずれかを選択します。
-
専用の 1GE Cisco IMC 管理ポートを使用することが推奨されます。このオプションには追加のポートとケーブルが必要ですが、ネットワークの競合を防ぎ、各物理サーバへのアウト オブ バンド アクセスを常にオンにすることができます。
-
共有 LOM 拡張モード (EXT) の使用。このモードでは、シングル ワイヤ管理が使用され、Cisco IMC トラフィックが 10/25GE VIC 接続に多重化されます。このモードで操作する場合、トラフィックの複数のストリームが同じ物理リンク上で共有され、妨害のない到達可能性は保証されません。この展開オプションは推奨されません。
上記の Cisco IMC 接続の選択にかかわらず、同様の Cisco UCS C シリーズ サーバについては、『サーバ設置およびサービス ガイド』の次の手順に従い、Cisco IMC に IPv4 管理アドレスを割り当てる必要があります。HyperFlex は IPv6 アドレスをサポートしていません。
10/25GE NIC ベース トポロジ用物理ネットワークおよびケーブル配線
VLAN 機能を備えた 2 つのマネージドスイッチが必要です。Cisco は、Catalyst および Nexus スイッチング プラットフォームのリファレンス構成を完全にテストし、提供します。これらのスイッチのいずれかを選択すると、最高レベルの互換性が提供され、円滑な展開とシームレスな継続的運用が可能になります。
デュアル スイッチの設定には、スイッチの障害、リンクの障害、ポートの障害から保護する完全な冗長性を備えた、少し複雑なトポロジが含まれます。スタンドアロンまたはスタック構成が行われている 2 つのスイッチと、2 つの 10/25GE ポート、CIMC 管理用の 1GE ポート、サーバごとに 1 個のクワッド ポートまたは2 個のデュアル ポート NIC が必要です。トランクポートは、特定のサポートされているネットワークポート設定です。
10 および 25GE トポロジ両方の要件
次の要件は両方の 10/25GE トポロジに共通であり、展開を開始する前に満たす必要があります。
-
サーバごとの専用 1 ギガビット イーサネット (GE) Cisco IMC 管理ポート (推奨)
-
専用 Cisco IMC 管理ポート (お客様が提供) 用の 2 個の 1GE ToR スイッチ ポートと、2 本のカテゴリ 6 イーサネット ケーブル
-
1 つの Intel クアッドポート NIC または 2 つの Intel デュアル ポート NIC を次のように PCIE スロットに取り付けます。
-
HX 220/225 ノード:クアッド ポート NIC には PCIE スロット 1 と 2 を使用するか、デュアル ポートには PCIE スロット 1 と 2 を使用します。
-
NIC HX 240/245 ノード:クアッドポート NIC には PCIE スロット 4 を使用するか、デュアル ポート NIC には PCIE スロット 4 および 6 を使用します。
-
次の手順:
10/25GE または 1GE ToR 物理ネットワークとケーブルのセクションが完了したら、ネットワークの共通要件チェックリスト に進みます。
10/25GE NIC ベースのデュアル スイッチの物理ケーブル配線
警告 |
適切なケーブル配線は、ネットワークの完全な冗長性を確保するために重要です。 |
冗長性を追加するためデュアル ToR を使用して展開する場合 (ビジュアル レイアウトについては、次の図を参照してください)。
-
専用の Cisco IMC を使用している場合は、各サーバ (サーバの背面に「M」というラベルが付いている) の 1GE 管理ポートを 2 つのスイッチのいずれかに接続します。
(注)
同じ NIC ポート番号を使用しない場合、サーバー間のトラフィックに対して余分なホップが発生し、2 つのスイッチ間で不必要に帯域幅が消費されます。
-
各ノードの最初の NIC ポート(左から)を最初の ToR スイッチ(switchA)に接続します。
-
各ノードの 2 番目の NIC ポート(左から)を 2 番目の ToR スイッチ(switchB)に接続します。
-
各ノードの 3 番目の NIC ポート(左から)を最初の ToR スイッチ(switchA)に接続します。
-
各ノードの 4 番目の NIC ポート(左から)を 2 番目の ToR スイッチ(switchB)に接続します。
(注)
ケーブル配線については、上記の注意事項に従ってください。上記の推奨事項から逸脱すると、クラスタの展開が失敗する可能性があります。
(注)
同じスイッチに接続するには、各サーバで同じポート番号を使用します。接続の詳細については、以下のトポロジ図を参照してください。
1 x クアッドポート NIC のネットワーク ケーブル配線図
2 x デュアル ポート NIC のネットワーク ケーブル接続図
3 ノードおよび 4 ノード 10/25GE NIC ベース トポロジの仮想ネットワーク設計
このセクションでは、仮想ネットワーク セットアップについて説明しています。HyperFlex 展開プロセスにより自動で仮想ネットワークがセットアップされるため、アクションは必要ありません。これらの詳細は、情報およびトラブルシューティング目的で下記に記載されています。
仮想スイッチ
vSwitch が 4 つ必要です。
-
vswitch-hx-inband-mgmt:ESXi 管理(vmk0)、ストレージ コントローラ管理ネットワーク、vMotion インターフェイス(vmk2)およびゲスト VM ポートグループ
-
vswitch-hx-storage-data:ESXi ストレージ インターフェイス(vmk1)、HX ストレージ コントローラ データ ネットワーク
ネットワーク トポロジ(Network Topology)
フェールオーバーの順序:
-
vswitch-hx-inband-mgmt:vSwitch 全体がアクティブ/スタンバイに設定されます。デフォルトでは、すべてのサービスが 1 つのアップリンク ポートを使用し、必要に応じてフェールオーバーされます。
-
vswitch-hx-storage-data:HyperFlex ストレージ データ ネットワークと vmk1 は、インバンド管理および vmotion vSwitches としての逆のフェールオーバー順序を使用して、トラフィックの負荷分散を行います。
NIC ベースの 10/25GE のジャンボ フレーム
通常、ジャンボ フレームは、ネットワーク上で送信されるパケット数を減らし、効率を向上させるために使用されます。以下では、10/25GE トポロジでジャンボ フレームを使用する際のガイドラインについて説明します。
-
ジャンボ フレームを有効にするオプションは、最初のインストール中にのみ提示され、後で変更することはできません。
-
ジャンボ フレームは不要です。ジャンボ フレームをオプトアウトする場合は、すべてのネットワーク スイッチで MTU を 1500 バイトに設定したままにします。
-
最適なパフォーマンスのために、ジャンボ フレームをオプションで有効にできます。フル パス MTU が 9000 バイト以上であることを確認します。ジャンボ フレームを有効にする場合は、次の点に注意してください。
-
デュアル スイッチ セットアップを実行する場合、すべてのスイッチ インターコネクトおよびスイッチ アップリンクでジャンボ フレームが有効であることが不可欠です。フル パス MTU を確認しないと、リンクまたはスイッチの失敗後、トラフィックのパスが許可されない場合にクラスタがオフになる可能性があります。
-
HyperFlex インストーラは、ノードのいずれかでスタンバイ リンクを使用するため、フェールオーバーを強制する初期展開で、ワンタイム テストを実行します。スイッチのケーブル接続が適切に行われている場合、エンドツーエンド パス MTU をテストします。障害が検出された場合、この警告をバイパスしないでください。問題を修正し、インストーラを再試行して、検証チェックに合格するようにしてください。
-
これらの理由と削除が複雑なため、デュアル スイッチ セットアップを使用する場合はジャンボ フレームを無効にすることをお勧めします。
-
-
ジャンボ フレームを有効にするためのオプションは、ネットワーク設定ポリシーの下の HyperFlex クラスタ プロファイルの下にあります。ボックスをチェックすると、ジャンボ フレームが有効になります。ボックスをチェックしないと、ジャンボ フレームは無効のままになります。
次の手順:
ネットワークの共通要件チェックリストを完了します。
1 ギガビット イーサネット トポロジ
1 ギガビット イーサネット トポロジ
1 ギガビット イーサネット (GE) スイッチ トポロジは、要件に応じて 2 つの設計を提供します。デュアル スイッチ設計は、スイッチ (デュアルまたはスタック スイッチを使用している場合)、リンクおよびポートの障害からネットワークを保護する完全な冗長設計です。他の単一スイッチ トポロジではネットワークの冗長性が提供されないため、実稼働クラスタには推奨されません。
1 ギガビット イーサネット トポロジ用 Cisco IMC 接続
3 ノードおよび 4 ノード 10 ギガビット イーサネット (GE) トポロジに、次の Cisco IMC 接続オプションのいずれかを選択します。
-
専用の 1GE Cisco IMC 管理ポートを使用することが推奨されます。このオプションには追加のポートとケーブルが必要ですが、ネットワークの競合を防ぎ、各物理サーバへのアウト オブ バンド アクセスを常にオンにすることができます。
-
共有 LOM 拡張モード (EXT) の使用。このモードでは、シングル ワイヤ管理が使用され、Cisco LOM トラフィックが 1GE VIC 接続に多重化されます。このモードで操作する場合、トラフィックの複数のストリームが同じ物理リンク上で共有され、妨害のない到達可能性は保証されません。この展開オプションは推奨されません。
-
ファブリック インターコネクトベース環境では、シングル ワイヤ管理を使用する場合、内蔵 QpS により Cisco IMC およびサーバ管理への妨害のないアクセスが保証されます。HyperFlex Edge 環境では、QoS が適用されないため、専用管理ポートの使用が推奨されます。
-
上記の Cisco IMC 接続の選択にかかわらず、同様の Cisco UCS C シリーズ サーバについては、『サーバ設置およびサービス ガイド』の次の手順に従い、Cisco IMC に IPv4 管理アドレスを割り当てる必要があります。HyperFlex は IPv6 アドレスをサポートしていません。
1GE トポロジ用物理ネットワークおよびケーブル接続
VLAN 機能を備えたマネージド スイッチ (1 または 2) が必要です。Cisco は、Cisco Catalyst および Cisco Nexus スイッチング プラットフォームのリファレンス構成を完全にテストし、提供します。これらのスイッチのいずれかを選択すると、最高レベルの互換性が提供され、円滑な展開とシームレスな継続的運用が可能になります。
デュアル スイッチのケーブル接続には、スイッチの障害、リンクの障害、スイッチ ポートの障害、LOM/PCIe NIC HW の障害から保護する完全な冗長性を備えた、少し複雑なトポロジが含まれます。サーバごとに、スタンドアロンまたはスタック構成が行われている 2 つのスイッチ、クラスタおよび VM トラフィックに 4 個の 1GE ポート、CIMC 管理に 1 個の 1GE ポート、1 個の Intel i350 PCIe NIC が必要です。トランク ポートは、唯一サポートされているネットワーク ポート設定です。
シングル スイッチの設定では、1 台のスイッチを必要とするシンプルなトポロジ、クラスタと VM トラフィック用に 2 個の 1GE ポート、CIMC 管理用に 1 個の 1GE ポートを提供し、追加の PCIe NIC は必要ありません。リンクまたはスイッチの冗長性はありません。サポートされている 2 つのネットワーク ポート設定は、アクセス ポートとトランク ポートです。
(注) |
冗長性の欠如により、シングル スイッチ 1GE 設定は非実稼働環境に対してのみ推奨されます。 |
物理的なケーブル接続を続行するには、シングル スイッチまたはデュアル スイッチの設定を選択します。
1 ギガビット イーサネット デュアル スイッチ ケーブル接続
警告 |
適切なケーブル配線は、ネットワークの完全な冗長性を確保するために重要です。 |
展開を開始する前に、次の要件を満たす必要があります。
-
サーバごとの専用 1 ギガビット イーサネット (GE) Cisco IMC 管理ポート (推奨)
-
HyperFlex サーバごとに専用 Cisco IMC 管理ポート (お客様が提供) 用の 1 個の 1GE ToR スイッチ ポートと、1 個のカテゴリ 6 イーサネット ケーブル
-
-
Intel i350 PCIe NIC [HX-UCSC-PCIE-IRJ45] (各サーバの PCIe スロットに取り付け済み)。
-
この NIC は発注時に選択して、工場出荷時に取り付けることができます。個別に発注した場合は現場で NIC を取り付けます。単一のソケット CPU 設定をサポートしているため、ライザ #1 または #2 を使用できますが、ライザ #1 の使用を推奨します。
-
HyperFlex サーバごとに 2 個の 1GE ToR スイッチ ポートと、2 個のカテゴリ 6 イーサネット ケーブル (お客様が提供)。
-
Cisco VIC はこのトポロジでは使用されません
-
MLOM フォーム ファクタの Intel i350 はサポートされていません。
-
-
Intel x550 Lan-on-motherboard LOM (Cisco UCS マザーボードに内蔵)
-
HyperFlex サーバごとに 2 個の 1GE ToR スイッチ ポートと、2 個のカテゴリ 6 イーサネット ケーブル (お客様が提供)。
(注)
このトポロジでは、1GE 速度のみサポートされています。10GbaseT スイッチを使用した 10GE LOM ポートは、サポートされていません。代わりに、1GE の速度を手動で設定するか、このガイドで説明されているサポートされている 10GE トポロジのいずれかを使用します。
-
冗長性を追加するためデュアル ToR を使用して展開する場合。
-
専用の Cisco IMC を使用している場合は、各サーバ (サーバの背面に「M」というラベルが付いている) の 1GE 管理ポートを 2 つのスイッチのいずれかに接続します。
-
全サーバ上の両方の統合済み Lan-on-motherboard (LOM) ポートを同じ ToR スイッチに接続します。
(注)
冗長性は vSwitch レベルで確保され、統合済み LOM からの 1 つのアップリンク ポート、および各 vSwitch の PCIe NIC からの 1 つのアップリンク ポートが含まれます。LOM ポートを異なるスイッチに接続しないでください。
-
i350 NIC の 4 つの 1GE ポートのうち 2 つを、各サーバから同じ ToR スイッチに接続します。同じスイッチに接続するには、各サーバで同じポート番号を使用します。
(注)
同じポート番号を使用しない場合、サーバ間のトラフィックに対して余分なホップが発生し、2 つのスイッチ間で不必要に帯域幅が消費されます。
-
クラスタのインストール前に、i350 NIC から 2 つ以上の 1GE ポートを接続しないでください。クラスタの導入後、ゲスト VM トラフィック用に追加で 2 つの 1GE ポートをオプションで使用できます。追加の使用可能な NIC ポートの使用に関するガイドラインについては、『Cisco HyperFlex Systems: ネットワーキング トポロジ』を参照してください。
1 ギガビット イーサネット シングル スイッチ ケーブル接続
警告 |
適切なケーブル配線は、ネットワークの完全な冗長性を確保するために重要です。 |
1 個の ToR を使用して展開する場合 (ビジュアル レイアウトについては、次の図を参照してください)。
-
専用の Cisco IMC を使用している場合は、各サーバ (サーバの背面にある「M」というラベルが付いた) の 1GE 管理ポートを ToR スイッチまたはアウトオブバンド管理スイッチに接続します。
-
全サーバ上の両方の統合済み Lan-on-motherboard (LOM) ポートを同じ ToR スイッチに接続します。
(注)
このトポロジでは、1GE 速度のみサポートされています。10GbaseT スイッチを使用した 10GE LOM ポートは、サポートされていません。代わりに、1GE の速度を手動で設定するか、このガイドで説明されているサポートされている 10GE トポロジのいずれかを使用します。
アクセス ポートとトランク ポートについて
イーサネット インターフェイスは、次のように、アクセス ポートまたはトランク ポートとして設定できます。
-
アクセス ポートはインターフェイス上に設定された 1 つの VLAN だけに対応し、1 つの VLAN のトラフィックだけを伝送します。
-
トランク ポートはインターフェイス上に設定された 1 つ以上の VLAN に対応しているため、複数の VLAN のトラフィックを同時に伝送できます。
次の表に、アクセス ポートとトランク ポート間の違いの概要を示します。この表に記載されている詳細を確認して、導入環境に使用するポートを決定できます。
重要 |
このガイドはトランク ポートを前提に書かれています。ユーザの導入環境にもトランク ポートを強く推奨します。 |
トランク ポート |
Access Ports |
---|---|
CIMC、ESXi、および HX データ プラットフォーム インストーラ内で行う必要があるもっと多くの VLAN タグのセットアップと定義が必要になります。 |
トランク ポートよりも導入プロセスがシンプルです。 |
管理、vMotion、および VM ゲスト トラフィックを異なるサブネットに論理的に分けることができます。 |
管理、vMotion、および VM ゲスト トラフィックで単一のサブネットを共有する必要があります。 |
ESXi に L2 ネットワークを追加できる柔軟性があります。 |
個別の VLAN にポート 1 と 2 を設定するためのマネージド スイッチが必要です。ストレージ トラフィックは、例外なく、専用の VLAN を使用する必要があります。 |
(注) |
トランク ポートとアクセス ポートのいずれにも、個別の VLAN にポート 1 と 2 を設定するためのマネージド スイッチが必要です。 |
3 および 4 ノード 1 ギガビット イーサネット トポロジの仮想ネットワーク設計
このセクションでは、仮想ネットワーク セットアップについて説明しています。HyperFlex 展開プロセスにより自動で仮想ネットワークがセットアップされるため、アクションは必要ありません。これらの詳細は、情報およびトラブルシューティング目的で下記に記載されています。
仮想スイッチ
各 ESXi ホストで推奨される設定では、次のネットワークを切り分ける必要があります。
-
管理トラフィック ネットワーク
-
データ トラフィック ネットワーク
-
vMotion ネットワーク
-
VM ネットワーク
最小ネットワーク構成では、最小限で次の 2 つの個別ネットワークが必要です。
-
管理ネットワーク(vMotion と VM ネットワークを含む)
-
データ ネットワーク(ストレージ トラフィック用)
それぞれのネットワークに対応する 2 つの vSwitch が必要です。
-
vswitch-hx-inband-mgmt:ESXi 管理 (vmk0)、HyperFlex ストレージ コントローラ管理、VM ゲスト ポートグループ
-
vswitch-hx-storage-data—HyperFlex ESXi ストレージ インターフェイス(vmk1)、HyperFlex ストレージ データ ネットワーク、vMotion(vmk2)。
(注) |
シングル スイッチの設定を使用して HyperFlex Edge を導入すると、ストレージ データ vSwitch および関連付けられたポートグループのフェールオーバー順序(スタンバイ アダプタのみ追加された状態)が表示されます。アクティブ アダプタが不足している場合でも、それが原因でクラスタに機能上の問題が生じることはありません。フェールオーバー順序はインストール プロセスで設定された順序のままにしておくことを推奨します。 |
ネットワーク トポロジ: デュアル スイッチの設定
ネットワーク トポロジ: シングル スイッチの設定
フェールオーバー順序: -デュアルスイッチ設定のみ:
vswitch-hx-inband-mgmt:2 つのアップリンク上で、vSwitch 全体がアクティブ/スタンバイに設定されます。デフォルトでは、すべてのサービスが 1 つのアップリンク ポートを使用し、必要に応じてフェールオーバーされます。VM ポートグループのフェールオーバー順序は、必要に応じて、かつより適切なロード バランシングになるようにオーバーライドできます。
vswitch-hx-storage-data:HyperFlex ストレージ データ ネットワークと vmk1 は、同じアクティブ/スタンバイ順序に設定されます。post_install スクリプトを使用して設定されている場合、vMotion VMKernel ポートは反対の順序を使用するように設定されます。これにより、直接接続リンクの完全な使用率が確保されます。
1 ギガビット イーサネット スイッチ設定時の注意事項
-
次の条件で最小の 1 VLAN: VMware ESXi 管理、ストレージ コントローラ VM 管理および Cisco IMC 管理。
-
VMware ESXi 管理およびストレージ コントローラ VM 管理は、同じサブネットおよび VLAN に存在する必要があります
-
専用 Cisco IMC 管理ポートは、上記の管理インターフェイスと同じ VLAN を共有できます。または、オプションで専用サブネットおよび VLAN を使用できます。別の VLAN を使用している場合、L3 接続が上記の管理 VLAN に必要です。また、Intersight 接続要件を満たす必要があります (Cisco Intersight による管理)。
-
-
Cisco HyperFlex のストレージ トラフィック用 1 VLAN これは、独立した、またはルーティングされていない VLAN である必要があります。固有である必要があり、管理 VLAN と重複することはできません。
(注)
管理 VLAN と 2 番目のデータ VLAN の両方の必要性を縮小したり、なくしたりすることはできません。このインストールが試行された場合は失敗します。
-
ゲスト VM トラフィックには、追加の VLAN が必要です。これらの VLAN は、ESXi の追加ポートグループとして設定され、すべての接続を ToR スイッチにトランクする必要があります。
-
これらの追加ゲスト VM VLAN はオプションです。シンプルなネットワーク設計の維持を望む環境では、ゲスト VM トラフィックに上記の同じ管理 VLAN を使用できます。
-
-
Intel i350 に接続されているスイッチポートは、パスが許可された適切な VLAN を使用して、トランク モードで設定する必要があります。
-
専用 Cisco IMC 管理ポートに接続されているスイッチポートは、適切な VLAN で「アクセス モード」で設定する必要があります。
-
VMware vMotion トラフィックは、次の 2 つのパスのいずれかに従います。
-
デュアル スイッチ トポロジ: vMotion は、ストレージ データ ネットワークとは反対のフェールオーバー順序を使用し、ネットワーク障害が発生しない場合は専用の 1GE パスを使用します。Post_install スクリプトを使用すると、正しい vSwitch の VMkernel インターフェイスが正しいフェールオーバー設定でセットアップされます。ESXi で新しいインターフェイスが作成される (vmk2) ため、専用の VLAN が必要です。
-
シングル スイッチ トポロジ: vMotion は、管理ネットワークと共有されます。Post_install スクリプトを使用すると、デフォルトのトラフィック シェーパーを持つ新しい ESX インターフェイス (vmk2) で、vMotion がリンクを完全に飽和状態にならないようにします。新しいインターフェイスが作成されるため、専用の VLAN が必要です。
VMware vMotion トラフィックの詳細については、『Cisco HyperFlex Edge 展開ガイド』の「インストール後のタスク」の項を参照してください。
-
-
スパニング ツリー PortFast トランク (トランク ポート) は、すべてのネットワーク ポートで有効にする必要があります。
(注)
PortFast の設定に失敗すると、ESXi の起動時に断続的に切断され、物理リンク障害時に必要なネットワークの再コンバージェンスよりも長く時間がかかります。
1 ギガビット イーサネットのジャンボ フレーム
通常、ジャンボ フレームは、ネットワーク上で送信されるパケット数を減らし、効率を向上させるために使用されます。以下では、10GE トポロジでジャンボ フレームを使用する際のガイドラインについて説明します。
-
ジャンボ フレームを有効にするオプションは、最初のインストール中にのみ提示され、後で変更することはできません。
-
ジャンボ フレームは不要です。ジャンボ フレームをオプトアウトする場合は、すべてのネットワーク スイッチで MTU を 1500 バイトに設定したままにします。
-
最適なパフォーマンスのために、ジャンボ フレームをオプションで有効にできます。フル パス MTU が 9000 バイト以上であることを確認します。ジャンボ フレームを有効にする場合は、次の点に注意してください。
-
デュアル スイッチ セットアップを実行する場合、すべてのスイッチ インターコネクトおよびスイッチ アップリンクでジャンボ フレームが有効であることが不可欠です。フル パス MTU を確認しないと、リンクまたはスイッチの失敗後、トラフィックのパスが許可されない場合にクラスタがオフになる可能性があります。
-
HyperFlex インストーラは、ノードのいずれかでスタンバイ リンクを使用するため、フェールオーバーを強制する初期展開で、ワンタイム テストを実行します。スイッチのケーブル接続が適切に行われている場合、エンドツーエンド パス MTU をテストします。障害が検出された場合、この警告をバイパスしないでください。問題を修正し、インストーラを再試行して、検証チェックに合格するようにしてください。
-
これらの理由と削除が複雑なため、デュアル スイッチ セットアップを使用する場合はジャンボ フレームを無効にすることをお勧めします。
-
-
ジャンボ フレームを有効にするためのオプションは、ネットワーク設定ポリシーの下の HyperFlex クラスタ プロファイルの下にあります。ボックスをチェックすると、ジャンボ フレームが有効になります。ボックスをチェックしないと、ジャンボ フレームは無効のままになります。
次の手順:
ネットワークの共通要件チェックリストを完了します。