Microsoft Hyper-V を使用する仮想サーバ インフラストラクチャ Cisco HyperFlex 3.0

Cisco HyperFlex 3.0 Microsoft Hyper-V ハイパーバイザ、Cisco UCS 6000 ファブリック インターコネクト、および Cisco HyperFlex データ プラットフォーム ソフトウェアを使用した仮想サーバ インフラストラクチャ向け導入ガイド

NOTE: Works with document’s Advanced Properties “First Published” property. Click File | Properties | Advanced Properties | Custom.

最終更新日時： 2018 年 10 月 17 日

NOTE: Works with document’s Advanced Properties “Last Updated” property. Click File | Properties | Advanced Properties | Custom.

 

 

Cisco Validated Design プログラムについて

Cisco Validated Design（CVD）プログラムは、お客様による信頼性の高い、確実かつ速やかな展開を容易にするために、デザイン、テスト、および文書化されたシステムおよびソリューションで構成されています。詳細は次の URL を参照してください。

http://www.cisco.com/jp/go/designzone

このマニュアルに記載されているデザイン、仕様、表現、情報、および推奨事項（総称して「デザイン」）は、本マニュアル作成時点における、障害も含めた「現状のまま」として提供されます。 シスコ及びそのサプライヤは、商品性の保証、特定目的への準拠の保証、及び権利を侵害しないことに関する保証、あるいは取引過程、使用、取引慣行によって発生する保証をはじめとする、一切の保証責任を負わないものとします。 いかなる場合においても、シスコ及びそのサプライヤは、このデザインを使用すること、または使用できないことによって発生する利益の損失やデータの損傷をはじめとする、間接的、派生的、偶発的、あるいは特殊な損害について、あらゆる可能性がシスコまたはそのサプライヤに知らされていたとしても、それらに対する責任を一切負わないものとします。

デザインは予告なしに変更されることがあります。 このマニュアルに記載されているデザインの使用は、すべてユーザ側の責任になります。 これらのデザインは、シスコ、シスコのサプライヤ、またはシスコのパートナーからの技術的な助言や他の専門的な助言に相当するものではありません。 ユーザは、デザインを実装する前に技術アドバイザに相談してください。 シスコによるテストの対象外となった要因によって、結果が異なることがあります。

CCDE、CCENT、Cisco Eos、Cisco Lumin、Cisco Nexus、Cisco StadiumVision、Cisco TelePresence、Cisco WebEx、Cisco ロゴ、DCE、Welcome to the Human Network は商標です。Changing the Way We Work, Live, Play, and Learn、および Cisco Store はサービス マークです。Access Registrar、Aironet、AsyncOS、Bringing the Meeting To You、Catalyst、CCDA、CCDP、CCIE、CCIP、CCNA、CCNP、CCSP、CCVP、Cisco、Cisco Certified Internetwork Expert ロゴ、Cisco IOS、Cisco Press、Cisco Systems、Cisco Systems Capital、Cisco Systems ロゴ、Cisco Unified Computing System（Cisco UCS）、Cisco UCS B-Series Blade Servers、Cisco UCS C-Series Rack Servers、Cisco UCS S-Series Storage Servers、Cisco UCS Manager、Cisco UCS Management Software、Cisco Unified Fabric、Cisco Application Centric Infrastructure、Cisco Nexus 9000 Series、Cisco Nexus 7000 Series。Cisco Prime Data Center Network Manager、Cisco NX-OS Software、Cisco MDS Series、Cisco Unity、Collaboration Without Limitation、EtherFast、EtherSwitch、Event Center、Fast Step、Follow Me Browsing、FormShare、GigaDrive、HomeLink、Internet Quotient、IOS、iPhone、iQuick Study、LightStream、Linksys、MediaTone、MeetingPlace、MeetingPlace Chime Sound、MGX、Networkers、Networking Academy、Network Registrar、PCNow、PIX、PowerPanels、ProConnect、ScriptShare、SenderBase、SMARTnet、Spectrum Expert、StackWise、The Fastest Way to Increase Your Internet Quotient、TransPath、WebEx、および WebEx ロゴは Cisco Systems, Inc. またはその関連会社の米国および一部の国における登録商標です。

本書または Web サイトにおけるその他の商標は、第三者の知的財産です。パートナーという言葉が使用されていても、シスコとその他の会社とのパートナーシップを示すものではありません（0809R）。

© 2018 Cisco Systems, Inc. All rights reserved.

 

目次

エグゼクティブ サマリー.. 8

ソリューション概要.. 9

はじめに.. 9

対象読者.. 10

このドキュメントの使用目的.. 10

ソリューションの概要.. 10

テクノロジーの概要.. 12

Cisco Unified Computing System.. 12

Cisco UCS ファブリック インターコネクト.. 12

Cisco UCS 6248UP ファブリック インターコネクト. 13

Cisco UCS 6296UP ファブリック インターコネクト. 13

Cisco UCS 6332 ファブリック インターコネクト. 14

Cisco UCS 6332-16UP ファブリック インターコネクト. 14

HyperFlex HX シリーズ ノード.. 14

Cisco HyperFlex HXAF220c-M5SX オールフラッシュ ノード. 15

Cisco HyperFlex HXAF240c-M5SX オールフラッシュ ノード. 15

Cisco HyperFlex HX220c-M5SX ハイブリッド ノード. 15

Cisco HyperFlex HX240c-M5SX ハイブリッド ノード. 16

Cisco VIC 1387 MLOM インターフェイス カード. 16

オールフラッシュとハイブリッド.. 17

Cisco HyperFlex データ プラットフォーム ソフトウェア.. 17

Cisco HyperFlex Connect HTML5 対応の管理 Web ページ.. 18

Cisco Intersight クラウド ベースの管理.. 19

HX データ プラットフォーム コントローラ.. 20

データの処理と配信.. 20

ソリューションの設計.. 24

要件.. 24

物理コンポーネント. 24

ソフトウェア コンポーネント. 27

ライセンス.. 28

考慮事項.. 29

バージョン管理.. 29

Microsoft Windows Active Directory. 29

拡張性.. 29

キャパシティ. 30

物理トポロジ.. 31

トポロジ概要.. 31

ファブリック インターコネクト. 32

HX シリーズ ラックマウント サーバ.. 33

論理トポロジ.. 34

論理ネットワークの設計.. 34

設計の要素.. 35

ネットワークの設計.. 35

Cisco UCS の設計.. 37

Cisco UCS システム構成.. 37

Cisco UCS LAN ポリシー.. 38

Cisco UCS サーバ ポリシー.. 45

Cisco UCS サービス プロファイル テンプレート. 51

Microsoft Hyper-V ホストの設定.. 51

仮想ネットワーキング設計.. 52

Discrete Device Assignment（I/O パススルー）. 54

ストレージ プラットフォーム コントローラ VM.. 54

Installation. 58

Prerequisites. 58

IP Addressing. 58

Configure the Active Directory for Constrained Delegation. 61

Prepopulate AD DNS with Records. 62

NTP. 64

VLANs. 64

Network Uplinks. 65

Usernames and Passwords. 66

Physical Installation. 66

Cabling. 67

Cisco UCS Installation. 69

Cisco UCS Fabric Interconnect A. 69

Cisco UCS Fabric Interconnect B. 70

Cisco UCS Manager 71

Cisco UCS Configuration. 72

Cisco UCS Firmware. 72

NTP. 72

Uplink Ports. 72

Uplink Port Channels. 73

Server Ports. 74

Server Discovery. 75

Deploying HX Data Platform Installer on Hyper-V Infrastructure. 76

Assign a Static IP Address to the HX Data Platform Installer VM.. 79

HyperFlex Installation. 80

HyperFlex Installation - Phase 1. 81

HyperFlex Installation - Phase 2. 86

Post Installation Tasks. 95

Create Datastores. 95

Constrained Delegation (Optional) 96

Assign IP Addresses to Live Migration and VM Network Interfaces. 99

Rename the Cluster Network in Windows Failover Cluster - Optional 100

Configure the Windows Failover Cluster Network Roles. 102

Configure the Windows Failover Cluster Network for Live Migration. 102

Create Folders on the HX Datastore. 104

Configure the Default Folder to Store VM Files on Hyper-V. 104

Validate the Windows Failover Cluster Configuration. 105

Configure Quorum in Windows Server Failover Cluster 106

Initial Tasks and Testing. 107

Ready Clones. 107

Auto-Support and Notifications. 108

Smart Licensing. 110

Management 113

HyperFlex Connect 113

Dashboard. 114

Monitor 114

Analyze. 115

Manage. 115

Microsoft Hyper-V Manager 118

Change the Default Location to Store the VM Files using Hyper-V Manager 119

Create Virtual Machines using Hyper-V Manager 121

Windows Failover Cluster Manager 123

Microsoft System Center Virtual Machine Manager 2016. 127

Create Run-As Account for Managing the Hyper-V Cluster 127

Manage Servers and Clusters. 127

Networking. 130

Storage. 131

Create a VM using SCVMM.. 133

Microsoft Windows Admin Center (WAC) 138

Connecting to Managed Nodes and Clusters. 139

Manage Servers with WAC. 141

Manage a Failover Cluster with WAC. 142

Appendix. 144

A: Cluster Capacity Calculations. 144

B: Install Microsoft Windows Server 2016. 144

About the Authors. 154

Acknowledgements. 154

 

日本語は部分翻訳のみ、全文は英語版を参照下さい。

https://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/UCS_CVDs/hyperflex_3_0_hyperv.html

 

ほとんどの IT 環境で仮想環境が利用、拡大化されています。これに伴い、これまで仮想化コンピューティング プラットフォームと同レベルの簡易性、柔軟性、迅速な導入が難しかった IT プラットフォームは見直されています。特にネットワークとストレージ システムは、ハイパーバイザや仮想サーバのような俊敏性に欠けていました。シスコは Cisco HyperFlex を市場に送り出すことで、現代のデータセンターでハイパーコンバージェンスを劇的に強化しました。

Cisco HyperFlex システムは Cisco UCS プラットフォームをベースにしており、Cisco UCS ファブリック インターコネクトを通じて、Cisco HX シリーズ x86 サーバと統合ネットワーク テクノロジーを単一の管理ドメインに取り入れます。これには、業界をリードする Microsoft の仮想化ハイパーバイザ ソフトウェアと、次世代のソフトウェア デファインド ストレージ技術も含まれます。この組み合わせにより、すべてのインフラスタックが統合された仮想化プラットフォームが構築され、ゲスト仮想マシン（VM）のネットワーク接続が容易になります。その際、VM を配置する分散ストレージをすべての Cisco UCS x86 サーバに配置する、あるいは特定のストレージまたはネットワーキング コンポーネントを使用します。HyperFlex は、ログベース ファイル システム独自のストレージ機能により、従来のようなパフォーマンスへのマイナス影響や、VM スナップショットのためにインラインデータの重複排除と圧縮を行うことなく、迅速に複製できます。ソリューションの設定、導入、管理、監視作業はすべて、Cisco UCS Manager や Microsoft Hyper-V Manager などの Cisco UCS および Microsoft 用の既存のツール、PowerShell、SCVMM、および Cisco HyperFlex Connect や Cisco Intersight などの新たに統合された HTML ベースの管理ツールで実行できます。このように高度なテクノロジー スタックを、迅速に導入可能でシンプルな単一ソリューションに統合したことで、Cisco HyperFlex は真の次世代ハイパーコンバージド プラットフォームになっています。

はじめに

Cisco HyperFlex システムは、冗長化・拡張性を考慮した Cisco UCS シリーズ x86 ラック サーバの上に、ハイパーバイザ ホスト、ネットワーク接続、仮想サーバ ストレージを 1 つのインフラで提供し、よりスマートで使いやすい仮想化サーバ プラットフォームを実現します。従来のデータセンターは各種の独立したテクノロジーに依存、積み上げて構成されており、エンドポイントを接続してイーサネット ネットワーク トラフィックを転送するネットワーク スイッチや、専用のストレージ アレイ ネットワーク（SAN）を通じてブロック ベースのストレージを提供するファイバ チャネル（FC）ストレージ アレイなど、それぞれが別個に特化した機能を実行していました。これらのシステムには、ハードウェア、接続性、管理ツール、運用上の知識、監視、継続的なサポート（製品ライフタイム）など、それぞれに固有の要件があります。そのため、従来の仮想サーバ環境は一般的に「サイロ」と呼ばれ、個別にシステム化されています。その中では特定範囲のアプリケーションのみが運用され、ソフトウェア ツールやサポート スタッフが関連付けられていました。サイロは、x86 コンピューティング ハードウェア、それら x86 サーバのネットワーク接続、SAN 接続、ストレージ端末のプレゼンテーション、ハイパーバイザおよび仮想プラットフォーム管理、そしてゲスト VM 自体とその OS やアプリケーションなどに分割されます。このモデルは柔軟性に乏しく、移動も困難で、運用上の非効率が多数発生する可能性があります。

そこで、コンバージド インフラストラクチャという、より現代的なデータセンター システム化モデルが開発されました。コンバージド インフラストラクチャは、これらのテクノロジーを単一環境として統合することで従来のサイロを解消し、各テクノロジーが定義・検証済みの設計で運用されるようにします。コンバージド インフラストラクチャの主要なコンポーネントは、x86 ラック サーバ・ブレード サーバで筐体・モデルの違いを意識する必要がない組み合わせと、Cisco UCS プラットフォームによって実現する、コンバージド イーサネットとファイバ チャネルによるネットワーキングでした。コンバージド インフラストラクチャでは、Cisco UCS と新しい導入ツール、管理ソフトウェア、自動化プロセス、オーケストレーション ツールを使用することで、従来環境における困難な課題を大幅に克服しています。こうした新しいツールにより、システムの継続的な管理と運用を少数のスタッフで実施できるようになり、ビジネス ニーズに応じてアプリケーション サービスをさらに迅速に導入しながら、最高度の柔軟性と最大限のパフォーマンスを実現できます。シスコは多様なストレージ パートナーとともに、Cisco FlexPod、FlashStack、VersaStack、VxBlock アーキテクチャなどの優れたソリューションを開発し、この分野で著しい成功を収めてきました。一方で、コンバージド インフラストラクチャは（特にストレージ サブシステム）と組み合わせるというテクノロジー スタックのため、依然としてサーバとストレージなど複数のチームの管理者に責任が分散される場合がありました。加えて、コンバージド インフラストラクチャではコンポーネントが複雑に組み合わされているという認識があり、要求されるアプリケーション サービスはもっとシンプルなシステムでも十分に対応できると考えられるようになってきました。

ストレージ市場の大きな変化により、ソフトウェア デファインド ストレージ（SDS）システムが注目を集めています。従来の FC ストレージ アレイでは、Fibre Channel Arbitrated Loop（FC-AL）ベースのコントローラやディスクの筐体、最適化された Application Specific Integrated Circuits（ASIC）、読み取り/書き込みデータ キャッシュ モジュール/カードなど、ハードウェアの特殊なサブセットが含まれ、高度にカスタマイズされたソフトウェアによってアレイを運用していました。Serial Attached SCSI（SAS）バス テクノロジーが登場し、その価値が認識されることで、ストレージ アレイ ベンダーはハードウェア アーキテクチャを SAS に移行し始めました。そして最新の x86 プロセッサ アーキテクチャによって処理能力が劇的に増大した結果、カスタム ASIC の使用は激減しています。ディスクが物理的に小型化するにつれ、x86 サーバのラック ユニット（RU）あたりのストレージ密度がアレイ自体と同じになってきました。さらに NAND ベースの SSD の急増により、専用のキャッシュ ドライブに匹敵する入出力（IO）速度で利用できるようになりました。従来の専用ストレージアレイに匹敵するストレージ容量とテクノロジーがサーバ自体に組み込まれたことで、主要な差別化要因は、多数のベンダーが提供するストレージの割り当て、状態表示や管理などを担うソフトウェア・高度な機能へと移りました。そして、それがソフトウェア デファインド ストレージの登場につながりました。そこでは、ストレージ機能を搭載した x86 サーバが、ソフトウェアを実行して効率的に各サーバを連携させることで、従来のアレイと同様のストレージ アレイとして動作します。このような技術集結の結果、一部の主要なストレージ アレイ ベンダー自体がこの分野のパイオニアになり、市場での技術的な転換を認識し、以前のような特殊ハードウェアではなく、ソフトウェア機能によって利益を得ることを目指すようになったのです。

 

先述したように、初期の SDS システムは、コンバージド アーキテクチャ内のレガシー ストレージの部分をサーバに搭載、置き換えるものでした。その中には、SDS ソリューションによって仮想サーバ ハイパーバイザ プラットフォームから独立したストレージ システムが含まれましたが、ネットワークは分離されたままでした。VM をホストするサーバと SDS 環境を提供するサーバが 1 つの物理同サーバであった場合に両方を同時に処理し、2 つの機能を 1 つに統合する、このようなリソースの最終形態が、業界で「ハイパーコンバージド インフラストラクチャ」と呼ばれる組み合わせ方式です。ハイパーコンバージド インフラストラクチャは、サーバのコンピューティング、メモリ、ハイパーバイザ、ストレージ機能を、仮想サーバのプラットフォームとして 1 つに融合させます。ハイパーバイザを実行するサーバが仮想サーバを保存するソフトウェア デファインド ストレージ リソースを提供し、サーバ自体が仮想マシンを効果的に搭載できるため、ストレージ システムを個別に用意する必要がなくなります。現在ではサイロの発生がほぼすべて解消されています。ハイパーコンバージド インフラストラクチャについても、ほぼ完全に自己完結型になり、使いやすく導入・利用が簡単で、柔軟性もある非常に高性能なものになりました。多くのハイパーコンバージド システムのネットワーク部分は x86 サーバ上のオンボードのネットワーク カードや Top-of-Rack 型スイッチなど、標準的なネットワーキング コンポーネントを使用しています。Cisco HyperFlex システムでは、Cisco UCS によるコンピューティングとネットワーキングの統合に、次世代ハイパーコンバージド ストレージ ソフトウェアを組み合わせることで、コンピューティング リソース、ネットワーク接続、ストレージ、ハイパーバイザ プラットフォームを提供し、仮想環境全体を 1 つの統一システム内で稼働させます。

ハイパーコンバージド インフラストラクチャの主な利点としては、導入や日常の管理作業の簡素化に加え、俊敏性の向上による運用コストの低減などが挙げられます。ハイパーコンバージド ストレージは 一般的な IT 管理者でも簡単に管理できるため、専任の管理チームやスキルセットが必要とするストレージ システム導入での、技術面での負担も軽減されます。

対象読者

本書の対象読者としては、セールス エンジニア、フィールド コンサルタント、プロフェッショナル サービス、IT マネージャ、パートナー エンジニアリング、および Cisco HyperFlex システムを導入するお客様などが挙げられます。該当詳細・補足情報について一部は、外部参照を示していますが、読者は、Microsoft 固有のテクノロジー、インフラストラクチャの概念、ネットワーク接続、およびインストール環境のセキュリティ ポリシーについて十分な知識を持っていることを前提としています。

このドキュメントの使用目的

本書では、Microsoft Hyper-V ハイパーバイザを使用する Cisco HyperFlex システムの導入、設定、管理に必要な手順を説明します。本書の内容は、本書内で指定されるソフトウェア、ハードウェア、ファームウェア バージョンを使用した、既知のベスト プラクティスに基づいています。そのため、記載バージョン以降での推奨事項やベスト プラクティスは修正される可能性があります。本書では、標準的なお客様のデータセンター環境における Hyper-V を使用する Cisco HyperFlex のインストールと設定について説明します。本書の読者には、使用される製品のインストールと設定に関する知識を持っていることが前提で記載されていますが、ソリューション導入で重要になる設定については本書でも詳細に説明されます。

ソリューションの概要

Cisco HyperFlex システムは、サーバおよびメモリ リソース、統合されたネットワーク接続、VM ストレージ用の高性能の分散ログ ファイル システム、仮想化サーバ用のハイパーバイザ ソフトウェア、これらが単一の Cisco UCS 管理ドメインに統合された、完結型の仮想サーバ プラットフォームです。

図 1       Cisco HyperFlex システムの概要

以下に、Microsoft Hyper-V をハイパーバイザとして使用する Cisco HyperFlex システムのコンポーネントを示します。

·         次のモデルから 1 組の Cisco UCS ファブリック インターコネクトを選択できます。

-         Cisco UCS 6248UP ファブリック インターコネクト

-         Cisco UCS 6296UP ファブリック インターコネクト

-         Cisco UCS 6332 ファブリック インターコネクト

-         Cisco UCS 6332-16UP ファブリック インターコネクト

·         次のモデルから 3 ～ 8 台の HyperFlex HX シリーズ ラックマウント サーバを選択できます。

-         Cisco HyperFlex HX220c-M5SX ラックマウント サーバ

-         Cisco HyperFlex HX240c-M5SX ラックマウント サーバ

-         Cisco HyperFlex HXAF220c-M5SX オールフラッシュ ラック サーバ

-         Cisco HyperFlex HXAF240c-M5SX オールフラッシュ ラック サーバ

·         Cisco HyperFlex データ プラットフォーム ソフトウェア

·         Microsoft Windows Server 2016 Hyper-V ハイパーバイザ

·         Microsoft Windows Active Directory および DNS サービス、RSAT ツール（エンドユーザ提供）

·         SCVMM – オプション（エンドユーザ提供）

Cisco Unified Computing System

Cisco Unified Computing System（Cisco UCS）は、コンピューティング、ネットワーク、およびストレージ アクセスを統合した次世代のデータ センター プラットフォームです。仮想環境向けに最適化されており、業界標準のオープン テクノロジーを利用して設計されたもので、総所有コスト（TCO）の削減とビジネスの俊敏性強化を目的としています。システムでは、低遅延のロスレス 10 ギガビット イーサネットまたは 40 ギガビット イーサネットによるネットワーク ファブリックと、エンタープライズクラスの x86 アーキテクチャ サーバを統合します。これはすべてのリソースが単一の管理ドメインに集約された、統合型の拡張性に優れたマルチシャーシ対応のプラットフォームです。

Cisco Unified Computing System の主要なコンポーネント：

·         コンピューティング：Intel Xeon プロセッサをベースとしたラック サーバとブレード サーバのどちらもシステムに組み込んだ、まったく新しいクラスのコンピューティング システムをベースとする設計。

·         ネットワーク：低遅延でロスレスの 10 Gbps または 40 Gbps ユニファイド ネットワーク ファブリックに統合。このネットワーク基盤は、LAN や SAN のほか、他のネットワークと分離るハイパフォーマンス コンピューティング ネットワークも統合します。ユニファイド ファブリックにより、ネットワーク アダプタ、スイッチやケーブルの数が減少し、電力と冷却の要件が緩和されるため、コスト削減につながります。

·         仮想化：仮想環境のスケーラビリティ、パフォーマンス、および運用制御を強化することで、仮想化の可能性を最大限に活用。シスコのセキュリティ、ポリシー適用、および診断機能は仮想化環境にまで拡張されており、変化するビジネス要件や IT 要件により適切に対応できます。

·         ストレージ アクセス：ユニファイド ファブリックによって SAN ストレージとネットワーク接続ストレージ（NAS）へのアクセスを統合。ストレージ アクセスを統合することにより、Cisco Unified Computing System ではイーサーネット、ファイバ チャネル、Fibre Channel over Ethernet（FCoE）、iSCSI を使用してストレージへアクセスできます。お客様は、ストレージ プロトコルと物理アーキテクチャを選択し、投資の保護を強化できます。さらに、サーバ管理者はシステムからストレージ リソースへの接続に関するストレージ アクセス ポリシーを事前に割り当てられるため、ストレージの接続と管理が簡素化され、生産性も向上します。

·         管理：あらゆるシステム コンポーネントを統合し、ソリューション全体を 1 つの管理対象として Cisco UCS Manager（UCSM）から管理可能。Cisco UCS Manager には、直感的なグラフィカル ユーザ インターフェイス（GUI）、コマンドライン インターフェイス（CLI）、堅牢なアプリケーション プログラミング インターフェイス（API）が装備され、すべてのシステム構成と運用を管理できます。

Cisco Unified Computing System の設計には、次のような特長があります。

·         総所有コストの削減とビジネスの俊敏性の向上

·         ジャストインタイムのプロビジョニングとモビリティのサポートによる、IT スタッフの生産性の向上

·         データセンター内のテクノロジーの一元化を可能にする、緊密に統合されたシステム。このシステムは、全体として管理、保守、テストを実施できます。

·         数百台の個別サーバと数千台の仮想マシンに対応する設計と要件に合わせて I/O 帯域幅を拡張できる拡張性

·         業界のリーダー企業のパートナー エコシステムによって支えられている業界標準を提供

Cisco UCS ファブリック インターコネクト

Cisco UCS ファブリック インターコネクト（FI）は、Cisco Unified Computing System の中核を成す製品であり、システムのネットワーク接続と管理機能の両方を提供します。選択したモデルに応じて、Cisco UCS ファブリック インターコネクトは、ラインレート、低遅延、ロスレス 10 ギガビットまたは 40 ギガビット イーサネット、Fibre Channel over Ethernet（FCoE）、ファイバ チャネル接続を提供します。Cisco UCS ファブリック インターコネクトは、Cisco UCS C シリーズ、
S シリーズ、HX シリーズのラックマウント サーバ、Cisco UCS B シリーズ ブレード サーバ、Cisco UCS 5100 シリーズ ブレード サーバ シャーシの管理および通信のバックボーンになります。Cisco UCS ファブリック インターコネクトに接続されるすべてのサーバとシャーシ、つまりすべてのブレードが一体となり、可用性の高い単一の管理ドメインを形成します。さらに、Cisco UCS ファブリック インターコネクトはユニファイド ファブリックをサポートしているため、ドメイン内のすべてのサーバが LAN と SAN の両方に接続できます。

ネットワーキングの観点から見ると、Cisco UCS 6200 シリーズはカットスルー アーキテクチャを使用しています。そのためパケット サイズや対応サービスに依存せず、全ポートで低遅延のラインレート 10 ギガビット イーサネット（最大 1.92 Tbps のスイッチング容量、シャーシあたり 160 Gbps の帯域幅）をサポートします。この製品ファミリでは、シスコの低遅延でロスレスの 10 ギガビット イーサネット ユニファイド ネットワーク ファブリック機能をサポートし、これによりイーサネット ネットワークの信頼性、効率性、拡張性が向上します。ファブリック インターコネクトは、サーバからアップリンクまで、イーサネット ファブリック上で複数のトラフィック クラスをサポートします。ネットワーク インターフェイス カード（NIC）、ホスト バス アダプタ（HBA）、ケーブル、スイッチを統合可能な FCoE が最適化されたサーバ設計によって、TCO を大幅に削減できます。

Cisco UCS 6300 シリーズは 6200 シリーズと同じ機能を提供しながら、最大 2.56 Tbps のスイッチング容量を備え、さらに高いパフォーマンス、低遅延、ロスレス、ラインレートの 40 ギガビット イーサネットをサポートします。40 Gbps クワッド SFP（QSFP）ポートを 4x10GbE ブレークアウト ケーブルを使用したブレークアウト ポートとして設定でき、下位互換性と拡張性が確保されています。10GbE インターフェイスを備えた既存の Cisco UCS サーバをこの方法で接続できますが、Cisco HyperFlex ノードでは、Cisco UCS 6300 シリーズ ファブリック インターコネクトに接続する場合に、40GbE VIC アダプタを使用する必要があります。 

Cisco UCS 6248UP ファブリック インターコネクト

Cisco UCS 6248UP ファブリック インターコネクトは、1 ラック ユニット（1RU）の 10 ギガビット イーサネット、FCoE、およびファイバ チャネル スイッチで、最大 960 Gbps のスループットと最大 48 個のポートを提供します。このスイッチは、32 個の 1/10 Gbps 固定イーサネット、FCoE、または 1/2/4/8 Gbps FC ポートと、1 つの拡張スロットを備えています。

図 2       Cisco UCS 6248UP ファブリック インターコネクト

Cisco UCS 6296UP ファブリック インターコネクト

Cisco UCS 6296UP ファブリック インターコネクトは、2 ラック ユニット（2RU）の 10 ギガビット イーサネット、FCoE、およびネイティブ ファイバ チャネル スイッチで、最大 1920 Gbps のスループットと最大 96 個のポートを提供します。このスイッチは、48 個の 1/10 Gbps 固定イーサネット、FCoE、または 1/2/4/8 Gbps FC ポートと、3 つの拡張スロットを備えています。

図 3       Cisco UCS 6296UP ファブリック インターコネクト

Cisco UCS 6332 ファブリック インターコネクト

Cisco UCS 6332 ファブリック インターコネクトは、1 ラック ユニット（1RU）の 40 ギガビット イーサネット、FCoE スイッチで、最大 2560 Gbps のスループットを提供します。32 個の 40 Gbps 固定イーサネットと FCoE ポートが搭載されています。最大 24 個のポートを 4x10Gbps ブレークアウト ポートとして設定することで、最大 96 個の 10-Gbps ポートとしても利用できます。

図 4       Cisco UCS 6332 ファブリック インターコネクト

Cisco UCS 6332-16UP ファブリック インターコネクト

Cisco UCS 6332-16UP ファブリック インターコネクトは、1 ラック ユニット（1RU）の 10/40 ギガビット イーサネット、FCoE、ネイティブ ファイバ チャネル スイッチで、最大 2430 Gbps のスループットを提供します。このスイッチは 24 個の 40-Gbps 固定イーサネットと FCoE ポートに加え、16 個の 1/10-Gbps 固定イーサネット、FCoE、または 4/8/16 Gbps FC ポートを備えています。最大 18 個の 40-Gbps ポートを 4x10Gbps ブレークアウト ポートとして設定することで、最大 88 個の 10-Gbps ポートとしても利用できます。

図 5       Cisco UCS 6332-16UP ファブリック インターコネクト

HyperFlex HX シリーズ ノード

HyperFlex クラスタには（ディスク ストレージと共に）最低 3 つの HX シリーズ「コンバージド」ノードが必要です。データはこれらのうち最低 2 つのノードで複製され、3 番目のノードは単一ノードの障害時に運用を継続する上で必要になります。各ノードのディスク ストレージには 1 台の高性能 SSD ドライブが搭載されており、データ キャッシュと書き込み要求への迅速な応答（ACK）を可能にしています。また各ノードには、長期的なストレージと容量に対応するために、プラットフォームの物理スロット数に応じてディスク追加も可能です。

Cisco HyperFlex HXAF220c-M5SX オールフラッシュ ノード

1RU の設置スペースの小さい Cisco HyperFlex オールフラッシュ モデルには、ブート ドライブとして機能する 240 GB M.2 フォーム ファクタ ソリッド ステート ディスク（SSD）、240 GB ハウスキーピング SSD ドライブ、単一の 375 GB Optane NVMe SSD、1.6 TB NVMe SSD または 400 GB SAS SSD 書き込みログ ドライブのいずれか、および
6 ～ 8 台の 960 GB または 3.8 TB SATA SSD ドライブがストレージ容量として含まれています。自己暗号化ドライブを利用する構成では、キャッシュ SSD を 800 GB SAS SED SSD、容量ディスクを 800 GB、960 GB または 3.8 TB のいずれかの SAS SED SSD でも構成できます。

図 6       HXAF220c-M5SX オールフラッシュ ノード

Cisco HyperFlex HXAF240c-M5SX オールフラッシュ ノード

2RU の最適化された容量の Cisco HyperFlex オールフラッシュ モデルには、ブート ドライブとして機能する 240 GB M.2 フォーム ファクタ ソリッド ステート ディスク（SSD）、240 GB ハウスキーピング SSD ドライブ、背面のホットスワップ可能なスロットに取り付けられた単一の 375 GB Optane NVMe SSD、1.6 TB NVMe SSD または 400 GB SAS SSD 書き込みログ ドライブのいずれか、および 6 ～ 23 台の 960 GB または 3.8 TB SATA SSD ドライブがストレージ容量として含まれています。自己暗号化ドライブを利用する構成では、キャッシュ SSD を 800 GB SAS SED SSD、容量ディスクを 800 GB、960 GB または 3.8 TB のいずれかの SAS SED SSD でも構成できます。

図 7       HXAF240c-M5SX ノード

Cisco HyperFlex HX220c-M5SX ハイブリッド ノード

1RU の設置スペースの小さい Cisco HyperFlex ハイブリッド モデルには、クラスタのストレージとして使用される
6 ～ 8 台の 1.8 TB または 1.2 TB SAS ハード ディスク ドライブ（HDD）、240 GB SSD ハウスキーピング ドライブ、480 GB または 800 GB SSD キャッシュ ドライブ、およびブート ドライブとして機能する 240 GB M.2 フォーム ファクタ SSD が含まれています。自己暗号化ドライブを利用する構成では、キャッシュ SSD を 800 GB SAS SED SSD に、容量ディスクを 1.2TB SAS SED HDD で構成できます。

図 8       HX220c-M5SX ノード

Cisco HyperFlex HX240c-M5SX ハイブリッド ノード

2RU の最適化された容量の Cisco HyperFlex ハイブリッド モデルには、クラスタのストレージとして使用される
6 ～ 23 台の 1.8 TB または 1.2 TB SAS スモール フォーム ファクタ（SFF）ハード ディスク ドライブ（HDD）、
240 GB SSD ハウスキーピング ドライブ、背面のホットスワップ可能なスロットに取り付けられた単一の 1.6 TB SSD キャッシュ ドライブ、およびブート ドライブとして機能する 240 GB M.2 フォーム ファクタ SSD が含まれています。
自己暗号化ドライブを利用する構成では、キャッシュ SSD を 1.6 TB SAS SED SSD に、容量ディスクを 1.2TB SAS SED HDD で構成できます。

図 9       HX240C-M5SX ノード

Cisco VIC 1387 MLOM インターフェイス カード

Cisco UCS VIC 1387 カードは、Cisco UCS HX シリーズ ラック サーバに搭載可能なカードで、拡張された着脱可能クワッド小型フォームファクタ（QSFP+）の 40 Gbps イーサネットおよび Fibre Channel over Ethernet（FCoE）対応のポートを 2 ポート搭載した、PCI Express（PCIe）モジュール型 LAN On Motherboard（mLOM）アダプタです。VIC 1387 は、Cisco UCS 6332 または 6332-16UP モデルのファブリック インターコネクトとの接続に利用します。

mLOM スロットを使用すれば PCIe スロットを使用せずに Cisco VIC を構成できるため、I/O の拡張性が向上します。シスコの次世代統合型ネットワーク アダプタ（CNA）テクノロジーを取り入れることで、将来の機能リリースにおける投資を保護します。このカードにより、ポリシーベースでステートレス、かつ俊敏性に優れたサーバ インフラストラクチャが実現します。PCIe 標準準拠のインターフェイスを最大 256 個までホストに提供可能で、ネットワーク インターフェイス カード（NIC）またはホスト バス アダプタ（HBA）として動的に構成できます。インターフェイスの特性は、サーバに関連付けられたサービス プロファイルを使用したプログラミングによって設定されます。サービス プロファイルでは、PCIe インターフェイスの番号、タイプ（NIC または HBA）、ID（MAC アドレスおよび World Wide Name（WWN））、フェールオーバー ポリシー、アダプタ設定、帯域幅、Quality of Service（QoS）ポリシーを指定できます。

図 10     Cisco VIC 1387 mLOM カード

オールフラッシュとハイブリッド

HyperFlex ハイブリッドシステムでは、一次ストレージ キャッシュ層では SSD を使用し、長期ストレージ データストア層では HDD を使用するハイブリッド コンバージド ノードが特徴でした。ハイブリッド HyperFlex システムは、エントリまたはミッドレンジのストレージソリューションに適しています。ハイブリッド ソリューションは、ディスクの高パフォーマンスがあまり重要視されない多くの仮想環境に導入されています。一方で、高パフォーマンスが要求されるクリティカルなアプリケーション用途での導入も大幅に増えています。高パフォーマンスが要求される用途でハイブリッド HyperFlex システムを使うことの課題は、ストレージ遅延の増大による影響を受けやすいことです。ハード ディスクの物理特性により、遅延の増大がボトルネックになることは避けられません。理想的には、すべてのストレージ運用がキャッシュ SSD 層で行われれば、ハイブリッド システムのパフォーマンスは非常に高くなります。しかしシナリオによっては、読み書きされるデータ量がキャッシュ層の容量を超過し、HDD データストア層の負荷が増加して遅延も増大し、パフォーマンスが低下します。

HyperFlex オールフラッシュシステムでは、遅延の影響を受けやすい、高パフォーマンスを必要とする用途に最適です。
フラッシュに最適化された専用の高パフォーマンス ログファイル システムを備えた HyperFlex オールフラッシュシステムでは、次のことが実現されます。

·         HyperFlex オール フラッシュのすべての仮想マシンで安定した高パフォーマンスを実現

·         Microsoft SQL や Oracle などのデータ集約型のアプリケーションやデータベースで、高い安定性と低遅延を
実現

·         フラッシュ メモリ構成に適した、将来を見越したアーキテクチャ：

-         クラスタ全体の SSD をプーリングすることでパフォーマンスを最大化し、SSD 使用率のバランスをとって SSD ライフ負荷を分散

-         分散対応したログファイル システムにより、データ パスが最適化され、書き込み回数の増加を抑制

-         書き込みは、順次書き込み主体の処理によりフラッシュ ドライブの劣化（ライフタイム消費）を軽減し、コンポーネントの寿命を延長

-         重複排除や圧縮などによるインライン スペースでの最適化によりデータ操作を最小化し、劣化を軽減

·         高密度ドライブによってシステム容量が増加し、運用コストを削減

·         スケールアウトが容易な分散インフラストラクチャと、個々のリソースを別個にスケールアウトできる柔軟性を備えたクラウド スケール ソリューション

Cisco HyperFlex でハイブリッド モデルとオールフラッシュ モデルがサポートされたことで、容量、アプリケーション、パフォーマンス、予算の要件に基づいて、適切なプラットフォーム構成を選択できるようになりました。オールフラッシュ構成では、反復可能かつ持続可能な高パフォーマンスが得られます。これは、多くのデータ セットを扱うシナリオ、つまり稼働中に多量のデータを扱うシナリオに特に最適です。ハイブリッド構成は、Cisco HyperFlex ソリューションのシンプルさを求めると同時に、容量の影響を受けやすいソリューション、低予算、パフォーマンスの影響を受けやすいアプリケーション数の抑制を必要とするお客様に適しています。

Cisco HyperFlex データ プラットフォーム ソフトウェア

HX データ プラットフォームは専用の高性能な分散ファイルシステムで、多岐にわたるエンタープライズクラス データ管理サービスを提供します。データ プラットフォームの技術革新により、分散ストレージ技術が再定義され、従来のハイパーコンバージド インフラストラクチャを凌ぐ性能を発揮します。HX データ プラットフォームはエンタープライズ共有ストレージ システムに期待される全機能を備えているため、複雑なファイバ チャネル ストレージ ネットワークと端末の設定管理の必要がなくなります。これにより操作を簡素化し、データの可用性を維持します。エンタープライズクラスのストレージ機能には、次のものがあります。

·         データ保護：クラスタ全体のデータ コピーを複数作成します。単一または複数のコンポーネントに障害が発生した場合にも、データの可用性は影響を受けません（設定されたレプリケーション ファクタの設定によって異なります）。

·         重複排除：常にオンになっており、仮想クラスタ内のストレージ要件を削減できます。仮想クラスタ内では、ゲスト仮想マシンの OS インスタンスが複数コピーされるため、大量の複製データにアクセスできます。

·         圧縮：データ ストレージ使用量を削減し、コストを削減します。ログ構造のファイル システムは、さまざまなサイズのブロックを保存し、内部のフラグメンテーションを減らすよう設計されています。

·         シン プロビジョニング：実際に利用する必要性が生じるまでストレージ スペースを消費しないため、データ ボリュームの増加を抑制し、ストレージに「成長に合わせて投資」できます。

·         高速でスペース効率の高いクローン機能：仮想ストレージ ボリュームを迅速に複製できます。仮想マシンをメタデータの操作だけで複製でき、実際のデータ コピーは書き込み操作に対してのみ実行されます。

Cisco HyperFlex Connect HTML5 対応の管理 Web ページ

Cisco HyperFlex の主要な管理ツールとして、新しい HTML 5 ベースの Web UI を使用できます。これはクラスタ上で一元化された制御ポイントとして機能します。管理者はボリュームを作成し、データ プラットフォームの状態をモニタリングし、リソースの使用率を管理できます。またこのデータを使用して、クラスタをいつ拡張する必要があるかを予測することもできます。HyperFlex Connect UI を使用するには、Web ブラウザから HyperFlex クラスタの IP アドレス http://<hx controller cluster ip> にアクセスします。

図 11     HyperFlex Connect GUI（画面イメージは英語表示ですが、日本語表示にも対応しています）

Cisco Intersight クラウド ベースの管理

Cisco Intersight（https://intersight.com）はクラウドベースの管理ツールで、Cisco UCS ベースのすべてソリューション向けに一元化されたオフサイト管理、監視およびレポート ツールを提供します。Cisco Intersight の最初のリリースでは、Cisco HyperFlex クラスタに対する監視とレポートが有効になっています。Cisco Intersight の Web サイトとフレームワークは、管理対象の製品とは独立した新機能および拡張機能セットによってアップグレードできます。つまり、ダウンタイムやエンドユーザによるアップグレードなしに多数の新機能が提供されます。Cisco HyperFlex の将来のリリースでは、Cisco Intersight フレームワークへのこれらのアップグレードに加えて、追加の機能が実現される予定です。この組み込みテクノロジーとオンライン テクノロジーの独自の組み合わせにより、展開から廃棄までのライフサイクル全体にわたって Cisco HyperFlex に対応できる、完全なクラウドベースの管理ソリューションが提供されます。

図 12     Cisco Intersight（画面イメージは英語表示ですが、日本語表示にも対応しています）

HX データ プラットフォーム コントローラ

HX データ プラットフォーム コントローラは各ノードに常駐し、分散ファイル システムを実装します。コントローラは仮想マシン内のユーザ領域でソフトウェアとして動作し、ゲスト仮想マシンからのすべての I/O を取り込み、処理します。Storage Controller Virtual Machine（SCVM）は、Microsoft Hyper-V の Discrete Device Assignment（DDA）機能を使用して、物理サーバの SAS ディスク コントローラに対して PCI パススルーで制御します。この方法により、コントローラ VM は物理ディスク リソースを完全に制御し、SSD を読み取り/書き込みキャッシュ層として使用します。また、HDD や SDD を分散ストレージのデータストア層としても使用できます。コントローラは、分散ストレージを SMB 共有として各 Hyper-V ノードに公開します。

データの処理と配信

Cisco HyperFlex HX データ プラットフォーム コントローラは、ゲスト VM からのすべての読み取り/書き込み処理要求を、クラスタ内の分散データストアに保管されている仮想ディスク（VHD/VHDX）に渡します。このデータ プラットフォームは、クラスタのセットアップ時に選択した複製レベル ポリシーに従い、クラスタ内の複数のノードと、各ノードの複数の容量ディスクにデータを配信します。この方法により、特定ノード上、およびノード上の特定ディスクにアクセスが集中することを回避します。
また、他のノードと比べて一部のノードへのデータ アクセスが増え、ネットワークの集中や輻輳が起こることも避けられます。

レプリケーション ファクタ

各ストレージ ブロックで重複する複製の数に関するポリシーは、クラスタのセットアップ時に選択され、「レプリケーション ファクタ」（RF）と呼ばれます。

·         レプリケーション ファクタ RF3：ストレージ層に対して I/O 書き込みがあるたびに、書き込まれたブロックからさらに 2 つの複製が追加され、別の場所に保存されます。つまりブロックの複製が合計 3 つ作成されます。ブロックの各複製が同じディスク上、またはクラスタ上の同じノードに複数保存されないようにブロックが分散されます。この仕組みにより、5 ノード以上のクラスタ内にある 2 つのノード全体で同時に障害が発生してもデータ損失が発生せず、バックアップなどのリカバリ プロセスによる復元が可能になります。RF3 は、すべての実稼働システムで推奨されます。

·         レプリケーション ファクタ RF2：ストレージ層に対して I/O 書き込みがあるたびに、書き込まれたブロックからさらに 1 つの複製が追加され、別の場所に保存されます。つまりブロックの複製が合計 2 つ作成されます。ブロックの各複製が同じディスク上、またはクラスタ上の同じノードに複数保存されないようにブロックが分散されます。この仕組みにより、1 つのノード全体で障害が発生してもデータ損失が発生せず、バックアップなどのリカバリ プロセスによる復元が可能になります。RF2 は、非実稼働システム、またはデータ保護の強化が必要とされない環境に適しています。

データ書き込み操作と圧縮操作

内部では、各仮想ディスクの内容は分割され、HXDP ソフトウェアによって複数のサーバに分散されます。書き込み操作のたびに、VM が実行されているノード上の IO Visor モジュールにデータが取り込まれ、ハッシュ アルゴリズムによってその操作に対するプライマリ ノードが決定され、ネットワークを通じてプライマリ ノードに送信されます。プライマリ ノードはレプリケーション ファクタの設定に従い、データをリアルタイムで圧縮し、圧縮されたデータをキャッシュ SSD に書き込み、圧縮データの複製をクラスタ内のリモート ノード上のキャッシュ SSD に書き込みます。たとえば RF=3 の場合、仮想ディスク アドレスのプライマリ ノードにデータが書き込まれ、並行してその他 2 つのノードに対して、さらに 2 つの書き込みが行われます。仮想ディスクの内容はハッシュ アルゴリズムによって分散されているため、この方法によってすべての書き込みがすべてのノードに分散され、データの局在化と、1 つのノード上のすべての IO 容量を消費する「ノイズが多い」VM の問題が回避されます。3 つの複製がすべてキャッシュ層 SSD に書き込まれるまで、書き込み操作は承認されません。書き込まれたデータは、キャッシュ SSD の書き込みログと合わせて、コントローラ VM のメモリ内にある書き込みログ領域にもキャッシュされます。このプロセスにより、直近に書き込まれたデータに対する読み取り要求の速度も改善されます。

データのデステージと重複排除

HX データ プラットフォームは、分散クラスタ内の各ノード上にあるキャッシュ SSD に、複数の書き込みキャッシュ セグメントを構築します。書き込みキャッシュ セグメントがいっぱいになると、I/O ロードとアクセス パターンに関するポリシーに基づき、それらの書き込みキャッシュ セグメントがロックされ、新しい書き込みが新しい書き込みキャッシュにロール オーバーされます。ロックされたキャッシュ セグメント内のデータは、ハイブリッド システム用のノードの HDD データストア層に、またはオールフラッシュ システムの SDD データストア層にデステージされます。デステージ プロセスでは、データがデータ ストレージ層に書き込まれる前に重複排除され、サーバの HDD または SDD への書き込みが可能になります。ハイブリッド システムでは、重複排除と圧縮を施されたデータがキャッシュ SSD 専用の読み取りキャッシュ領域にも書き込まれるため、直近に書き込まれたデータに対する読み取り要求の速度も改善されます。データが HDD にデステージされる場合、データが 1 つの連続する操作で書き込まれるため、回転するディスク上でディスク ヘッドがシークすることによるスラッシングが回避され、最短時間でタスクが実行されます。システムで競合が生じている場合、読み取り/重複排除/圧縮/書き込みのサイクルが事後に行われる必要がありますが、このプラットフォームでは、書き込みの前にすでにデータに重複排除と圧縮が施されているため、システム競合の際にみられるような I/O オーバーヘッドの増大が回避されます。重複排除、圧縮、デステージは、データの読み取り/書き込みを要求するゲスト VM に対する遅延や I/O ペナルティが発生することなく実行されるため、HDD と SDD のどちらの設定でも利点があります。

図 13     HyperFlex HX Data Platform でのデータ移動

データ読み取り操作

データ読み取り操作では、複数の場所からデータを読み取ります。書き込まれた直後のデータの場合、そのデータはローカル プラットフォーム コントローラのメモリの書き込みログ、ローカル キャッシュ書き込みログ、またはローカル キャッシュ層ディスクの書き込みログに残っていると考えられます。ローカルの書き込みログにデータが含まれていない場合は、分散されたファイル システムのメタデータに対するクエリによって、データが別の場所（リモート ノードの書き込みログや、またはハイブリッド ノードのローカルおよびリモートのキャッシュ SSD にある専用の読み取りキャッシュ領域など）にキャッシュされていないか確認されます。最後に、データが長時間アクセスされていない場合は、ファイル システムが要求されたデータを分散キャパシティ層から取得します。分散されたファイル システムに対して読み取り要求が実行され、データがデータストア層から取得されると、ハイブリッド ノードのキャッシュ SSD が専用の読み取りキャッシュ領域を用意して、同じデータ要求に対する以降の処理速度を改善します。この複数の層によるキャッシュ手法を利用した複数階層の分散システムにより、データが最大限の速度で処理され、ノードのキャッシュ SSD が完全かつ均等に活用されます。 ただしオールフラッシュ設定では、永続的な複製データが高性能の SSD 上にすでに存在しており、パフォーマンス上の利点がないことから、専用の読み取りキャッシュは使用されません。

要約すると、HX データ プラットフォームでは分散ログ ファイル システムが実装されており、次に説明する 2 つの構成でデータ操作を行います。

·         ハイブリッド構成では、データ プラットフォームが SSD を使用したキャッシュ層を提供し、読み取り要求と書き込み応答の性能を向上させます。また HDD を使用したストレージデータストア層が実装されます。

·         オールフラッシュ構成では、データ プラットフォームが耐久性の高い SSD を使用して専用のキャッシュ層を提供し、書き込み応答の性能を高めます。また、SSD を使用したストレージデータストア層も実装されます。SSD が直接応答することで読み取り要求に対して十分な性能が満たせるため、専用の読み取りキャッシュを用意して、読み取り操作の性能を向上させる必要がありません。

要件

以下のセクションでは、Cisco HyperFlex システムの単一のクラスタをインストールするために必要な物理ハードウェア、ソフトウェア リビジョン、およびファームウェア バージョンについて詳しく説明します。Microsoft Hyper-V を使用する Cisco HyperFlex では最大 8 つのコンバージド ノードがサポートされます。

物理コンポーネント

表 1         HyperFlex システムのコンポーネント

 

サーバ仕様と詳細については、以下のリンクを参照してください。

モデル比較：

https://www.cisco.com/c/ja_jp/products/hyperconverged-infrastructure/hyperflex-hx-series/index.html#compare-models

HXAF220c-M5SX 仕様書：

英語
https://www.cisco.com/c/dam/en/us/products/collateral/hyperconverged-infrastructure/hyperflex-hx-series/hxaf-220c-m5-specsheet.pdf

日本語
https://www.cisco.com/c/dam/global/ja_jp/products/collateral/hyperconverged-infrastructure/hyperflex-hx-series/hxaf-220c-m5-specsheet.pdf

HXAF240c-M5SX 仕様書：

英語
https://www.cisco.com/c/dam/en/us/products/collateral/hyperconverged-infrastructure/hyperflex-hx-series/hxaf-240c-m5-specsheet.pdf

日本語
https://www.cisco.com/c/dam/global/ja_jp/products/collateral/hyperconverged-infrastructure/hyperflex-hx-series/hxaf-240c-m5-specsheet.pdf

HX220c-M5SX 仕様書：

英語
https://www.cisco.com/c/dam/en/us/products/collateral/hyperconverged-infrastructure/hyperflex-hx-series/hx-220c-m5-specsheet.pdf

日本語
https://www.cisco.com/c/dam/global/ja_jp/products/collateral/hyperconverged-infrastructure/hyperflex-hx-series/hx-220c-m5-specsheet.pdf

HX240c-M5SX 仕様書：

英語
https://www.cisco.com/c/dam/en/us/products/collateral/hyperconverged-infrastructure/hyperflex-hx-series/hx-240c-m5-specsheet.pdf

日本語
https://www.cisco.com/c/dam/global/ja_jp/products/collateral/hyperconverged-infrastructure/hyperflex-hx-series/hx-240c-m5-specsheet.pdf

表 2 に、HXAF220c-M5SX サーバ モデルのハードウェア コンポーネント オプションを示します。

表 2         HXAF220c-M5SX サーバ オプション

表 3 に、HXAF240c-M5SX サーバ モデルのハードウェア コンポーネント オプションを示します。

表 3         HXAF240c-M5SX サーバ オプション

表 4 に、HX220c-M5SX サーバ モデルのハードウェア コンポーネント オプションを示します。

表 4         HX220c-M5SX サーバ オプション

表 5 に、HX240c-M5SX サーバ モデルのハードウェア コンポーネント オプションを示します。

表 5         HX240c-M5SX サーバ オプション

ソフトウェア コンポーネント

表 6 に、Microsoft Hyper-V 向け Cisco HyperFlex システムに必要なソフトウェア コンポーネントとバージョンを示します。

表 6         ソフトウェア コンポーネント

ライセンス

Cisco HyperFlex システムは Cisco Smart Licensing を使用して適切にライセンスされる必要があります。Cisco Smart Licensing は、手動のため時間がかかりエラーも起こりやすい多くのライセンシング タスクを自動化するために
使用されるクラウドベースのソフトウェア ライセンス管理ソリューションです。Cisco HyperFlex 2.5 以降では、Cisco スマート アカウントを使って Cisco Smart Software Manager（CSSM）オンライン サービスと通信し、アカウントから Cisco HyperFlex クラスタ リソースに使用可能なサブスクリプション ライセンスをチェックアウトまたは割り当てます。
通信はインターネット経由で直接行うことができ、プロキシ サーバ経由で通信するように設定することも、内部 Cisco Smart Software Manager サテライト サーバと通信することもできます。サテライト サーバではライセンス データがキャッシュされて定期的に同期されます。非常にセキュアで外部との接続が限られた環境では、CSSM と通信する必要がない永続ライセンス予約（PLR）を使用してシステムをプロビジョニングできます。セキュリティ要件にこれらの永続ライセンスの使用が必要かどうかは、シスコのセールス担当者またはパートナーにお問い合せください。HyperFlex クラスタの新規インストールでは、評価期間の 90 日間はライセンスが不要ですが、90 日が経過するとアラーム メッセージが出力、非準拠モードとして動作します。正しいライセンスがないシステムはテクニカル サポートを受けることができません。

Cisco Smart Software Manager のサテライト サーバの詳細については、以下を参照してください。https://www.cisco.com/c/ja_jp/buy/smart-accounts/software-manager-satellite.html

Cisco HyperFlex 3.0 より、システムのライセンスは 1 ノードにつき 1 つずつ（Standard ライセンス以上）必要になりました。

表 7 に、ライセンスのエディションと各ライセンス タイプで使用可能な機能を示します。

表 7         HyperFlex System のライセンス エディション

考慮事項

バージョン管理

表 6  に記載されているソフトウェア リビジョンは、この検証済みデザインの公開時点で唯一有効なサポートされている設定です。ハイパーバイザ、vCenter Server、Cisco HX プラットフォーム ソフトウェア、または Cisco UCS ファームウェアのリビジョンを変更する際は、先に該当するリリース ノートと互換性マトリックスを参照し、システムが未サポート設定にならないよう特に注意する必要があります。

Microsoft Windows Active Directory

Microsoft Hyper-V 向けの Cisco HyperFlex の要件である Microsoft Windows Active Directory 2012 以降が
必要です。Cisco HyperFlex データ プラットフォーム ソフトウェアをインストールする前に、DNS サーバが統合された Active Directory をインストールし、動作する状態にしておく必要があります。

 拡張性

Microsoft Hyper-V 用 Cisco HyperFlex 標準クラスタは、このガイドの作成時では、クラスタあたり、スモール フォーム ファクタ（SFF）ディスクを備えた 3 ～ 8 台の Cisco HX シリーズ コンバージド ノードで構成できます。コンバージド ノードは、HX 分散ファイルシステムにストレージ リソースを提供するクラスタのメンバーです。単一クラスタのリソースが足らなくなった場合、追加の HX モデル サーバを Cisco UCS ドメインに追加し、それらに追加の HyperFlex クラスタをインストールして、PowerShell や RSAT ツールがインストールされている同じ管理ホストからそれらを制御することによって、環境を「スケールアウト」できます。

表 8 に、Microsoft Hyper-V を使用する Cisco HyperFlex システムの各種インストールの最小および最大規模を示します。

表 8         HyperFlex クラスタの規模

キャパシティ

全体で使用可能なクラスタの容量は、さまざまな要因によって左右されます。クラスタ内のノード数、キャパシティ層のディスクの数とサイズ、および HyperFlex HX データ プラットフォームのレプリケーション ファクタがすべてクラスタの容量に影響します。

ディスク ドライブの製造元は、10 進プレフィックスとも呼ばれる 10 の累乗の計算を使用するサイズ レポート手法を採用しています。たとえば、120 GB ディスクは、120 x 10^9 バイトのアドレス指定可能容量、または 1,200 億バイト以上と表されています。ただし、多くのオペレーティング システムとファイルシステムは、標準コンピュータのバイナリ累乗法またはバイナリ プレフィックスと呼ばれる 2 の累乗の計算に基づいてスペースを報告します。この例では、2^10 または 1024 バイトが 1 キロバイトに相当し、2^10 キロバイトが 1 メガバイトに相当します。2^10 メガバイトは 1 ギガバイトに相当し、2^10 ギガバイトが 1 テラバイトに相当します。値が増えるほど、2 つの測定系と表記の差が大きくなり、テラバイト レベルでは、10 進プレフィックス値とバイナリ プレフィックス値の差が 10% 近くになります。

国際単位系（SI）では、10 の累乗による値と 10 進プレフィックスが次のように定義されています。

表 9         SI 単位の値（10 進プレフィックス）

国際標準化機構（ISO）および国際電気標準会議（IEC）は、ISO/IEC 80000-13:2008 Clause 4 で、2 の累乗の値とバイナリ プレフィックスを表 10 に示すように定義しています。

表 10     IEC 単位の値（バイナリ プレフィックス）

本書の目的において、それぞれの製造元が指定しているように、10 進プレフィックス数を未加工のディスク容量にのみ使用します。HyperFlex ソフトウェア、ファイルシステム、またはオペレーティング システムの観点から未加工のまたは使用可能な容量が表示される計算では、バイナリ プレフィックス数が使用されますこれは主に、HyperFlex Connect GUI 内でクラスタ容量、割り当てと使用量を確認するとき、およびほとんどのオペレーティング システム内で、エンド ユーザに一貫性のある一連の値を表示すために行われます。

表 11 に、クラスタのアレイ構成に関するバイナリ プレフィックスを使用した HyperFlex HX データ プラットフォーム クラスタの利用可能容量値のセットを示します。これらの値は、初期購入時の HX クラスタの適切なサイズを判断したり、容量ディスクを追加して得られる容量を算出する際に参考になります。これらの値の計算は、「Appendix A: Cluster Capacity Calculations」に記載されています。

表 11     クラスタの利用可能容量

 

物理トポロジ

トポロジ概要

Microsoft Hyper-V 用 Cisco HyperFlex システムは、Cisco UCS ファブリック インターコネクトのペアと、クラスタあたり最大 8 台の HX シリーズ ラックマウント サーバ（コンバージド ノード）で構成されます。1 組のファブリック インターコネクトに、最大 8 つの HX クラスタを個別に構築・共存させることが可能です。2 つのファブリック インターコネクトはどちらもすべての HX シリーズ ラックマウント サーバに接続します。インストール時には、ファブリック インターコネクトからお客様のデータセンター ネットワークに、「ノースバウンド」ネットワーク接続とも呼ばれるアップストリーム ネットワーク接続が行われます。

図 14     HyperFlex 標準クラスタ トポロジ

ファブリック インターコネクト

ファブリック インターコネクト（FI）は、管理クラスタとして動作する 2 つのユニットがペア構成で展開され、A サイド ファブリックおよび B サイド ファブリックからなる 2 つの別個のネットワーク ファブリックを構成します。そのため、設計上の要素表記として、FI A や FI B またはファブリック A、ファブリック B という呼称が用いられます。これらのファブリック インターコネクトは両方とも常にアクティブで、冗長構成や高可用性構成のためのネットワーク ファブリック上でデータを通過させます。Cisco UCS Manager などの管理サービスにおいても、2 つの FI がクラスタ形式で提供されます。つまり、一方の FI がプライマリでもう一方の FI がセカンダリとなり、クラスタ化されたローミング IP アドレスが付与されます。このプライマリ/セカンダリの関係は管理クラスタに関してのみであり、データ伝送には影響を与えません。

ファブリック インターコネクトには以下のポートがあり、Cisco UCS ドメインの適切な管理のためには、それらのポートに接続する必要があります。

·         Mgmt：GUI または CLI ツールを通じて、ファブリック インターコネクトや Cisco UCS ドメインを管理する際に使用するポート（10/100/1000 Mbps）です。このポートは、ドメイン内の管理対象サーバへのリモート KVM、IPMI、SoL セッションにも使用されます。これは通常、管理ネットワークに接続されます。

·         L1：Cisco UCS 管理クラスタを構成する際のクロス接続ポートです。このポートは、RJ45 プラグを備えた標準の CAT5/CAT6 イーサネット ケーブルを使用して、ファブリック インターコネクトのペアの L1 ポートに直接接続されます。スイッチやハブに接続する必要はありません。

·         L2：Cisco UCS 管理クラスタを構成する際のクロス接続ポートです。このポートは、RJ45 プラグを備えた標準の CAT5/CAT6 イーサネット ケーブルを使用して、ファブリック インターコネクトのペアの L2 ポートに直接接続されます。スイッチやハブに接続する必要はありません。

·         Console：ファブリック インターコネクトに直接コンソール アクセスを行うための RJ45 シリアル ポートです。通常、このポートは RJ45 アダプタを備えたシリアル ケーブルを使用して、FI の初期設定プロセスを実施する際に使用されます。また、ターミナル アグリゲータ、またはリモート コンソール サーバ デバイスにも接続できます。

HX シリーズ ラックマウント サーバ

HX シリーズ コンバージド サーバは、Cisco UCS ファブリック インターコネクトに、直接接続モードで接続されます。
このオプションを使用すると、Cisco UCS Manager は、管理通信とデータ通信の両方を 1 つのケーブルを使用して
HX シリーズ ラックマウント サーバを管理できます。Cisco HyperFlex M5 世代のサーバは、Cisco VIC 1387 カードでのみ設定できます。標準接続、および冗長接続を行うには、VIC カードのポート 1（右側のポート）を FI A のポートにつなぎ、VIC カードのポート 2（左側のポート）を FI B のポートにつなぎます（図 15）。HyperFlex インストーラは、この設定について、すべてのサーバのケーブル配線が一致するかチェックします。このケーブル配線に誤りがあると、エラー、検出の失敗、冗長接続の失敗につながる可能性があります。

Cisco HX シリーズ サーバとファブリック インターコネクト間ではさまざまな組み合わせの物理接続が可能ですが、特定の組み合わせのみサポートされます。たとえば、M5 世代のサーバでは、モデル 6248 または 6296 のファブリック インターコネクトとともに M5 世代のサーバを構成するために、Cisco QSA モジュールを使用して 40 GbE QSFP+ ポートを 10 GbE SFP+ ポートに変換することできます。表 12 に、サポートされる可能な接続を示します。

表 12     サポートされる物理接続

図 15     HX シリーズ サーバの接続

論理トポロジ

論理ネットワークの設計

Cisco HyperFlex システムでは、通信パスが 4 つの定義ゾーンに分類されています（図 16）。

·         管理ゾーン：このゾーンは、物理ハードウェア、ハイパーバイザ ホスト、ストレージ プラットフォーム コントローラ仮想マシン（SCVM）を管理する際に必要な接続で構成されます。これらのインターフェイスと IP アドレスは、LAN や WAN の全体で、HX システムを管理する担当者全員で利用できる必要があります。このゾーンでは、ドメイン ネーム システム（DNS）、Network Time Protocol（NTP）サービスへのアクセス権限があり、セキュア シェル（SSH）通信が許可されている必要があります。このゾーンは、複数の物理コンポーネントと仮想コンポーネントからできています。

-         ファブリック インターコネクト管理ポート。

-         Cisco UCS 外部管理インターフェイス。サーバによって使用され、FI 管理ポートを通じて応答します。

-         Hyper-V ホスト管理インターフェイス。

-         ストレージ コントローラ VM 管理インターフェイス。

-         ローミング HX クラスタ管理インターフェイス。

-         ストレージ コントローラ VM 管理インターフェイス。

·         VM ゾーン：このゾーンは、HyperFlex ハイパーコンバージド システム内で実行されるゲスト VM へのサービス ネットワーク IO に必要な接続で構成されます。通常、このゾーンには、ネットワークのアップリンクを介して Cisco UCS ファブリック インターコネクトにトランクされる複数の VLAN が含まれており、802.1Q VLAN ID のタグが付けられます。これらのインターフェイスと IP アドレスは、LAN や WAN の全体を通じて、HX システムのゲスト VM と通信する必要があるスタッフやコンピュータ エンドポイントのすべてで利用できるようになっている必要があります。

·         ストレージ ゾーン：このゾーンは、Cisco HX データ プラットフォーム ソフトウェア、Hyper-V ホスト、およびストレージ コントローラ VM が HX 分散データ ファイルシステムにサービス提供するために使用する接続で構成されます。適切に運用するためには、これらのインターフェイスと IP アドレスが相互に通信できる必要があります。通常の運用では、このトラフィックはすべて Cisco UCS ドメイン内で発生しますが、ハードウェア障害が生じた場合には、Cisco UCS ドメインのネットワーク ノースバウンドを通過する必要があります。そのため、HX ストレージ トラフィックに使用される VLAN は、Cisco UCS ドメインからのネットワーク アップリンクを通過し、FI B から FI A に到達するか、その逆が可能である必要があります。このゾーンは、基本的にはジャンボ フレームでのトラフィックになるため、Cisco UCS のアップリンクでジャンボ フレームを有効にする必要があります。このゾーンには、複数のコンポーネントがあります。

-         チーム化されたインターフェイスは、HX クラスタ内の各 Hyper-V ホストのストレージ トラフィックに使用されます。

-         ストレージ コントローラ VM ストレージ インターフェイス。

-         ローミング HX クラスタ ストレージ インターフェイス。

·         ライブ マイグレーション ゾーン：このゾーンは、ホストからホストへのゲスト VM のライブ マイグレーションを有効にするために、Hyper-V ホストによって使用される接続から構成されます。通常の運用では、このトラフィックはすべて Cisco UCS ドメイン内で発生しますが、ハードウェア障害が生じた場合には、Cisco UCS ドメインのネットワーク ノースバウンドを通過する必要があります。そのため、HX ライブ マイグレーション トラフィックに使用される VLAN は、Cisco UCS ドメインからのネットワーク アップリンクを通過し、FI B から FI A に到達するか、その逆が可能である必要があります。

図 16 に論理ネットワークの設計について示します。

図 16     論理ネットワークの設計

設計の要素

HyperFlex システムのインストールは主に、cisco.com から OVA ファイルとしてダウンロードできる、導入可能な HyperFlex インストーラ仮想マシンを使って実行します。インストーラ VM は、Cisco UCS の設定作業のほとんどを実行し、HyperFlex ホストへの Windows Server 2016 のインストールを簡略化と、設定の重要な設定部分も実行できます。最後に、インストーラ VM を使用して、HyperFlex HX データ プラットフォーム ソフトウェアをインストールし、HyperFlex クラスタを作成します。この簡略化されたインストール方法はシスコにより開発されているため、この CVD には、インストーラで処理されるすべての要素の設定に関する詳細な手動手順は記載されていません。代わりに、設定する要素をこのセクションで説明します。また、以降のセクションでは、インストールに必要な手動の手順と、HyperFlex インストーラを使用したその他の設定手順について説明します。

ネットワークの設計

Cisco UCS アップリンクの接続

Cisco UCS ネットワーク アップリンクは、Cisco UCS ファブリック インターコネクトのペアからお客様のデータセンターの LAN に「ノースバウンド」を接続します。Cisco UCS のすべてのアップリンクは、アップリンクをまたいで複数の 802.1Q VLAN ID を伝送するトランクとして動作します。Cisco UCS のデフォルトの動作は、Cisco UCS の設定で定義されたすべての VLAN ID を利用可能なすべてのアップリンクでトランキングできることを前提としています。

Cisco UCS ファブリック インターコネクトは、別のネットワーク スイッチではなく、エンドポイントの集合としてネットワーク上に表示されます。内部では、ファブリック インターコネクトはスパニングツリー プロトコル（STP）ドメインに参加していません。また、レイヤ 2 のイーサネット リンクで相互に接続されていないため、ネットワーク ループを形成できません。STP を介したすべてのリンク アップ/ダウンの決定は、アップストリームのルート ブリッジによって行われます。

アップリンクは、両方のファブリック インターコネクトから接続してアクティブにする必要があります。冗長性を確保するため、各 FI で複数のアップリンクを、802.3ad Link Aggregation Control Protocol（LACP）ポート チャネルとしてまたは個々のリンクを使って使用できます。パフォーマンスと冗長性を最適なレベルにするために、バーチャル ポート チャネル（vPC）機能を使って、アップリンクを複数のアップストリーム シスコ スイッチの LACP ポート チャネルとして作成できます。vPC アップリンクを使用すると、すべてのアップリンクをアクティブ通過データにすることができるうえ、個別のリンク障害や、アップストリーム スイッチの故障から保護することができます。他のアップリンク設定を冗長にすることができますが、vPC が使用できない場合、スパニングツリー プロトコルのループ回避によってリンクが無効になる場合があります。

すべてのアップリンク接続方式では、1 つのファブリック インターコネクトから別のファブリック インターコネクトへ、つまりファブリック A からファブリック B へトラフィックを渡すことができなければなりません。ケーブル、ポート、またはリンクの障害によって、通常は Cisco UCS ドメインから出ないトラフィックを Cisco UCS アップリンクに強制的に転送しなければならない場合があります。また、このトラフィック フロー パターンは、ファブリック インターコネクトでのファームウェアの更新など、再起動を必要とするメンテナンス手順中に一時的に確認できます。次のセクションでは、このソリューションで使用するアップリンク接続オプションについて詳しく説明します。

vPC と複数スイッチ間

この推奨接続設計は、VSS を実行している Catalyst 6000 シリーズ スイッチ、Cisco Nexus 5000 シリーズ、および Cisco Nexus 9000 シリーズのスイッチなど、バーチャル ポート チャネル機能を備えたシスコのスイッチを使用します。論理的に、2 つの vPC 対応スイッチは 1 つのスイッチとして出現するため、スパニングツリー プロトコルはどのリンクもブロックしません。この設定ではすべてのリンクをアクティブにすることができるため、最大帯域幅と、レベルごとの複数の冗長性が実現されます。

図 17     vPC を使用した接続

VLAN とサブネット

基本の HyperFlex システム設定では、複数の VLAN をアップストリーム LAN から Cisco UCS ドメインに伝送する必要があり、これらの VLAN は Cisco UCS 設定でも定義されます。hx-storage-data VLAN は、他の VLAN とは異なる VLAN ID にする必要があります。表 13 に、Cisco UCS の HyperFlex インストーラによって作成された VLAN とその機能を示します。

表 13     VLAN

 

ジャンボ フレーム

hx-storage-data VLAN とサブネットを通過するすべての HyperFlex ストレージ トラフィックはデフォルトでジャンボ フレームを使用するよう設計されます。正確に言えば、すべての通信が、最大伝送ユニット（MTU）のサイズが 9000 バイトの IP パケットを送信するよう設定されます。また、hx-livemigrate VLAN のデフォルトの MTU もジャンボ フレームを使用するように設定されます。より大きな MTU 値を使用することは、送信される各 IP パケットがより大きいペイロードを伝送することを意味するため、パケットあたりの送信データ量が増え、結果としてデータの送受信が速くなります。この設定は、Cisco UCS のアップリンクをジャンボ フレームを通過するよう設定する必要があることも意味します。Cisco UCS アップリンク スイッチでジャンボ フレームを許可するように設定しないと、Cisco UCS ファームウェアのアップグレードや、ケーブルまたはポートの障害によってストレージ トラフィックがノースバウンドの Cisco UCS アップリンク スイッチを通過するときなど、一部の障害シナリオでサービスが中断する場合があります。

HyperFlex クラスタは、1500 バイトの標準サイズ フレームを使用するように設定できますが、Cisco UCS アップリンク スイッチがジャンボ フレームを通過できない環境でのみこの設定を使用すること、および他のすべての状況ではジャンボ フレームを有効することをお勧めします。

Cisco UCS の設計

このセクションでは、Cisco HyperFlex インストーラで設定される Cisco UCS Manager 内の要素について説明します。構成要素の多くは元々固定ですが、HyperFlex インストーラでは VLAN 名や ID、外部管理 IP プールなど一部の項目を作成時に指定することができます。これらの要素はインストール時に手動で設定することができ、それらの項目は << >> カッコ付きで示されます。

Cisco UCS システム構成

HyperFlex のインストール中に、新しい Cisco UCS の下部組織が作成されます。インストール時に、「hx1hybrid」や「hx2sed」など、クラスタごとに固有の下部組織名を指定する必要があります。下部組織は Cisco UCS 階層のルート レベルの下に作成され、HyperFlex で使用されるすべてのポリシー、プール、テンプレート、サービス プロファイルを保存するために使用されます。これによって、ポリシーやプール間で設定が重複する問題を回避できます。この配置を使用すると、必要に応じて後から、Cisco UCS Manager 内でロールベース アクセス コントロール（RBAC）と管理ロケールを使用した組織管理を実現できます。この方法では、ルート レベルの要素または他の下部組織の要素の管理とは別に、Cisco UCS ドメインの HyperFlex 固有の要素のみの管理を管理者に付与することができます。

図 18     Cisco UCS HyperFlex の下部組織

Cisco UCS LAN ポリシー

Quality of Service（QoS）システム クラス

Cisco HyperFlex システムには固有の Cisco UCS Quality of Service（QoS）システム クラスが定義されています。
これらのクラスは、Cisco UCS ドメインの北側にあるアップリンク スイッチによって使用できるサービス クラス（CoS）の値だけでなく、アクティブなクラス、パケット ドロップを許可するかどうか、競合が発生した場合の各クラスの相対重み、最大伝送ユニット（MTU）サイズ、およびマルチキャストの最適化が適用されたかどうかを定義します。Cisco UCS ドメイン全体に対して QoS システム クラスが定義され、有効になっているクラスは、Cisco UCS vNIC に割り当てられる QoS ポリシーで後から使用することができます。表 14 および図 19 に、HyperFlex 用に設定された QoS システム クラスの設定を示します。

表 14     Quality of Service（QoS）システム クラス

図 19     Quality of Service（QoS）システム クラス

QoS ポリシー

Cisco UCS QoS システム クラスで定義されている設定を適用するには、固有の QoS ポリシーを作成してから、vNIC、または Cisco UCS サービス プロファイルで使用される vNIC テンプレートに割り当てる必要があります。表 15 に、HyperFlex に設定されている QoS ポリシーと、作成される vNIC テンプレートへのデフォルトの割り当ての詳細を示します。

表 15     HyperFlex QoS ポリシー

マルチキャスト ポリシー

Cisco UCS のマルチキャスト ポリシーは HyperFlex インストーラで設定され、作成された VLAN で参照されます。
このポリシーを使用すれば、将来、特定のマルチキャスト ポリシーを作成して、Cisco UCS ドメイン内の非 HyperFlex ワークロードで使用される可能性のある他の VLAN に適用しなければならない場合に柔軟に対応できます。表 16 および図 20 に、HyperFlex 用に設定されたマルチキャスト ポリシーの詳細を示します。

表 16     マルチキャスト ポリシー

図 20     マルチキャスト ポリシー

VLAN

VLAN は、ライブ マイグレーション用の VLAN とゲスト VM トラフィック用に定義された単一または複数の VLAN を
含む基本の HyperFlex システムをサポートするために、HyperFlex インストーラで作成されます。VLAN の名前と ID は、HyperFlex インストーラ Web インターフェイスの Cisco UCS 設定ページで定義されます。Cisco UCS に記載されている VLAN はアップストリーム ネットワーク上に存在している必要があり、Cisco UCS FI は VLAN Trunk Protocol（VTP）に参加しません。表 17 および図 21 に、HyperFlex 用に設定された VLAN を示します。

表 17     Cisco UCS VLAN

図 21     Cisco UCS VLAN

管理 IP アドレス プール

Cisco UCS 管理 IP アドレス プールは、IP アドレスのブロックを使用して設定する必要があります。これらの IP アドレスは、Cisco UCS ドメインで管理されているラックマウントおよびブレード サーバの Cisco Integrated Management Controller（CIMC）インターフェイスに割り当てられます。IP アドレスは、各ラックマウントまたはブレード サーバの、リモート KVM、仮想メディア、Serial over LAN（SoL）、インテリジェント プラットフォーム管理インターフェイス（IPMI）など、さまざまな機能の通信エンドポイントです。そのため、ドメイン内の物理サーバごとに少なくとも 1 つの IP アドレスを指定する必要があります。IP アドレスは、「アウトオブバンド」アドレスと見なされます。これは、通信パスがファブリック インターコネクトの mgmt0 ポートを使用して、管理アドレスの ARP 要求に応答することを意味します。この配置により、このプール内の IP アドレスは、ファブリック インターコネクトの mgmt0 ポートに割り当てられた IP アドレスと同じ IP サブネット内になければなりません。「hx-ext-mgmt」という名前の新しい IP プールが、HyperFlex インストーラによって HyperFlex 下部組織に作成されて、IP アドレスのブロック、サブネット マスク、およびデフォルト ゲートウェイを使用して設定されます。

図 22     管理 IP アドレス プール

MAC アドレス プール

Cisco UCS と仮想インターフェイス カード（VIC）テクノロジーの主なメリットの 1 つは、Cisco UCS サービス プロファイルによるカードの特性の割り当てです。仮想 NIC（vNIC）インターフェイス、その VLAN の関連付け、MAC アドレス、QoS ポリシーなどの数はすべて、サービス プロファイルの関連付けプロセスにおいて動的に適用されます。Media Access Control（MAC）アドレスは 6 バイトのデータを一意のアドレスとして使用して、レイヤ 2 ネットワーク上のインターフェイスを識別します。すべてのデバイスには一意の MAC アドレスが割り当てられ、この MAC アドレスは最終的にすべてのデータ送信および受信に使用されます。Cisco UCS および VIC テクノロジーでは、アドレスのプールから MAC アドレスを選択し、サービス プロファイルの作成時にサービス プロファイルで定義されている各 vNIC に割り当てます。

ベスト プラクティスでは、Cisco UCS ドメインに使用される MAC アドレスの最初の 3 つのバイトに 00:25:B5 を使用します。これは Cisco Systems, Inc. に登録されている組織的固有識別子（OUI）の 1 つです。4 番目のバイト（例：00:25:B5:xx）は HyperFlex のインストール時に指定されます。5 番目のバイトは、Cisco UCS ファブリックと vNIC の配置順序に関連付けるために HyperFlex インストーラで自動的に設定されます。最終的に、最後のバイトはプールで作成された MAC アドレスの数に応じて増加します。重複を避けるため、HyperFlex インストーラで値を定義するときに、MAC アドレス プールの最初の 4 バイトが同じレイヤ 2 ネットワークにインストールされている各 HyperFlex クラスタごとに一意であり、存在している可能性のある他の Cisco UCS ドメイン内の MAC アドレス プールと異なることも確認する必要があります。

表 18 に、HyperFlex に対して設定されている MAC アドレス プールと、作成された vNIC テンプレートへのデフォルトの割り当てを示します。

表 18     MAC アドレス プール

図 23     MAC アドレス プール

ネットワーク制御ポリシー

Cisco UCS ネットワーク制御ポリシーは、Cisco UCS サービス プロファイルで定義された vNIC の動作のさまざまな側面を制御します。制御される設定には、Cisco Discovery Protocol（CDP）、MAC アドレスの登録、MAC アドレスの偽装、および Cisco UCS ネットワーク アップリンクで障害が発生した場合に vNIC ステータスで実行されるアクションの有効化が含まれます。HyperFlex インストーラで 2 つのポリシーが設定されます。HyperFlex-infra は HyperFlex システムの「インフラストラクチャ」vNIC インターフェイスに適用され、HyperFlex-vm はゲスト VM トラフィックを伝送する vNIC インターフェイスにのみ適用されます。これにより、現時点でポリシーが同じ設定を使用して設定されていても、柔軟性が高まります。表 19 に、HyperFlex に設定されているネットワーク制御ポリシーと、作成される vNIC テンプレートへのデフォルト割り当ての詳細を示します。

表 19     ネットワーク制御ポリシー

図 24     ネットワーク制御ポリシー

vNIC テンプレート

Cisco UCS Manager には、設定作業を簡素化および高速化するために使用できる vNIC テンプレートを設定できる機能があります。vNIC テンプレートは、各サービス プロファイルまたはサービス プロファイル テンプレートで同じ vNIC を個別に設定するのではなく、サービス プロファイルおよび LAN 接続ポリシーで参照されます。vNIC テンプレートには、VLAN の割り当て、MAC アドレス プールの選択、ファブリック A または B の割り当て、ファブリック フェールオーバー、MTU、QoS ポリシー、ネットワーク制御ポリシーなど、vNIC を構成するすべての設定要素が含まれています。テンプレートは、初期テンプレートまたは更新テンプレートとして作成されます。更新テンプレートは親テンプレートと子オブジェクト間のリンクを維持するため、テンプレートが変更されると、変更がリンクされている他のすべての子オブジェクトに伝播されます。「vNIC 冗長性」という追加の機能を使うと vNIC をペアで設定することができ、プライマリ テンプレートとして指定された一方の vNIC テンプレートの設定は、設定されたセカンダリ テンプレートに自動的に適用されます。すべての HyperFlex vNIC テンプレートでは、「A」側の vNIC テンプレートがプライマリ テンプレートとして設定され、関連の「B」側の vNIC テンプレートがセカンダリになります。それぞれの場合において、2 つのテンプレート間の設定の唯一の違いは、それらが接続に使用するよう設定されているファブリックです。次の表に、HyperFlex インストーラで作成される各 vNIC テンプレートの初期設定を示します。

表 20      vNIC テンプレート hv-mgmt-a/b

LAN 接続ポリシー

Cisco UCS Manager は、サービス プロファイルの設定に必要なすべての vNIC または vNIC テンプレートを 1 つのポリシー定義に集約する LAN 接続ポリシーの機能を備えています。この機能では、vNIC または vNIC テンプレートのコレクションを一度定義し、そのポリシーをサービス プロファイルまたはサービス プロファイル テンプレートで使用することで、設定作業を簡素化します。HyperFlex インストーラは HyperFlex という名前の LAN 接続ポリシーを設定します。このポリシーには、同じく HyperFlex インストーラによって設定される HyperFlex という名前のアダプタ ポリシーとともに、前の項で定義したすべての vNIC テンプレートが含まれています。表 21 に、HyperFlex に設定されている LAN 接続ポリシーを示します。

表 21     LAN 接続ポリシー

Cisco UCS サーバ ポリシー

アダプタ ポリシー

Cisco UCS アダプタ ポリシーは、Cisco UCS ブレードまたはラックマウント サーバに設置されたコンバージド ネットワーク アダプタ（CNA）のさまざまな設定を行うために使用します。使用しているソフトウェアまたはオペレーティング システムに応じて、各種の高度なハードウェア機能を有効または無効にすることができます。次の図は、HyperFlex 用に設定された「HyperFlex」という名前のアダプタ ポリシーの詳細を示しています。

図 25     Cisco UCS アダプタ ポリシー リソース

図 26     Cisco UCS アダプタ ポリシー オプション

BIOS ポリシー

Cisco HX シリーズ M5 世代サーバでは、Cisco UCS Manager から取得される定義済みの BIOS 設定のデフォルト値を使用せず、サーバには出荷時にデフォルトの BIOS トークンが設定されています。現在のデフォルトのトークン設定については、https://www.cisco.com/c/ja_jp/td/docs/unified_computing/ucs/ucs-manager/Reference-Docs/Server-BIOS-Tokens/3-2/b_UCS_BIOS_Tokens.html で確認できます。

M5 世代サーバの設定を変更するために HyperFlex インストーラで「HyperFlex-m5」という名前の BIOS ポリシーが作成されます。変更された設定は次のとおりです。

·         [システムの高度（System altitude）] を [自動（Auto）] に設定

·         [CPUパフォーマンス（CPU performance）] を [HPC] に設定

·         [プロセッサC1Eの状態（Processor C1E state）] を [無効（Disabled）] に設定

·         [電力テクノロジー（Power Technology）] を [パフォーマンス（Performance）] に設定

·         [エネルギーパフォーマンス（Energy Performance）] を [パフォーマンス（Performance）] に設定

·         [シリアルポートA（Serial Port A）] を有効化

·         [コンソールリダイレクション（Console Redirection）] を [シリアルポートA（Serial Port A）] に設定

ブート ポリシー

Cisco UCS ブート ポリシーでは、ラックマウント サーバで使用されるブート デバイスと、それらのデバイスがブートを試行する順序を定義します。Cisco HX シリーズ M5 世代のラックマウント サーバでは、内部の M.2 SSD ブート ドライブに Hyper-V ハイパーバイザがインストールされているため、サーバがその場所からブートするよう定義した一意のブート ポリシーが必要です。HyperFlex インストーラでは「HyperFlex-m5」という名前のブート ポリシーが設定されます。このポリシーでは、HyperFlex M5 コンバージド ノードで使用され、変更することができない「組み込みディスク」として参照される、M.2 SSD からのブートを指定します。

図 27 に、Cisco HX シリーズ M5 世代ラックマウント サーバの HyperFlex ブート ポリシーの詳細を示します。

図 27     Cisco UCS M5 ブート ポリシー

ホスト ファームウェア パッケージ

Cisco UCS ホスト ファームウェア パッケージは、Cisco UCS プラットフォームの最も強力な機能の 1 つです。この機能では、サービス プロファイルで指定されたポリシーによりすべての管理対象ブレードとラックマウント サーバのファームウェア リビジョンを管理できます。ホスト ファームウェア パッケージは、サービス プロファイルで定義および参照されます。サービス プロファイルがサーバに関連付けられると、ホスト ファームウェア パッケージで定義されているすべてのコンポーネントのファームウェアが、パッケージに合わせて自動的にアップグレードまたはダウングレードされます。HyperFlex インストーラにより「HyperFlex-m5」という名前のホスト ファームウェア パッケージが作成されます。このパッケージは、シンプルなパッケージ定義方法を使用し、ファームウェア リビジョンをパートごとに定義するのではなく、特定の Cisco UCS ファームウェア バンドルと一致するすべてのコンポーネントにファームウェア リビジョンを適用します。図 28 に、Cisco HX シリーズ M5 世代のラックマウント サーバの HyperFlex インストールで設定されるホスト ファームウェア パッケージの詳細を示します。

図 28     Cisco UCS M5 ホスト ファームウェア パッケージ

ローカル ディスク設定ポリシー

Cisco UCS ローカル ディスク設定ポリシーは、各ブレードまたはラックマウント サーバ内にローカルで取り付けられているディスクの設定を定義するために使用され、多くの場合、データ保護用の複数のディスクが存在するときに Redundant Array of Independent/Inexpensive Disk（RAID レベル）を設定します。ストレージ リソースを提供する HX シリーズのコンバージド ノードは RAID が必要ないため、HyperFlex インストーラにより、ローカル ディスクを設定できる「HyperFlex-m5」という名前のローカル ディスク設定ポリシーが作成されます。「HyperFlex-m5」という名前のポリシーは、「hx-nodes-m5」という名前のサービス プロファイル テンプレートで使用されます。このテンプレートは、HyperFlex M5 世代コンバージド サーバ向けで、変更することはできません。

図 29 に、HyperFlex インストーラで設定されるローカル ディスク設定ポリシーの詳細を示します。

図 29     Cisco UCS M5 ローカル ディスク設定ポリシー

メンテナンス ポリシー

Cisco UCS メンテナンス ポリシーは、関連するサービス プロファイルが変更された場合の、接続されたブレード サーバとラックマウント サーバの動作を定義します。デフォルトの Cisco UCS メンテナンス ポリシーの設定は [即時（Immediate）] で、物理サーバのサービス プロファイルのリブートを必要とするサービス プロファイルを変更すると、そのサーバがすぐにリブートします。シスコのベスト プラクティスは、「user-ack」に設定されたメンテナンス ポリシーを使用することです。これは、サーバをリブートして変更を適用する前に、Cisco UCS Manager 内で適切な権限を持つユーザによって二次的な確認応答を行う必要があります。HyperFlex インストーラでは、設定が「user-ack」に変更されている「HyperFlex」という名前のメンテナンス ポリシーが作成されます。さらに、[次回のブート時（On Next Boot）] の設定が
有効になります。これにより次回サーバをリブートするときに、二次的な確認応答なしで変更が自動的に適用されます。
図 30 に、HyperFlex インストーラで設定されるメンテナンス ポリシーの詳細を示します。

図 30     Cisco UCS メンテナンス ポリシー

電源制御ポリシー

Cisco UCS 電力制御ポリシーを使用すると、管理者は環境内のサーバへの電力供給に関する優先順位値を設定して、使用可能量を上回る電力をサーバが要求したときに電力供給を制限できます。HyperFlex インストーラによって、すべてのパワー キャッピングが無効化され、必要に応じてファンを全速力で作動させることができる、「HyperFlex」という名前の電力制御ポリシーが作成されます。図 31 に、HyperFlex インストーラで設定される電力制御ポリシーの詳細を示します。

図 31     Cisco UCS 電力制御ポリシー

スクラブ ポリシー

Cisco UCS スクラブ ポリシーは、ローカル ディスク、BIOS 設定および FlexFlash SD カードからデータをスクラブ、つまり消去するために使用します。ポリシーの設定が有効になっている場合、このポリシーを使用しているサービス プロファイルがサーバとの関連付けを解除されると、情報が消去されます。HyperFlex インストーラによって、すべての設定が無効になっている「HyperFlex」という名前のスクラブ ポリシーが作成され、サービス プロファイルの関連付けが解除された場合、ローカル ディスク、SD カード、BIOS 設定のすべてのデータが保存されます。図 32 に、HyperFlex インストーラで設定されるスクラブ ポリシーの詳細を示します。

図 32     Cisco UCS スクラブ ポリシー

vMedia ポリシー

Cisco UCS 仮想メディア（vMedia）ポリシーは、Cisco UCS ブレードおよびラックマウント サーバのリモート KVM セッションへの仮想メディア ファイルの接続を自動化します。仮想メディア（vMedia）ポリシーを使用すると、リモート KVM コンソールを手動で起動して 1 つずつ接続することなく、インストール ISO ファイルがサーバに自動的に接続されるため、インストール時間を短縮できます。HyperFlex インストーラにより、メディアの場所が定義されていない、将来使用するための「HyperFlex」という名前の vMedia ポリシーが作成されます。

Cisco UCS サービス プロファイル テンプレート

Cisco UCS Manager には、サービス プロファイル テンプレートを設定する機能があります。この機能を使うと、同じ設定を複数のサーバに適用する必要があるときに、簡単かつ迅速に設定作業を行うことができます。サービス プロファイル テンプレートは、同じサービス プロファイルを必要になるたびに手動で設定するのではなく、複数のサービス プロファイルのコピーを作成してサーバのグループに関連付けるために使用されます。サービス プロファイル テンプレートには、vNIC、vHBA、ローカル ディスク設定、ブート ポリシー、ホスト ファームウェア パッケージ、BIOS ポリシーなどを含む、サービス プロファイルを構成するすべての設定要素が含まれています。テンプレートは、初期テンプレートまたは更新テンプレートとして作成されます。更新テンプレートは親テンプレートと子オブジェクト間のリンクを維持するため、テンプレートが変更されると、変更がリンクされている他のすべての子オブジェクトに伝播されます。HyperFlex インストーラによって、「hx-nodes-m5」という名前のサービス プロファイル テンプレートが作成されます。以下の表に、HyperFlex インストーラで設定されるサービス プロファイル テンプレートを示します。

表 22     Cisco UCS サービス プロファイル テンプレートの設定と値 

Microsoft Hyper-V ホストの設定

以降のセクションでは、Microsoft Hyper-V ハイパーバイザ内の要素の設計、システム要件、仮想ネットワーキング、および Cisco HyperFlex HX 分散データ プラットフォーム用の Hyper-V の設定の詳細を説明します。

仮想ネットワーキング設計

Cisco HyperFlex システムは、Hyper-V ハイパーバイザ レベルで事前に定義されている仮想ネットワーク設計を備えています。HyperFlex インストーラにより 4 つの異なる仮想スイッチが作成され、それぞれ Cisco UCS サービス プロファイルで定義された vNIC で処理される 2 つのアップリンクを使用します。

次の vSwitch が作成されます。

·         vswitch-hx-inband-mgmt：この vSwitch は自動インストールで作成されます。以下の図に示すように、これは、ジャンボ フレームを含まない、「hv-mgmt-a」および「hv-mgmt-b」をメンバー アダプタとする「team-hx-inband-mgmt」という名前のチーム化されたインターフェイスを使用するよう設定されます。「hv-mgmt-b」をスタンバイ アダプタとして使用して、「スイッチ非依存」および「Hyper-V ポート」それぞれにチーミングとロード バランシング モードが設定されます。Hyper-V ホストと ストレージ プラットフォーム コントローラ VM の管理インターフェイスがこの vSwitch に接続します。VLAN は、vNIC テンプレートに割り当てられているネイティブ VLAN でないため、Hyper-V 仮想スイッチ マネージャで定義されます。

·         vswitch-hx-storage-data：この vSwitch は自動インストールで作成されます。以下の図に示すように、これは、「storage-data-a」および「storage-data-b」をメンバー アダプタとする「team-hx-storage-data」という名前のチーム化されたインターフェイスを使用するように設定されます。この場合、ジャンボ フレームの使用が強く推奨されます。「storage-data-b」アダプタをスタンバイ モードで使用して、「スイッチ非依存」および「Hyper-V ポート」それぞれにチーミングとロード バランシング モードが設定されます。この vSwitch に接続されている Hyper-V ホストのストレージ インターフェイスは、SMB 経由で HX データストアに接続するために使用されます。VLAN は、vNIC テンプレートに割り当てられているネイティブ VLAN でないため、Hyper-V 仮想スイッチ マネージャで定義されます。

·         vswitch-hx-vm-network：この vSwitch は自動インストールで作成されます。以下の図に示すように、これは、ジャンボ フレームを含まない、「vm-network-a」および「vm-network-b」をメンバー アダプタとする「team-vm-network-data」という名前のチーム化されたインターフェイスを使用するよう設定されます。両方のアダプタをアクティブ モードで使用して、「スイッチ非依存」および「Hyper-V ポート」それぞれにチーミングとロード バランシング モードが設定されます。VLAN は、vNIC テンプレートに割り当てられているネイティブ VLAN でないため、Hyper-V 仮想スイッチ マネージャで定義されます。

·         vswitch-hx-livemigration：この vSwitch は自動インストールで作成されます。以下の図に示すように、これは、「hv-livemigrate-a」および「hv-livemigrate-b」をメンバー アダプタとする「team-hx-livemigration」という名前のチーム化されたインターフェイスを使用するように設定されます。この場合、ジャンボ フレームの使用が強く推奨されます。「hv-livemigrate-b」アダプタをスタンバイ モードで使用して、「スイッチ非依存」および「Hyper-V ポート」それぞれにチーミングとロード バランシング モードが設定されます。VLAN は、vNIC テンプレートに割り当てられているネイティブ VLAN でないため、Hyper-V 仮想スイッチ マネージャで定義されます。このインターフェイスへの IP アドレスは、インストール後に割り当てられます。

表 23 および図 33 に、HyperFlex インストーラによりデフォルトで作成される Hyper-V 仮想ネットワーキング設計の詳細を示します。

表 23     仮想スイッチ

図 33     Hyper-V ネットワーク設計

 

Discrete Device Assignment（I/O パススルー）

Discrete Device Assignment（DDA）は、デバイスが VM そのものに属している物理デバイスであるかのように、PCIe デバイス全体へのアクセスを VM に許可するために、Windows Server 2016 Hyper-V から導入された機能です。ハードウェア デバイスの適切なドライバを使用すると、ゲスト VM は、I/O のすべての要求を物理デバイスに直接送信して、ハイパーバイザをバイパスします。Cisco HyperFlex システムでは、ストレージ プラットフォーム コントローラ VM がこの機能を使用して、Cisco HX シリーズ ラックマウント サーバ内のシスコの 12 Gbps SAS HBA カードを完全な制御できます。これにより、コントローラ VM は、サーバに取り付けられた物理ディスクにハードウェア レベルで直接アクセスできます。物理ディスクは Cisco HX 分散ファイルシステムの構成に使用されます。Cisco SAS HBA に直接接続されているディスクのみ、コントローラ VM で管理されます。M.2 ドライブなど、さまざまなコントローラに接続されているその他のディスクは、Hyper-V ハイパーバイザの管理下にあります。

ストレージ プラットフォーム コントローラ VM

Cisco HyperFlex システムの主要コンポーネントは、HyperFlex クラスタ内の各ノードで実行されているストレージ プラットフォーム コントローラの仮想マシンです。コントローラ VM は連携して、Cisco HX 分散ファイルシステムを構成および調整し、すべてのゲスト VM IO 要求に対応します。Hyper-V ホストに導入されている仮想マシンは特定のホストに関連付けられ、Hyper-V ハイパーバイザとともに起動および停止します。このシステムは、ハイパーバイザとコントローラ VM の両方が起動するまでオンラインおよび準備完了と見なされません。

ストレージ コントローラ VM は、Cisco HX 分散ファイルシステムを管理および維持するカスタムのソフトウェアやサービスを実行します。コントローラ VM 内で実行されるサービスおよびプロセスは公開されないため、Hyper-V ホストはコントローラ VM で提供されているストレージ サービスについて直接的な情報を持っています。コントローラ VM の機能および Cisco HX 分散ファイルシステム機能の管理と表示は、HyperFlex Connect HTML 管理 Web ページを使用して行われます。

コントローラ VM の位置

すべての Cisco HX シリーズ M5 世代ラック サーバ（HX220c M5、HXAF220c M5、HX240c M5 および HXAF240c M5）におけるコントローラ VM の物理ストレージの位置は、それらのサーバ モデルの物理ディスクの位置と接続により同じです。ストレージ コントローラ VM は、Hyper-V 環境内の他の一般的な仮想マシンと運用上の違いはありません。VM には、Windows Server 2016 Hyper-V の DDA 機能で制御している SAS HBA と異なる位置で利用できるブート可能なルート ファイルシステムを備えた仮想ディスクが必要です。

·         サーバは、内部 M.2 フォーム ファクタ SSD から Windows Server 2016 Hyper-V をブートします。

·         Windows インストーラは M.2 SSD 上に 3 つのパーティションを作成します。500 MB がリカバリ パーティション用、90 GB が Windows OS ブート パーティション用で、30 GB のパーティションではコントローラ VM のルート ファイルシステムが 2.5 GB 仮想ディスク（/dev/sda）に格納されます。90 GB と 30 GB の両方のパーティションが、NTFS ファイル システムを使用してフォーマットされます。コントローラ VM は、SAS HBA の DDA 制御によって前面と背面のホットスワップ可能なすべてのディスクを完全に制御できます。コントローラ VM のオペレーティング システムは、通常「ハウスキーピング」ディスクと呼ばれる 240 GB SSD を /dev/sdb として認識し、HyperFlex バイナリを配置してこのディスクにログオンします。コントローラ VM の OS で認識される他のディスクは、HX 分散ファイルシステムでキャッシュとキャパシティ層に使用されます。

次の図に、Cisco HX M5 世代サーバ用 Hyper-V ホストでのストレージ プラットフォーム コントローラ VM の配置の詳細を示します。

図 34     HX220c M5 コントローラ VM の配置

図 35     HX240c M5 コントローラ VM の配置

HyperFlex データストア

新しい HyperFlex クラスタには仮想マシン ストレージ用に設定されたデフォルトのデータストアがないため、vCenter Web クライアント プラグインまたは HyperFlex Connect の GUI を使用してデータストアを作成する必要があります。すべての HyperFlex データストアはシン プロビジョニングされることを認識することが重要です。つまり、データストアの設定サイズは、HyperFlex データストアで利用できる実際の領域をはるかに超える場合があります。実際の領域使用によって空き領域が少なくなると、HyperFlex Connect では HyperFlex システムによってアラートが発生し、アラートは自動サポート電子メール アラートにより送信されます。HyperFlex クラスタ化ファイルシステムの全体的な領域使用量は、デフォルトの重複排除と圧縮機能により最適化されます。

図 36     データストアの例

CPU リソース コントロール

ストレージ コントローラ VM は Cisco HX 分散データ プラットフォームの重要な機能を提供するため、HyperFlex インストーラによってコントローラ VM の CPU リソース コントロールが設定されます。このリソース コントロールにより、コントローラ VM は、Hyper-V ハイパーバイザ ホストの物理 CPU リソースがゲスト VM により大量に使用されている場合でも、最小レベルの CPU リソースを確保することができます。表 24 に、ストレージ コントローラ VM の CPU リソース コントロール設定の詳細を示します。

表 24     コントローラ VM CPU の予約

メモリ リソースの予約

ストレージ コントローラ VM は、Cisco HX 分散データ プラットフォームの重要な機能を提供するため、HyperFlex インストーラはコントローラ VM に静的メモリ量を割り当てて設定します。これにより、コントローラ VM は電源がオンのときに割り当てられているすべてのメモリ リソースにアクセスできます。表 25  に、ストレージ コントローラ VM のメモリ リソース予約の詳細を示します。

表 25     コントローラ VM メモリ予約

Installing the Cisco HyperFlex system on Hyper-V is primarily done via a deployable HyperFlex installer virtual machine available for download at cisco.com as a vhdx file. The installer VM performs the Cisco UCS configuration work, the configuration of Hyper-V on the HyperFlex hosts, the installation of the HyperFlex HX Data Platform software and creation of the HyperFlex cluster. Because this simplified installation method has been developed by Cisco, this CVD will not give detailed manual steps for the configuration of all the elements that are handled by the installer. The following sections will guide you through the prerequisites and manual steps needed prior to using the HyperFlex installer, how to utilize the HyperFlex Installer, and finally how to perform the remaining post-installation tasks.

Prerequisites

The following sections provide the required prerequisites.

IP Addressing

To install the HX Data Platform, an OVF installer appliance must be deployed on a separate virtualization host, which is not a member of the HyperFlex cluster. The HyperFlex installer requires one IP address on the management network and the HX installer appliance IP address must be able to communicate with Cisco UCS Manager, Hyper-V management IP addresses on the HX hosts, Windows Active Directory and DNS server and any management server IP addresses from where the Windows failover cluster will be managed.

Additional IP addresses for the Cisco HyperFlex system need to be allocated from the appropriate subnets and VLANs to be used. IP addresses that are used by the system fall into the following groups:

·         Cisco UCS Manager: These addresses are used and assigned by Cisco UCS Manager. Three IP addresses are used by Cisco UCS Manager; one address is assigned to each Cisco UCS Fabric Interconnect, and the third IP address is a roaming address for management of the Cisco UCS cluster. In addition, at least one IP address per Cisco UCS blade or HX-series rack-mount server is required for the hx-ext-mgmt IP address pool, which are assigned to the CIMC interface of the physical servers. Since these management addresses are assigned from a pool, they need to be provided in a contiguous block of addresses. These addresses must all be in the same subnet.

·         HyperFlex and Hyper-V Management: These addresses are used to manage the Hyper-V hypervisor hosts, and the HyperFlex Storage Platform Controller VMs. Two IP addresses per node in the HyperFlex cluster are required from the same subnet, an additional IP address is required for roaming HyperFlex cluster management interface and another additional IP address is required for the Windows failover cluster. These addresses can be assigned from the same subnet at the Cisco UCS Manager addresses, or they may be separate.

·         HyperFlex Storage: These addresses are used by the HyperFlex Storage Platform Controller VMs, and also the Hyper-V hypervisor hosts, for sending and receiving data to/from the HX Distributed Data Platform Filesystem. Two IP addresses per node in the HyperFlex cluster are required from the same subnet, and a single additional IP address is needed as the roaming HyperFlex cluster storage interface. It is recommended to provision a subnet that is not used in the network for other purposes, and it is also possible to use non-routable IP address ranges for these interfaces. Finally, if the Cisco UCS domain is going to contain multiple HyperFlex clusters, it is recommended to use a different subnet and VLAN ID for the HyperFlex storage traffic for each cluster. This is a safer method, guaranteeing that storage traffic from multiple clusters cannot intermix.

·         Live Migration: These IP addresses are used by the Hyper-V hypervisor hosts on interfaces to enable live migration capabilities. One or more IP addresses per node in the HyperFlex cluster are required from the same subnet.

The following tables provide space to input the required IP addresses for the installation of an 8 node standard HyperFlex cluster by listing the addresses required, plus an example IP configuration.

 

表 26     HyperFlex Standard Cluster IP Addressing

表 27     HyperFlex Standard Cluster Example IP Addressing for a 4-Node Cluster

Configure the Active Directory for Constrained Delegation

A Windows 2008 R2 and above forest/domain level Active Directory (AD) is required for the successful installation and operation of Cisco HyperFlex system with Hyper-V.

The steps in this topic must be completed to enable constrained delegation. Constrained delegation is used to join computers to the Active Directory. You provide constrained delegation information through the HX Data Platform Installer. Constrained delegation uses a service account, which is created manually. This service account is used to then log in to Active Directory, join the computers, and perform the authentications from the HyperFlex Storage Controller VM.

The Active Directory computer accounts applied to every node in the HyperFlex cluster include:

·         Hyper-V host

·         HyperFlex Storage Controller VM

·         Hyper-V host Cluster namespace

·         Server Message Block (SMB) Share namespace for the HyperFlex cluster

To configure constrained delegation, complete the following steps:

1.    Create an hxadmin domain user account as HX service account.

2.    Create an Organization Unit (OU) in Active Directory (AD), for example, HyperFlex:

a.     Use the Active Directory Users and Computers management tool to create the OU. Select View > Advanced Features to enable advance features. Select the OU that you created. For example, HyperFlex > Properties > Attribute Editor.

b.    Find the distinguished name attribute in the OU, and record the information as this will be required in the Constrained Delegation wizard of the HX Data Platform Installer wizard. The values will look like this: OU=HyperFlex,DC=contoso,DC=com.

c.     Use the Get-ADOrganizationalUnit cmdlet to get an organizational unit (OU) object or to perform a search to get multiple OUs.

Get-ADOrganizationalUnit -Filter 'Name -like "Hyp*"' | Format-Table Name, DistinguishedName

図 37     PowerShell Get-ADOrganizationalUnit

3.    Use Active Directory Users and Computers management tool to grant full permissions for the hxadmin user for the newly created OU. Make sure that Advanced features are enabled. If not, go back to Step 2.

a.     Select the OU that you created. For example, HyperFlex > Properties > Security > Advance.

b.    Click Change Owner and choose your hxadmin user.

c.     Click Add in the Advanced view.

d.    Select the principal and choose the hxadmin user. Choose Full Control and click OK.

図 38     Change Ownership of the AD OU

Prepopulate AD DNS with Records

The AD integrated DNS server is also required to resolve Fully Qualified Domain Names (FQDN).

To create DNS records, complete the following steps:

1.    Create a record and reverse the PTR records for the listed devices to avoid installation failures:

-         For each Hyper-V hosts’ management and storage interfaces

-         For each Storage Controller Nodes’ management and storage interfaces

-         HX Cluster CIP

-         Windows Failover Cluster IP

The following tables provide a place to input the required DNS information for the installation and also lists the information required, and provide an example configuration.

表 28     DNS Server Information

表 29     DNS Server Example Information

NTP

Consistent time clock synchronization is required across the components of the HyperFlex system, provided by reliable NTP servers, accessible for querying in the Cisco UCS Management network group, and the HyperFlex and Hyper-V Management group. NTP is used by Cisco UCS Manager, the Hyper-V hypervisor hosts, and the HyperFlex Storage Platform Controller VMs. For HyperFlex System with Hyper-V, AD Domain Controller IP or domain name is required to be used as reliable NTP source for consistent time clock synchronization.

VLANs

Prior to the installation, the required VLAN IDs need to be documented, and created in the upstream network if necessary. At a minimum, there are 4 VLANs that need to be trunked to the Cisco UCS Fabric Interconnects that comprise the HyperFlex system; a VLAN for the HyperFlex and Hyper-V Management group, a VLAN for the HyperFlex Storage group, a VLAN for the Live Migration group, and at least one VLAN for the guest VM traffic. The VLAN IDs must be supplied during the HyperFlex Cisco UCS configuration step, and the VLAN names can optionally be customized.

The following tables provide a place to input the required VLAN information and also provide an example configuration.

表 30     VLAN Information

表 31     VLAN Example Information

Network Uplinks

The Cisco UCS uplink connectivity design needs to be finalized prior to beginning the installation. One of the early manual tasks to be completed is to configure the Cisco UCS network uplinks and verify their operation, prior to beginning the HyperFlex installation steps. Refer to the network uplink design possibilities in the ネットワークの設計 section.

The following tables provide a place to input the required network uplink information for the installation and provide an example configuration:

表 32     Network Uplink Configuration

表 33     Network Uplink Example Configuration

Usernames and Passwords

Several usernames and passwords need to be defined or known as part of the HyperFlex installation process. The following tables provide a place to input the required username and password information and also provide an example configuration.

表 34     Usernames and Passwords

表 35     Example Usernames and Passwords

Physical Installation

Install the Fabric Interconnects, the HX-Series rack-mount servers according to their corresponding hardware installation guides listed below.

Cisco UCS 6200 Series Fabric Interconnect:

http://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/hw/6200-install-guide/6200_HIG.pdf

Cisco UCS 6300 Series Fabric Interconnect:

https://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/hw/6300-install-guide/6300_Series_HIG.html

HX220c M5 Server:

https://www.cisco.com/c/en/us/td/docs/hyperconverged_systems/HX_series/HX220c_M5/HX220c_M5.html

HX240c M5 Server:

https://www.cisco.com/c/en/us/td/docs/hyperconverged_systems/HX_series/HX240c_M5/HX240c_M5.html

Cabling

The physical layout of the HyperFlex system is described in the 物理トポロジ section. The Fabric Interconnects and HX-series rack-mount servers need to be cabled properly before beginning the installation activities. The information in this section is provided as a reference for cabling the physical equipment in this Cisco Validated Design environment.

The following tables provide an example cabling map to install a Cisco HyperFlex system with four HyperFlex converged servers.

表 36     Cisco Nexus 9396PX-A Cabling Information

表 37     Cisco Nexus 9396PX-B Cabling Information

表 38     Cisco UCS Fabric Interconnect A Cabling Information

表 39     Cisco UCS Fabric Interconnect B Cabling Information

Cisco UCS Installation

This section describes the steps to initialize and configure the Cisco UCS Fabric Interconnects and how to prepare them for the HyperFlex installation.

Cisco UCS Fabric Interconnect A

To configure Fabric Interconnect A, complete the following steps:

1.    Make sure the Fabric Interconnect cabling is properly connected, including the L1 and L2 cluster links, and power the Fabric Interconnects on by inserting the power cords.

2.    Connect to the console port on the first Fabric Interconnect, which will be designated as the A fabric device. Use the supplied Cisco console cable (CAB-CONSOLE-RJ45=), and connect it to a built-in DB9 serial port, or use a USB to DB9 serial port adapter.

3.    Start your terminal emulator software.

4.    Create a connection to the COM port of the computer’s DB9 port, or the USB to serial adapter. Set the terminal emulation to VT100, and the settings to 9600 baud, 8 data bits, no parity, and 1 stop bit.

5.    Open the connection just created. You may have to press ENTER to see the first prompt.

6.    Configure the first Fabric Interconnect, using the following example as a guideline:

           ---- Basic System Configuration Dialog ----

  This setup utility will guide you through the basic configuration of

  the system. Only minimal configuration including IP connectivity to

  the Fabric interconnect and its clustering mode is performed through these steps.

 

  Type Ctrl-C at any time to abort configuration and reboot system.

  To back track or make modifications to already entered values, complete input till end of section and answer no  when prompted to apply configuration.

  Enter the configuration method. (console/gui) ? console

  Enter the setup mode; setup newly or restore from backup. (setup/restore) ? setup

  You have chosen to setup a new Fabric interconnect. Continue? (y/n): y

  Enforce strong password? (y/n) [y]: y

  Enter the password for "admin":

  Confirm the password for "admin":

  Is this Fabric interconnect part of a cluster(select 'no' for standalone)? (yes/no) [n]: yes

  Enter the switch fabric (A/B) []: A

  Enter the system name:  HXHV-FI-A

  Physical Switch Mgmt0 IP address : 10.29.149.203

  Physical Switch Mgmt0 IPv4 netmask : 255.255.255.0

  IPv4 address of the default gateway : 10.29.149.1

  Cluster IPv4 address : 10.29.149.205

  Configure the DNS Server IP address? (yes/no) [n]: yes

    DNS IP address : 10.29.149.222

  Configure the default domain name? (yes/no) [n]: yes

    Default domain name : hxhvdom.local

  Join centralized management environment (UCS Central)? (yes/no) [n]: no

  Following configurations will be applied:

    Switch Fabric=A

    System Name=HXHV-FI-A

    Enforced Strong Password=no

    Physical Switch Mgmt0 IP Address=10.29.149.203

    Physical Switch Mgmt0 IP Netmask=255.255.255.0

    Default Gateway=10.29.149.1

    Ipv6 value=0

    DNS Server=10.29.149.222

    Domain Name=hx.lab.cisco.com

    Cluster Enabled=yes

    Cluster IP Address=10.29.149.205

    NOTE: Cluster IP will be configured only after both Fabric Interconnects are initialized

 Apply and save the configuration (select 'no' if you want to re-enter)? (yes/no): yes

  Applying configuration. Please wait.

  Configuration file - Ok

Cisco UCS Fabric Interconnect B

To configure Fabric Interconnect B, complete the following steps:

1.    Connect to the console port on the first Fabric Interconnect, which will be designated as the B fabric device. Use the supplied Cisco console cable (CAB-CONSOLE-RJ45=), and connect it to a built-in DB9 serial port, or use a USB to DB9 serial port adapter.

2.    Start your terminal emulator software.

3.    Create a connection to the COM port of the computer’s DB9 port, or the USB to serial adapter. Set the terminal emulation to VT100, and the settings to 9600 baud, 8 data bits, no parity, and 1 stop bit.

4.    Open the connection just created. You may have to press ENTER to see the first prompt.

5.    Configure the second Fabric Interconnect, using the following example as a guideline:

           ---- Basic System Configuration Dialog ----

  This setup utility will guide you through the basic configuration of

  the system. Only minimal configuration including IP connectivity to

  the Fabric interconnect and its clustering mode is performed through these steps.

  Type Ctrl-C at any time to abort configuration and reboot system.

  To back track or make modifications to already entered values,

  complete input till end of section and answer no when prompted

  to apply configuration.

 

  Enter the configuration method. (console/gui) ? console

  Installer has detected the presence of a peer Fabric interconnect. This Fabric interconnect will be added to the cluster. Continue (y/n) ? y

  Enter the admin password of the peer Fabric interconnect:

    Connecting to peer Fabric interconnect... done

    Retrieving config from peer Fabric interconnect... done

    Peer Fabric interconnect Mgmt0 IPv4 Address: 10.29.149.204

    Peer Fabric interconnect Mgmt0 IPv4 Netmask: 255.255.255.0

    Cluster IPv4 address          : 10.29.149.205

    Peer FI is IPv4 Cluster enabled. Please Provide Local Fabric Interconnect Mgmt0 IPv4 Address

  Physical Switch Mgmt0 IP address : 10.29.149.204

  Apply and save the configuration (select 'no' if you want to re-enter)? (yes/no): yes

  Applying configuration. Please wait.

  Configuration file – Ok

Cisco UCS Manager

Log in to the Cisco UCS Manager environment and complete the following steps:

1.    Open a web browser and navigate to the Cisco UCS Manager Cluster IP address, for example https://10.29.149.205

図 39     Cisco UCS Manager

2.    Click the “Launch UCS Manager” HTML link to open the Cisco UCS Manager web client.

3.    At the login prompt, enter “admin” as the username, and enter the administrative password that was set during the initial console configuration.

4.    Click No when prompted to enable Cisco Smart Call Home. This feature can be enabled at a later time.

Cisco UCS Configuration

Configure the following ports, settings, and policies in the Cisco UCS Manager interface prior to beginning the HyperFlex installation.

Cisco UCS Firmware

Your Cisco UCS firmware version should be correct as shipped from the factory, as documented in the ソフトウェア コンポーネント section. This document is based on Cisco UCS infrastructure, B-series bundle, and C-Series bundle software versions 3.2(3d). If the firmware version of the Fabric Interconnects is older than this version, the firmware must be upgraded to match the requirements prior to completing any further steps.

To upgrade the Cisco UCS Manager version, the Fabric Interconnect firmware, and the server bundles, refer to these instructions:

https://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/ucs-manager/GUI-User-Guides/Firmware-Mgmt/3-2/b_UCSM_GUI_Firmware_Management_Guide_3_2.html

NTP

To synchronize the Cisco UCS environment time to the NTP server, complete the following steps:

1.    In Cisco UCS Manager, click the Admin button on the left-hand side. 

2.    In the navigation pane, select All > Time Zone Management, and click the carat next to Time Zone Management to expand it.

3.    Click Timezone. 

4.    In the Properties pane, select the appropriate time zone in the Time Zone menu. 

5.    Click Add NTP Server. 

6.    Enter the NTP server IP address and click OK. 

7.    Click OK.

8.    Click Save Changes and then click OK.

Uplink Ports

The Ethernet ports of a Cisco UCS Fabric Interconnect are all capable of performing several functions, such as network uplinks or server ports, and more. By default, all ports are unconfigured, and their function must be defined by the administrator. To define the specified ports to be used as network uplinks to the upstream network, complete the following steps:

1.    In Cisco UCS Manager, click the Equipment button on the left-hand side.

2.    Select Fabric Interconnects > Fabric Interconnect A > Fixed Module or Expansion Module as appropriate > Ethernet Ports.

3.    Select the ports that are to be uplink ports, right click them, and click Configure as Uplink Port.

4.    Click Yes to confirm the configuration, and click OK.

5.    Select Fabric Interconnects > Fabric Interconnect B > Fixed Module or Expansion Module as appropriate > Ethernet Ports.

6.    Select the ports that are to be uplink ports, right-click them, and click Configure as Uplink Port.

7.    Click Yes to confirm the configuration and click OK.

8.    Verify all the necessary ports are now configured as uplink ports, where their role is listed as “Network.”

図 40     Uplinks Ports

Uplink Port Channels

If the Cisco UCS uplinks from one Fabric Interconnect are to be combined into a port channel or vPC, you must separately configure the port channels, which will use the previously configured uplink ports. To configure the necessary port channels in the Cisco UCS environment, complete the following steps:

1.    In Cisco UCS Manager, click the LAN button on the left-hand side. 

2.    Under LAN > LAN Cloud, click the carat to expand the Fabric A tree. 

3.    Right-click Port Channels underneath Fabric A, then click Create Port Channel. 

4.    Enter the port channel ID number as the unique ID of the port channel (this does not have to match the port-channel ID on the upstream switch). 

5.    Enter the name of the port channel. 

6.    Click Next.

7.    Click each port from Fabric Interconnect A that will participate in the port channel, and click the >> button to add them to the port channel.

8.    Click Finish.

9.    Click OK.

10.  Under LAN > LAN Cloud, click the carat to expand the Fabric B tree. 

11.  Right-click Port Channels underneath Fabric B, then click Create Port Channel. 

12.  Enter the port channel ID number as the unique ID of the port channel (this does not have to match the port-channel ID on the upstream switch). 

13.  Enter the name of the port channel. 

14.  Click Next.

15.  Click each port from Fabric Interconnect B that will participate in the port channel and click the >> button to add them to the port channel.

16.  Click Finish.

17.  Click OK.

18.  Verify the necessary port channels have been created. It can take a few minutes for the newly formed port channels to converge and come online.

図 41     Uplink Port Channels

Server Ports

The Ethernet ports of a Cisco UCS Fabric Interconnect connected to the rack-mount servers must be defined as server ports. When a server port is activated, the connected server or chassis will begin the discovery process shortly afterwards. Rack-mount servers are automatically numbered in Cisco UCS Manager in the order which they are first discovered. For this reason, it is important to configure the server ports sequentially in the order you wish the physical servers and/or chassis to appear within Cisco UCS Manager. For example, if you installed your servers in a cabinet or rack with server #1 on the bottom, counting up as you go higher in the cabinet or rack, then you need to enable the server ports to the bottom-most server first, and enable them one-by-one as you move upward. You must wait until the server appears in the Equipment tab of Cisco UCS Manager before configuring the ports for the next server.

Auto Configuration

A new feature in Cisco UCS Manager 3.1(3a) and later is Server Port Auto-Discovery, which automates the configuration of ports on the Fabric Interconnects as server ports when a Cisco UCS rack-mount server is connected to them. The firmware on the rack-mount servers must already be at version 3.1(3a) or later in order for this feature to function properly. Enabling this policy eliminates the manual steps of configuring each server port, however it does configure the servers in a somewhat random order. For example, the rack-mount server at the bottom of the stack, which you may refer to as server #1, and you may have plugged into port 1 of both Fabric Interconnects, could be discovered as server 2, or server 5, etc. In order to have fine control of the rack-mount server or chassis numbering and order, the manual configuration steps listed in the next section must be followed.

To configure automatic server port definition and discovery, complete the following steps:

1.    In Cisco UCS Manager, click the Equipment button on the left-hand side.

2.    In the navigation tree, under Policies, click Port Auto-Discovery Policy

3.    In the properties pane, set Auto Configure Server Port option to Enabled.

4.    Click Save Changes. 

5.    Click OK.

6.    Wait for a brief period, until the rack-mount servers appear in the Equipment tab underneath Equipment > Rack Mounts > Servers, or the chassis appears underneath Equipment > Chassis.

図 42     Port Auto-Discovery Policy

Manual Configuration

To manually define the specified ports to be used as server ports and have control over the numbering of the servers, complete the following steps:

1.    In Cisco UCS Manager, click the Equipment button on the left-hand side.

2.    Select Fabric Interconnects > Fabric Interconnect A > Fixed Module or Expansion Module as appropriate > Ethernet Ports.

3.    Select the first port that is to be a server port, right click it, and click Configure as Server Port.

4.    Click Yes to confirm the configuration and click OK.

5.    Select Fabric Interconnects > Fabric Interconnect B > Fixed Module or Expansion Module as appropriate > Ethernet Ports.

6.    Select the matching port as chosen for Fabric Interconnect A that is to be a server port, right-click it, and click Configure as Server Port.

7.    Click Yes to confirm the configuration and click OK.

8.    Wait for a brief period, until the rack-mount server appears in the Equipment tab underneath Equipment > Rack Mounts > Servers, or the chassis appears underneath Equipment > Chassis.

9.    Repeat Steps 1-8 for each pair of server ports, until all rack-mount servers and chassis appear in the order desired in the Equipment tab.

Server Discovery

As previously described, when the server ports of the Fabric Interconnects are configured and active, the servers connected to those ports will begin a discovery process. During discovery, the servers’ internal hardware inventories are collected, along with their current firmware revisions. Before continuing with the HyperFlex installation processes, which will create the service profiles and associate them with the servers, wait for all of the servers to finish their discovery process and to show as unassociated servers that are powered off, with no errors.

Deploying HX Data Platform Installer on Hyper-V Infrastructure

To deploy HX Data Platform Installer using Microsoft Hyper-V Manager to create a HX Data Platform Installer virtual machine, complete the following steps:

1.    Locate and download the HX Data Platform Installer.vhdx zipped file (for example, Cisco-HX-Data-Platform-Installer-v3.0.1c-29681-hyperv.vhdx) from the Cisco Software Downloads site.

2.    Extract the zipped folder to your local computer and copy the .vhdx file to the Hyper-V host where you want to host the HX Data Platform Installer. For example,

3.    In Hyper-V Manager, navigate to one of the Hyper-V servers.

4.    Select the Hyper-V server, and right-click and select New > Create a virtual machine. The Hyper-V Manager New Virtual Machine Wizard displays.

図 43     Hyper-V Manager – New VM

5.    In the Before you Begin page, click Next.

6.    In the Specify Name and Location page, enter a name and location for the virtual machine where the virtual machine configuration files will be stored. Click Next.

図 44     Hyper-V Manager – Specify VM Name

7.    In the Specify Generation page, select Generation 1. Click Next.

図 45     Hyper-V Manger – Specify VM Generation

8.    In the Assign Memory page, set the startup memory value to 4096 MB. Click Next.

図 46     Hyper-V Manager – Assign VM Memory

9.    In the Configure Networking page, select a network connection for the virtual machine to use from a list of existing virtual switches. Click Next.

図 47     Hyper-V Manager – Configure VM Networking

10.  In the Connect Virtual Hard Disk page, select Use an existing virtual hard disk, and browse to the folder on your Hyper-V host that contains the .vhdx file. Click Next.

図 48     Hyper-V Manager -  Connect Virtual Hard Disk

11.  In the Summary page, verify that the list of options displayed are correct. Click Finish.

12.  After the VM is created, power it ON, and launch the GUI.

13.  Right-click the VM and choose Connect.

14.  Choose Action > Start (Ctrl+S).

15.  When the VM is booted, make a note of the URL (IP address of the VM). You will need this information in the following steps in the installation.

図 49     HXDP Installer

Assign a Static IP Address to the HX Data Platform Installer VM

During a default installation of the VM, the HX Installer will try and automatically obtain an IP address using DHCP. To ensure that you have the same IP address at every boot, you can assign a static IP address on the VM.

To configure your network interface (/etc/network/interfaces) with a static IP address. Make sure you change the relevant settings to suit your network and complete the following steps:

1.    Log in to your Installer machine via the Hyper-V Console.

2.    Open the /etc/network/interfaces file and add the following lines to the file:

auto eth0 # eth0 interface

iface eth0 inet static # configures static IP for the eth0 interface

address XX.XX.XX.XX # Static IP address for the installer VM

netmask 255.255.0.0 # netmask for the Static IP address

gateway XX.XX.X.X # gateway for the Static IP address

metric 100

dns-nameservers XX.XX.X.XXX #DNS name servers used by the HX installer

dns-search <DNS_Search_Name>.local # DNS search domain name used by the installer

3.    Save the file.

4.    Reboot the VM for changes to take effect.

5.    Verify the settings as shown in the following figures.

図 50     Show Interfaces

図 51     Routing Table

図 52     /etc/resolv.conf file for Nameserver and Search Domain

HyperFlex Installation

The HyperFlex installer will guide you through the process of setting up your cluster. The Windows OS is not factory installed and requires the customer to provide media for the installation. Before you begin with the HX installation, make sure Windows Server 2016 is installed on the HX nodes; for more information about OS installation, refer to Appendix B section, “Install Microsoft Windows Server 2016.” The HyperFlex installation for Microsoft Hyper-V is completed in two phases using the customized version of the HX installation workflow:

·         In phase 1 of the HX installation, only ‘Run UCS Configuration” workflow is executed to prepare and configure the Cisco UCS environment, and

·         In phase 2 of HX installation, the remaining three workflows (Hypervisor Configuration, HX Deploy Software and Create HX Cluster) are executed to complete the deployment of HX Cluster.

HyperFlex Installation - Phase 1

This phase of HyperFlex installation will guide you through the process of Configuring Cisco UCS Manager using HyperFlex installer.

Configure Cisco UCS Manager using HX Installer

1.    Launch the HX Data Platform Installer. In a browser, enter the URL for the VM where HX Data Platform Installer was installed.

2.    Use the credentials: username: root, password: Cisco123

3.    Read the EULA. Click I accept the terms and conditions.

4.    Verify the product version listed in the lower right corner is correct. This version must be 3.0(1c) or later. Enter the credentials and click Login.

図 53     Cisco HX Data Platform Installer Login Page

5.    From the HX Data Platform Installer Workflow page, select I know what I'm doing, let me customize my workflow.

図 54     HyperFlex Installer - Workflow

6.    On the next screen, click Run UCS Manager Configuration and then click Continue.

図 55     HyperFlex Installer – Select a Workflow

7.    Click Confirm in the popup that displays.

8.    Enter the UCS Manager credentials.

9.    Click Confirm and Proceed to bypass the warning. Complete the following fields for Cisco UCS Manager.

表 40     Cisco UCS Manager Details

図 56     HyperFlex Installer – Cisco UCS Manager Credentials

10.    Click Continue.

The installer will connect to Cisco UCS Manager and query for available servers. The configuration pane is populated as the installer progresses. You can at any time save the JSON file so you can re-use it for subsequent installations. This feature works on all the different workflows in the installer. After the query finishes a screen displays showing the available servers.

図 57     HyperFlex Installer – Server Selection

11.  Choose all the servers that you want to install in the cluster and click Continue.

12.  In the VLAN Configuration section, enter the details as shown in the following screenshot.

13.  HyperFlex needs to have at least 4 VLANs to function; each VLAN needs to be on different IP subnets and extended from the fabric interconnects to the connecting uplink switches, to make sure that traffic can flow from Primary Fabric Interconnect (Fabric A) to Subordinate Fabric Interconnect (Fabric B).

 

 

図 58 shows the various fields in the VLAN Configuration pane where you need to enter values.

図 58     HyperFlex Installer – Cisco UCS Manager Configuration

14.  In the MAC Pool and ‘hx-ext-mgmt’ IP Pool for Out-of-band CIMC sections, enter the details as shown below.

The Out-Of-Band network needs to be on the same subnet as the Cisco UCS Manager.

You can add multiple blocks of addresses as a comma separated line.

iSCSI Storage and FC Storage are used for adding external storage to the HyperFlex cluster.

15.  Use the details from the table below to complete the fields in the Advanced section.

 

16.  Click Start. The installer validates your input and then begins configuring Cisco UCS Manager.

When the HX Data Platform Installer is finished, then you are ready to proceed to next step of installing the Windows OS

図 59     HyperFlex Installer – Cisco UCS Manager Configuration Progress

HyperFlex Installation - Phase 2

After the installation of Windows OS, use the customized workflow of HX installer and select the remaining three options: Run Hypervisor Configuration, HX Deploy Software and Create HX Cluster to continue and complete the deployment of HyperFlex Cluster.

To deploy HX cluster, complete the following steps:

1.    Open the HX Data Platform Installer and log in.

2.    You might need to “start over” since the previous workflow was finished. Click the gear icon in the top right corner and select Start Over.

3.    In the main menu, select I know what I'm doing, let me customize my workflow. In the Warning dialog box, click Confirm and Proceed.

図 60     HyperFlex Installer - Workflow

4.    Select Run Hypervisor Configuration, Deploy HX Software and Create HX Cluster and click Continue.

図 61     HyperFlex Installer – Select a Workflow

5.    Enter the information for the Cisco UCS Manager, Domain Information, and Hypervisor Credentials. Optionally, you can import a JSON file that has the configuration information, except for the appropriate passwords. 

図 62     HyperFlex Installer – Cisco UCS Manager Credentials

6.    Click Continue

7.    Select the Unassociated HX server models that are to be used in the new HX cluster and click Continue. If the Fabric Interconnect server ports were not enabled in the earlier step, you have the option to enable them here to begin the discovery process by clicking the Configure Server Ports link.

図 63     HyperFlex Installer – Server Selection

8.    In the Cisco UCS Manager Configuration section, enter the network information as you have done in the Error! Reference source not found. section and make sure the data is the same. Click Continue.

9.    In the Hypervisor Configuration section, enter the subnet mask, gateway, and IP addresses and hostnames for the Hypervisors. The IP addresses will be assigned via Serial over LAN (SoL) through Cisco UCS Manager to the Hyper-V host systems as their management IP addresses. Click Continue

図 64     HyperFlex Installer – Hypervisor Configuration

10.  Assign the additional IP addresses for the Management and Data networks as well as the cluster IP addresses, then click Continue.

図 65     HyperFlex Installer – IP Addresses

11.  Enter the HX Cluster Name and Replication Factor setting.

12.  Enter the Password that will be assigned to the Controller VMs.

13.   Enter the System Services information for DNS, NTP, and Time Zone. Make sure to use the Active Directory domain name for NTP.

14.  Enable Connected Services in order to enable management via Cisco Intersight, and enter the email address to receive service ticket alerts, then scroll down.

15.  Under Advanced Configuration, validate that VDI is not checked (applicable to hybrid nodes only). Jumbo Frames should be enabled to ensure the best performance, unless the upstream network is not capable of being configured to transmit jumbo frames. It is not necessary to select Clean up disk partitions for a new cluster installation, but an installation using previously used converged nodes should have the option checked.

16.  Click Start.

17.  Validation of the configuration will now start. If there are warnings, you can review them and click “Skip Validation” if the warnings are acceptable.  If there are no warnings, the installer will automatically continue on to the configuration process.

図 66     HyperFlex Installer – Cluster Configuration

18.  After the pre-installation validations, the HX installer will proceed to complete the deployment and perform all the steps listed at the top of the screen along with their status.

図 67     HyperFlex Installer – Installation Progress

19.   Review the Summary screen after the install completes by selecting Summary on the top right of the window.

図 68     HyperFlex Installer – Installation Summary

20.  After the install completes, you may export the cluster configuration by clicking the downward arrow icon in the top right of the screen. Click OK to save the configuration to a JSON file. This file can be imported to save time if you need to rebuild the same cluster in the future, and stored as a record of the configuration options and settings used during the installation.

図 69     HyperFlex Installer – Export Configuration

21.  After the installation completes, you can click the Launch HyperFlex Connect button to immediately log in to the HTML5 management GUI.

図 70     HX Connect UI

Post Installation Tasks

Create Datastores

Create a datastore for storing the virtual machines. This task can be completed by using the HyperFlex Connect HTML management webpage. The Datastores created using HX Connect creates a SMB share which the HyperFlex Hyper-V nodes can use it to store virtual machine files. To configure a new datastore via the HyperFlex Connect webpage, complete the following steps:

1.    Use a web browser to open the HX cluster IP management URL.

2.    Enter the credentials.

3.    Click Login.

4.    Click Datastores in the left pane and click Create Datastore.

図 71     HX Connect - Datastores

5.    In the popup, enter the Datastore Name and size. For most applications, leave the Block Size at the default of 8K. Only dedicated Virtual Desktop Infrastructure (VDI) environments should choose the 4K Block Size option.

図 72     HX Connect – Create Datastore

6.    Click Create Datastore.

図 73     HX Connect – Datastore Status

Constrained Delegation (Optional)

Windows provides a safer form of delegation that could be used by services. When it is configured, constrained delegation restricts the services to which the specified server can act on the behalf of a user. In other words. Constrained Delegation gives granular control over impersonation. When the remote management requests are made to the Hyper-V hosts, it needs to make those requests to the storage on behalf of the caller. This is allowed if that host is trusted for delegation for the CIFS service principal of HX Storage.

Constrained Delegation requires that the option for the security setting User Account Control: Behavior of the elevation prompt for Administrators in Admin Approval Mode is set to Elevate without Prompting. This will prevent the global AD policy from overriding policy on HX OU.

To configure constrained delegation using domain administrator, complete the following steps on each Hyper-V host in the HX Cluster and also on management hosts (with RSAT tools from where you want to remotely perform administrator tasks):

1.    Open the Active Directory Users and Computers snap-in. (From Server Manager, select the server if it is not selected, click Tools >> Active Directory Users and Computers).

2.    From the navigation pane in Active Directory Users and Computers, select the domain and double-click the Computers folder.

3.    From the Computers folder, right-click the computer account of the source server and then click Properties.

図 74     Active Directory Users and Computers

4.    From the Properties tab, click the Delegation tab.

5.    On the delegation tab, select Trust this computer for delegation to the specified services only and then select Use any authentication protocol.

図 75     Active Directory Users and Computers – Server Properties

6.    Click Add.

7.    From Add Services, click Users or Computers.

8.    From Select Users or Computers, type the name of the destination server.

9.    Click Check Names to verify it and then click OK.

10.  From Add Services, in the list of available services, do the following and then click OK:

a.     To move virtual machine storage, select cifs. This is required if you want to move the storage along with the virtual machine, as well as if you want to move only a virtual machine's storage. If the server is configured to use SMB storage for Hyper-V, this should already be selected.

b.    To move virtual machines, select Microsoft Virtual System Migration Service.

図 76     Active Directory Users and Computers – Constrained Delegation

11.  On the Delegation tab of the Properties dialog box, verify that the services you selected in the previous step are listed as the services to which the destination computer can present delegated credentials. Click OK.

12.  From the Computers folder, select the computer account of the destination server and repeat the process. In the Select Users or Computers dialog box, be sure to specify the name of the source server.

Assign IP Addresses to Live Migration and VM Network Interfaces

To assign a static IP address to Live Migration and Network Interfaces, log into each Hyper-V node and execute the following commands in PowerShell, complete the following steps:

1.    Use the following PowerShell command to check if there is vSwitch created for Live Migration network on Hyper-V hosts by the HX installer.

Get-VMSwitch

図 77     PowerShell - Get VMSwitch

2.    Remove the vSwitch named ‘vswitch-hx-livemigration’ using the following PowerShell command.

Remove-VMSwitch -Name 'vswitch-hx-livemigration'

図 78     PowerShell - Remove VMSwitch

3.    Assign a static IP address to the teamed interface named “team-hx-livemigration” using the following PowerShell command

New-NetIPAddress -ifAlias "team-hx-livemigration" -IPAddress 192.168.73.127 -PrefixLength 24

図 79     PowerShell – Assign Static IP

4.    This step is optional. If there is a requirement for the Hyper-V host also to communicate on VM network, then assign a static IP address to “team-hx-livemigration” using the following PowerShell command.

New-NetIPAddress –ifAlias "vswitch-hx-vm-network" -IPAddress 192.168.74.21 -PrefixLength 24

Rename the Cluster Network in Windows Failover Cluster - Optional

To rename the default cluster network names assigned during cluster creation to more meaningful names, execute the following PowerShell commands from any one HyperFlex Hyper-V host:

1.    Execute the “Get-ClusterNetwork” and “Get-ClusterNetworkInterface” as shown below to view information on the cluster network.

図 80     PowerShell – Get Cluster Network

2.    Execute the below PowerShell command to rename the cluster networks.

Get-ClusterNetwork | Where-Object {$_.Address -eq "10.29.149.0"}).Name = "hx-inband-mgmt" 

(Get-ClusterNetwork | Where-Object {$_.Address -eq "192.168.11.0"}).Name = "hx-storage-data"

(Get-ClusterNetwork | Where-Object {$_.Address -eq "192.168.73.0"}).Name = "LiveMigration"

(Get-ClusterNetwork | Where-Object {$_.Address -eq "172.18.0.0"}).Name = "vm-network"

図 81     PowerShell – Rename the Cluster Network

Configure the Windows Failover Cluster Network Roles

Cluster networks are automatically configured during the cluster creation. To manually configure the cluster network roles based on their type of function, execute the following PowerShell commands on any one HyperFlex Hyper-V host:

Execute the following PowerShell commands to configure the cluster networks roles:

(Get-ClusterNetwork -Name "hx-inband-mgmt").Role = 3 

(Get-ClusterNetwork -Name "hx-storage-data").Role = 0 

(Get-ClusterNetwork -Name "LiveMigration").Role = 1 

(Get-ClusterNetwork -Name "vm-network").Role = 0

図 82     PowerShell – Configure Cluster Network Roles   

Role = 0 to disable cluster communication

Role = 1 to enable only cluster communication

Role = 3 to enable both cluster & client communication

図 83     Failover Cluster Manager - Networks

Configure the Windows Failover Cluster Network for Live Migration

To make sure that you are using the appropriate cluster network for Live Migration traffic configure the Live Migration settings by completing the following steps:

Execute the PowerShell command shown below to configure the cluster network for live migration traffic:

Get-ClusterResourceType -Name "Virtual Machine" | Set-ClusterParameter -Name MigrationExcludeNetworks -Value ([String]::Join(";",(Get-ClusterNetwork | Where-Object {$_.Name -ne "LiveMigration"}).ID))

図 84     PowerShell – Configure Live Migration Network

図 85     Failover Cluster Manager – Live Migration Settings

Create Folders on the HX Datastore

To create folders on the newly created HX Datastore, complete the following steps:

1.    To create a folder log in to a HyperFlex Hyper-V node and execute the below command:

mkdir \\hxhvsmb.hxhvdom.local\HXDS1\<folder Name>

図 86     Create a Folder on SMB Share

2.    Create folders for different purposes and requirements.

Configure the Default Folder to Store VM Files on Hyper-V

By default Hyper-V stores VM files at the following specified location:

·         “C:\ProgramData\Microsoft\Windows\Hyper-V” for virtual machine configuration files

·         “C:\Users\Public\Documents\Hyper-V\Virtual Hard Disks” for virtual hard drives

To store the virtual machine files on the newly created highly available HX Datastore as the default folder. Complete the following step on each HyperFlex Hyper-V hosts:

Use the following PowerShell command to set/change the Hyper-V default store location for virtual hard disk and virtual machine configuration files:

SET-VMHOST -virtualharddiskpath "\\<FQDN_SMB_AccessPoint>\<Datastore_Name>\<Folder_Name>\"

 SET-VMHOST -virtualmachinepath “\\<FQDN_SMB_AccessPoint>\<Datastore_Name>\<Folder_Name>\”

図 87     PowerShell – Configure VM Files Store Location

図 88     Hyper-V Settings – VHD Store Location

Validate the Windows Failover Cluster Configuration

It is a good practice to validate the Windows failover cluster by running the Validate a Configuration Wizard from the Failover Cluster Manager, or the Test-Cluster Windows PowerShell cmdlet and fix any errors or warnings reported in the results page. 図 89 shows the command to run the cluster validation.

図 89     Failover Cluster - Validate

Configure Quorum in Windows Server Failover Cluster

The quorum is automatically configured during the creation of a new cluster based on the number of nodes and the availability of shared storage. However, as a best practice run the cluster validation tool as shown in the above section and review the quorum configuration and fix any warnings related to quorum configuration.

Review the information about quorum resources using the “Get-ClusterQuorum” PowerShell cmdlet or from the summary page of failover cluster manager as shown below:

図 90     PowerShell – Get Cluster Quorum

図 91     Failover Cluster Manager

Execute the below PowerShell command to configure the cluster quorum by placing the witness on a file share residing on the HX Datastore:

Set-ClusterQuorum -NodeAndFileShareMajority "\\fileserver\fsw"

図 92     PowerShell – Configure Cluster Quorum

図 93     Failover Cluster Manager – Quorum Configuration

Initial Tasks and Testing

In order to perform initial testing and learn about the features in the HyperFlex cluster, create a test virtual machine stored on your new HX datastore in order to take a snapshot and perform a cloning operation.

Ready Clones

To create few clones of our test virtual machine, download the Cisco HyperFlex Data Platform Hyper-V ReadyClone PowerShell Script.

To create the Ready Clones, complete the following steps:

1.    Log into a HX Hyper-V node or a management station with RSAT tools

2.    Open Powershell and execute the downloaded script as shown below.

図 94     PowerShell – Create Ready Clones

3.    Input the VMName, ClonePrefix, CloneCount and enter to create the clones in seconds.

4.    The command provided below with the new switch, creates a clustered virtual machine; a virtual machine that can be failed over if necessary to a different server in the failover cluster.

HX-PS-ReadyClone.ps1 -addtocluster $true

Auto-Support and Notifications

Auto-Support should be enabled for all clusters during the initial HyperFlex installation. Auto-Support enables Call Home to automatically send support information to Cisco TAC, and notifications of tickets to the email address specified. If the settings need to be modified, they can be changed in the HyperFlex Connect HTML management webpage.

A list of events that automatically open a support ticket with Cisco TAC are as follows:

·         Cluster Capacity Changed

·         Cluster Unhealthy

·         Cluster Health Critical

·         Cluster Read Only

·         Cluster Shutdown

·         Space Warning

·         Space Alert

·         Space Critical

·         Disk Blacklisted

·         Infrastructure Component Critical

·         Storage Timeout

To change Auto-Support settings, complete the following steps:

1.    From the HyperFlex Connect webpage, click the gear shaped icon in the upper right-hand corner, and click Auto-Support Settings.

2.    Enable or disable Auto-Support as needed.

3.    Enter the email address to receive alerts when Auto-Support events are generated.

4.    Enable or disable Remote Support as needed. Remote support allows Cisco TAC to connect to the HX cluster and accelerate troubleshooting efforts.

5.    Enter in the information for a web proxy if needed.

6.    Click OK.

図 95     HyperFlex Connect – Auto Support Settings

To enable direct email notifications, complete the following steps:

1.    From the HyperFlex Connect webpage, click the gear shaped icon in the upper right-hand corner, and click Notifications Settings.

2.    Enter the DNS name or IP address of the outgoing email server or relay, the email address the notifications will come from, and the recipients.

3.    Click OK.

図 96     HyperFlex Connect – Notification Settings

Smart Licensing

HyperFlex 2.5 and later utilizes Cisco Smart Licensing, which communicates with a Cisco Smart Account to validate and check out HyperFlex licenses to the nodes, from the pool of available licenses in the account. At the beginning, Smart Licensing is enabled but the HX storage cluster is unregistered and in a 90-day evaluation period or EVAL MODE. For the HX storage cluster to start reporting license consumption, it must be registered with the Cisco Smart Software Manager (SSM) through a valid Cisco Smart Account. Before beginning, verify that you have a Cisco Smart account, and valid HyperFlex licenses are available to be checked out by your HX cluster.

To create a Smart Account, go to Create Smart Accounts. 

To activate and configure smart licensing, complete the following steps:

1.    Log into a controller VM. Confirm that your HX storage cluster is in Smart Licensing mode by entering the following:

stcli license show status

図 97     Storage Controller VM – View License

Feedback will show Smart Licensing is ENABLED, Status: UNREGISTERED, and the amount of time left during the 90-day evaluation period (in days, hours, minutes, and seconds).

2.    Navigate to Cisco Software Central (https://software.cisco.com/) and log in to your Smart Account.

3.    From Cisco Smart Software Manager, generate a registration token. 


4.    In the License pane, click Smart Software Licensing to open Cisco Smart Software Manager.

5.    Click Inventory.

6.    From the virtual account where you want to register your HX storage cluster, click General, and then click New Token.

7.    In the Create Registration Token dialog box, add a short Description for the token, enter the number of days you want the token to be active and available to use on other products, and check Allow export-controlled functionality on the products registered with this token.

8.    Click Create Token.

9.    From the New ID Token row, click the Actions drop-down list, and click Copy.

10.  Log into a controller VM.

11.  Register your HX storage cluster, where idtoken-string is the New ID Token from Cisco Smart Software Manager.

# stcli license register --idtoken idtoken-string

12.  Confirm that your HX storage cluster is registered.

# stcli license show summary


HyperFlex Connect

Cisco HyperFlex Connect provides robust, secure, and simple management in an intuitive user interface. It lets you manage and monitor your clusters anywhere, anytime, and delivers metrics to support your entire HyperFlex management lifecycle. HyperFlex Connect is an HTML5 web-based GUI tool which runs on all of the HX nodes, and is accessible via the cluster management IP address.

To manage the HyperFlex cluster using HyperFlex Connect, complete the following steps:

1.    Using a web browser, open the HyperFlex cluster’s management IP address via HTTPS, for example, https://10.29.149.230 

2.    Enter a local credential, such as local/root, and the password.

3.    Click Login.

4.    The Dashboard view will be shown after a successful login.

図 98  Cisco HyperFlex Connect – Login Page

図 99     Cisco HyperFlex Connect – Dashboard

Dashboard

From the Dashboard view, the following elements are presented:

·         Cluster operational status, overall cluster health, and the cluster’s current node failure tolerance.

·         Cluster storage capacity, used and free space, compression and deduplication savings, and overall cluster storage optimization statistics.

·         Cluster size and individual node health.

·         Cluster IOPs, storage throughput, and latency for the past 1 hour.

Monitor

HyperFlex Connect provides for additional monitoring capabilities, including:

·         Event Log: The cluster event log can be viewed, specific events can be filtered for, and the log can be exported.

·         Activity Log: Recent job activity, such as ReadyClones can be viewed and the status can be monitored.

図 100  Cisco HyperFlex Connect – Events

Analyze

The historical and current performance of the HyperFlex cluster can be analyzed via the built-in performance charts. The default view shows read and write IOPs, bandwidth, and latency over the past 1 hour for the entire cluster. Views can be customized to see individual nodes or datastores, and change the timeframe shown in the charts.

図 101  Cisco HyperFlex Connect – Performance

Manage

HyperFlex Connect presents several views and elements for managing the HyperFlex cluster:

·                     System Information: Presents a detailed view of the cluster configuration, software revisions, hosts, disks, and cluster uptime. Support bundles can be generated to be shared with Cisco TAC when technical support is needed. Views of the individual nodes and the individual disks are available. In these views, nodes can be placed into HX Maintenance Mode, and disks can be securely erased, as described later in this document.

·                     Datastores: Presents the datastores present in the cluster, and allows for datastores to be created, mounted, unmounted, edited or deleted, as described earlier in this document as part of the cluster setup.

·                     Upgrade: Upgrades to the HXDP software, and Cisco UCS firmware can be initiated from this view.

図 102  Cisco HyperFlex Connect – System Information

Upgrade the HX Data Platform

To upgrade HX Data Platform software to a latest version, complete the following steps

1.            Download the “Cisco HyperFlex Data Platform Upgrade Bundle for upgrading existing clusters from previous release”. For example “storfs-packages-3.0.1c-29681.tgz”

2.            From a browser, launch HX Connect and log in.

3.            In the HX Connect web page, click Upgrade as shown in below.

図 103  Cisco HyperFlex Connect – Upgrade

4.            In the Select Upgrade Type page, select the HX Data Platform and click Continue.

図 104  Cisco HyperFlex Connect – Upgrade Enter Credentials

5.            In the Enter Credentials Page, drag or browse the file downloaded in step 1 and click Upgrade.

図 105  Cisco HyperFlex Connect – Upgrade File Upload

6.            After validating Upgrade and Preparing Upgrade, the Upgrade process begins.

図 106  Cisco HyperFlex Connect – Upgrade Progress

Microsoft Hyper-V Manager

Hyper-V hosts in a Cisco HyperFlex Systems can be managed both remotely and locally using the Hyper-V Manager. It's installed when you install the Hyper-V Management Tools, which you can do either through a full Hyper-V installation or a tools-only installation on a remote Windows 10 or 2016 Server.

To manage HyperFlex Hyper-V nodes from a remote management host, complete the following steps:

1.    Install the RSAT tools for Hyper-V using the following PowerShell command:

Install-WindowsFeature rsat-hyper-v-tools

2.    Configure the remote management host with constrained delegation as described in the above “Post Installation Task > Constrained Delegation” section.

3.    If the remote management host with RSAT tools is outside the HX cluster AD domain, pointing to the same DNS server and host file mapping between HyperFlex SMB namespace and Cluster management IP (CIP) may be required for successful name resolution.

For example, add the following entry to the hosts file on the (remote) machine running Hyper-V manager/Failover Cluster Manager/SCVMM Console. Host file in windows is located here - C:\Windows\System32\drivers\etc\hosts

cluster_mgmt_ip     \\smb_namespace_name\datastore_name

      10.29.149.235       \\hxcluster.company.com\ds1

Basic management functions like changing the default store location for VM files and creating VMs are described in the following sections. For more information about managing Hyper-V using Hyper-V manager refer to the Microsoft website.

Change the Default Location to Store the VM Files using Hyper-V Manager

1.    Open the Server Manager dashboard and click Tools. Click Hyper-V Manager. The Hyper-V Manager console appears.

図 107  Hyper-V Manager – Connect to Server

2.    In the left pane, select Hyper-V Manager and click Connect to Server....

図 108  Hyper-V Manager – Select Computer

3.    In the Select Computer dialog box, select Another computer and type in the name of the Hyper-V node (for example, HXHV1) that belongs to the Hyper-V cluster. Click OK.

4.    Repeat these steps for each Hyper-V node in the HyperFlex cluster.

図 109  Hyper-V Manager – View

5.    Select a Hyper-V server and click the Hyper-V settings and change the default folder location to store the virtual hard disk and virtual machine files as shown below.

図 110  Hyper-V Manager – VM VHD Location

図 111  Hyper-V Manager – VM Configuration files Location

Create Virtual Machines using Hyper-V Manager

To create Virtual machines using the Hyper-V manager, complete the following steps:

1.    Open Hyper-V Manager from the Server Manager > Tools.

2.    Select a Hyper-V server, and right-click and select New > Create a virtual machine. The Hyper-V Manager New Virtual Machine wizard displays.

図 112  Hyper-V Manager – Create New VM

3.    In the Before you Begin page, click Next.

4.    In the Specify Name and Location page, enter a name for the virtual machine configuration file. The location for the virtual machine click Next.  

5.    In the Specify Generation page, choose either Generation 1 or Generation 2.

6.    In the Assign Memory page, set the start memory value 2048 MB. Click Next.

図 113  Hyper-V Manager – Assign New VM Memory

7.    In the Configure Networking page, select a network connection for the virtual machine to use from a list of existing virtual switches.

図 114  Hyper-V Manager – Configure Networking

     

8.    In the Connect Virtual Hard Disk page, select Create a Virtual Hard Disk page, and enter the name, location and size for the virtual hard disk. Click Next.

図 115  Hyper-V Manager – Connect VHD to New VM

9.    In the Installation Options, you can leave the default option Install an operating system later selected. Click Next.

10.  In the Summary page, verify that the list of options displayed are correct. Click Finish.

11.  In Hyper-V Manager, right-click the virtual machine to perform various operations like Connect, Edit Settings, Start/Stop, etc.

Windows Failover Cluster Manager

Cisco HyperFlex installer creates the Hyper-V Failover Cluster and this can be managed both remotely and locally using the Failover Cluster Manager. It is installed when you install the Failover Clustering Tools, which you can do either through a full Failover Cluster installation or a tools-only installation on a remote Windows 10 or 2016 Server.

To manage the Hyper-V Failover Cluster in HyperFlex System from a remote management host, complete the following steps:

1.    Install the RSAT tools for Failover Cluster using the below PowerShell command:

Install-WindowsFeature RSAT-Clustering-MGMT

2.    Configure the remote management host with constrained delegation as described in the Constrained Delegation section.

3.    If the remote management host with RSAT tools is outside the HX cluster AD domain, pointing to the same DNS server and host file mapping between HyperFlex SMB namespace and Cluster management IP (CIP) may be required for successful name resolution.

For example, add the following entry to the hosts file on the (remote) machine running Hyper-V manager/Failover Cluster Manager/SCVMM Console. Host file in windows is located here - C:\Windows\System32\drivers\etc\hosts

cluster_mgmt_ip     \\smb_namespace_name\datastore_name

10.29.149.235       \\hxcluster.company.com\ds1

To create the clustered virtual machine role using the Failover Cluster Manager, complete the following steps:

1.    In the Failover Cluster Manager console, under the Actions pane, click Connect to Cluster...     

図 116   Failover Cluster Manager – Connect to Cluster

2.    In the Select Cluster dialog box, click Browse to navigate to the Hyper-V HX cluster. Click OK.

図 117  Failover Cluster Manager – View

 

3.    In the left pane, click Roles > Virtual Machines... > New Virtual Machines....

図 118  Failover Cluster Manager – Create a Role (VM)

4.    In the New Virtual Machine dialog box, search and select the Hyper-V node where you wish to create new VMs. Click OK. The New Virtual Machine wizard appears.

図 119  Failover Cluster Manager – New VM Target Host

5.    In the Before You Begin page, click Next.

6.    In the Specify Name and Location page, choose a name for the VM, and specify the location or drive where the VM will be stored. Click Next.

7.    In the Specify Generation page, select the generation of virtual machine you want to use (Generation 1 or Generation 2) and click Next.

8.    In the Assign Memory page, enter the amount of memory that you want for the VM. Click Next.

9.    In the Connect Virtual Hard Disk page, enter the name, location and hard drive size. Click Next.

10.  In the Installation Options page, select the install location for the OS. Click Next.

11.  In the Summary page, review the options selected and click Finish.

図 120  Failover Cluster Manager – New VM Summary

Microsoft System Center Virtual Machine Manager 2016

The Hyper-V Cluster created by the HyperFlex Installer can also be managed using the Microsoft System Center Virtual Manager. At the time of the publishing this document, there is no HX plug-in or SMI-S integration with the HX Storage. However, the Hyper-V Cluster can still be managed using the SCVMM without these features.

Create Run-As Account for Managing the Hyper-V Cluster

A Run As account is a container for a set of stored credentials. In VMM a Run As account can be provided for any process that requires credentials. Administrators and Delegated Administrators can create Run As accounts. For this deployment, a Run As account should be created for adding Hyper-V hosts and clusters.

To create a Run As account, complete the following steps:

1.    Click Settings and in Create click Create Run As Account.

2.    In Create Run As Account specify name and optional description to identify the credentials in VMM.

3.    In User name and Password specify the credentials. The credentials can be a valid Active Directory user or group account, or local credentials.

4.    Clear Validate domain credentials if it is not required and click OK to create the Run As account.

Manage Servers and Clusters

To add the HyperFlex Hyper-V Cluster to the SCVMM, complete the following steps:

1.    Open the SCVMM administrator Console and click on Fabric > Servers > All Hosts.

2.    Right-click All Hosts and Create a folder for the HyperFlex Hyper-V Cluster.

3.    Right-click the newly created folder and click on Add Hyper-V Hosts and Clusters.

図 121  SCVMM – Create a Host Group

4.    In the Credentials section, select Use an existing Run As account and select the account created in the previous section.

5.    In the Discovery scope, enter the FQDN of HyperFlex Hyper-V Cluster as shown below.

図 122  SCVMM – Discovery Scope

6.    In the Target Resources page, select all the discovered hosts and click Next.

図 123  SCVMM – Target Resources

7.    In the Host Settings page, select the appropriate Host group and click Next.

図 124  SCVMM – Host Settings

8.    In the summary page, confirm the settings and click Finish.

図 125  SCVMM – Server View

Networking

Network switches and interfaces are created by the HyperFlex installer.  A network team is created for the Management, Storage, VM Network and Live Migration networks specified during the installer.

To create the Network Sites and add them to the logical networks created by the installer, complete the following steps:

1.    Under Fabric -> Networking -> Logical Networks, find the Logical Network created by the installer. 

2.    Right-click and select ‘Properties’ of the logical network.

図 126  SCVMM – Logical Network

3.    Under Network Site, add a site so a VLAN can be specified on the Logical Network. 

図 127  SCVMM – Network Site

4.    When the network site is created, make sure each host in the cluster has the proper VLAN checked in its properties.  This can be found under the properties of each host, under Hardware -> and scroll to the ‘team-hx-vm-network’.

Storage

The data stores created in the HyperFlex Connect, presents a SMB share to be used by the HyperFlex Hyper-V nodes to place Virtual Machine files on it.  The naming convention is ‘\\<hxClustername>\<DatastoreName>’. 

To add the HX Datastores (SMB Share path) to the Hyper-V Cluster nodes, complete the following steps:

1.    Right-click the Cluster ‘HXHVWFC’, select Properties and click ‘File Share Storage’.

図 128  SCVMM – Cluster Properties File Share Storage

2.    Click Add to specify the UNC path for the datastore and enter the File share path.

図 129  SCVMM – Cluster Properties Add File Share

3.    Click OK.

4.    Repeat steps 2 and 3 to add other datastores if you want to deploy new VMs from SCVMM.

図 130  SCVMM – Cluster Properties File Share Storage Status

5.    Verify the above configuration is applied to all the Hyper-V nodes in the cluster by checking their properties by clicking the storage as shown below.

図 131  SCVMM – Host Properties Storage

Create a VM using SCVMM

To create and deploy virtual machines in the System Center - Virtual Machine Manager (VMM) fabric, from an existing virtual hard disk (VHDX) that has been generalized using Sysprep and copied to the VMM library, complete the following steps:

1.    Click VMs and Services > Create Virtual Machine > Create Virtual Machine.

図 132  SCVMM – Create a VM

2.    In Create Virtual Machine Wizard > Select Source, click Use an existing virtual machine, VM template, or virtual hard disk > Browse. Select an existing VHD.

図 133  SCVMM – Select Source for New VM

3.    In Identity, specify the VM name and an optional description. If the VHD you choose is in the .vhdx format, in the Generation box, select Generation 1 or Generation 2. Click Next.

図 134  SCVMM – Create New VM Name and Generation

4.    In Configure Hardware, either select the profile that you want to use from the Hardware profile list, or configure the hardware settings manually. Click Next.

図 135  SCVMM – Configure Hardware for New VM

5.    In Select Destination, place the VM on a host by selecting the destination folder. Click Next.

6.    In Select Host, select a Hyper-V host for the VM or leave with default selection. Click Next.

図 136  SCVMM – Select Host for New VM

7.    In Configure Settings, under locations browse to the HX Datastore SMB share mapped in previous sections and select a vSwitch for the Network Adapter under Networking. Click Next.

図 137  SCVMM – Configure Settings for New VM

8.    In Add Properties section, select appropriate actions and click Next.

9.    In the Summary page, review and confirm the settings and click Create.

図 138  SCVMM – Jobs

PowerShell

Windows PowerShell is a Windows command-line shell designed especially for system administrators. Windows PowerShell includes an interactive prompt and a scripting environment that can be used independently or in combination. It comes installed by default in every Windows, starting with Windows 7 SP1 and Windows Server 2008 R2 SP1. Using PowerShell, the HyperFlex Hyper-V cluster environment can be managed locally or remotely from a Windows management host running PowerShell (latest version recommended).

図 139 shows an example to create a VM on a HX Hyper-V node from a remote management station.

図 139  PowerShell – Create a New VM

Microsoft Windows Admin Center (WAC)

Microsoft has recently launched a management tool called “Windows Admin Center”. It is a locally deployed, browser-based app for managing servers, clusters, hyper-converged infrastructure, and Windows 10 PCs. It comes at no additional cost beyond Windows and is ready to use in production. Windows Admin Center is the modern evolution of "in-box" management tools, like Server Manager and MMC. It complements System Center - it's not a replacement.

For more information about Windows Admin Center, refer to:

https://docs.microsoft.com/en-us/windows-server/manage/windows-admin-center/understand/what-is

Download Windows Admin Center refer to:

https://docs.microsoft.com/en-us/windows-server/manage/windows-admin-center/understand/windows-admin-center

To install Windows Admin Center, refer to:

https://docs.microsoft.com/en-us/windows-server/manage/windows-admin-center/deploy/install

Connecting to Managed Nodes and Clusters

After you have completed the installation of Windows Admin Center, you can add servers or clusters to manage from the main overview page. To add a single server or a cluster as a managed node, complete the following steps:

1.    Open a browser and launch the Windows Admin Center.

2.    Click + Add under All Connections.

図 140  WAC Page

3.    Choose to add a Server, Failover Cluster connection.

図 141  WAC – Add Connections

4.    Type the name of the server or cluster to manage and click Submit. The server or cluster will be added to your connection list on the overview page. In this example, Hyper-V cluster is added to manage.

図 142  WAC – Add Failover Cluster Connections

5.    Next Authenticate with a managed node using ‘Single Sign-on’ or ‘Manage As’ by entering the credentials.

6.    Select a server/cluster and click on Edit Tags to organize your connections. This will help to filter your connection lists.

図 143  WAC – All Connections

Manage Servers with WAC

To add and manage individual servers running Windows Server 2012 or later to Windows Admin Center with a comprehensive set of tools including Devices, Events, Processes, Roles and Features, Updates, Virtual Machines and more, complete the following steps:

1.    Launch WAC from a browser.

2.    Click a server under All Connections. The figure below shows the tools available to manage servers.

図 144  WAC – Server Manager

Manage a Failover Cluster with WAC

1.    Add Failover clusters to view and manage cluster resources, storage, network, nodes, roles, virtual machines and virtual switches.

2.    Launch WAC from a browser.

3.    Select and click on the cluster under All Connections. The figure below shows the tools available to view and manage Cluster.

図 145  WAC – Failover Cluster Manager

A: Cluster Capacity Calculations

HyperFlex HX Data Platform cluster capacity is calculated as follows:

(((<capacity disk size in GB> X 10^9) / 1024^3) X <number of capacity disks per node> X <number of HyperFlex nodes> X 0.92) / replication factor

Divide the result by 1024 to get a value in TiB

The replication factor value is 3 if the HX cluster is set to RF=3, and the value is 2 if the HX cluster is set to RF=2.

The 0.92 multiplier accounts for an 8% reservation set aside on each disk by the HX Data Platform software for various internal filesystem functions.

Calculation example:

<capacity disk size in GB> = 960

<number of capacity disks per node> = 8 for an HXAF220c-M5SX model server

<number of HyperFlex nodes> = 8

replication factor = 3

Result: (((960*10^9)/1024^3)*8*8*0.92)/3 = 17547.6074

17547.6074/ 1024 = 17.14 TiB

B: Install Microsoft Windows Server 2016

To install Windows Server 2016 and apply Cisco HyperFlex driver image on all HX nodes, follow these high-level steps.

·         Configure Cisco UCS Manager using HX Installer

·         Configure Cisco UCS vMedia and Boot Policies

·         Install Microsoft Windows Server 2016 OS

·         Undo vMedia and Boot Policy Changes

Configure Cisco UCS Manager using HX Installer

To complete this step, refer to “Configure Cisco UCS Manager using HX Installer” under the “HyperFlex Installation – Phase 1” section.

Configure Cisco UCS vMedia and Boot Policies

By using a Cisco UCS vMedia policy, the Windows Server 2016 media ISO file and Cisco HyperFlex Driver image can be mounted to all of the HX servers automatically. The existing vMedia policy, named “HyperFlex” must be modified to mount this file, and the boot policy must be modified temporarily to boot from the remotely mounted vMedia file. Once these two tasks are completed, the servers can be rebooted, and they will automatically boot from the When mounted vMedia file, installing and configuring Windows Server 2016 on the HX nodes.

 

To configure the Cisco UCS vMedia and Boot Policies, complete the following steps:

1.    Copy the Windows Server 2016 iso and Cisco HyperFlex Driver image files to the HX Installer VM via SCP or SFTP, placing it in the folder /var/www/localhost/images/ as shown below.

図 146  Upload Windows ISO and Cisco Driver and System Preparation Script

2.    Configure the vMedia and Boot policies using Cisco UCS Manager to mount the above images

3.    Launch Cisco UCS Manager by accessing the Cisco UCS Manager IP address in a browser of your choice.

4.    Click Launch UCS Manager and log in with administrator username and the password you used at the beginning of the installation.

5.    In the left navigation pane, click Servers.

6.    Expand Servers > Policies > root > Sub-Organizations > hx-cluster_name>vMedia Policies to view the list of vMedia Policies.

図 147  Cisco UCS Manager – Create vMedia Policy

7.    Double-click vMedia Policy HyperFlex.

8.    In the properties for vMedia Policy HyperFlex, click Create vMedia Mount to add the mount points.

9.    In the Create vMedia Mount dialog box, complete the following fields:

表 41     Create vMedia Mount Details

図 148  Cisco UCS Manager - Create vMedia Mount CDD

10.  Click Save Changes and click OK.

11.  Click OK. When you click OK, you are returned to the vMedia policy and will see the information that you submitted.

12.  Repeat steps 5 and 6 but change the type to HDD and the filename to the Cisco HyperFlex driver image.

図 149  Cisco UCS Manager - Create vMedia Mount HDD

13.  On completion, the following screen displays:

図 150  Cisco UCS Manager - Create vMedia Policy

14.  In the left navigation pane, select Servers > Service Profile Templates > root > Sub-Organizations > hx-cluster_name > Service Template hx-nodes_name (example:hx-nodes-m5).

図 151  Cisco UCS Manager – Service Template

15.  Choose the HyperFlex vMedia Policy from the drop-down list and click OK twice.

図 152  Cisco UCS Manager – Modify vMedia Policy

16.  Select Servers > Policies > root > Sub-Organizations > hx-cluster_name > Boot Policies Boot Policy HyperFlex-m5.

17.  In the configuration pane, click CIMC Mounted vMedia. Click Add CIMC Mounted CD/DVD to add this to the boot order.

18.  Select the CIMC Mounted CD/DVD entry in the list and move it to the top of the boot order by pressing the Move Up button.

図 153  Cisco UCS Manager – Boot Order

19.  Click Save Changes and click OK. The boot policy is saved.

To verify the images are mounted correctly, complete the following steps:

1.    On the Equipment tab, select one of the servers.

2.    Click Inventory > CIMC, scroll down and make sure for the mount entry #1(OS image) and mount entry #2 (Cisco HyperFlex driver image) the status is Mounted and there are no failures.

図 154  Cisco UCS Manager – Validate vMedia Mount

Install Microsoft Windows Server 2016 OS

1.    In the menu bar, click Servers and choose the first HyperFlex service profile.

2.    Click the General tab and choose Actions > KVM Console.

図 155  Cisco UCS Manager – Launch KVM Console

3.    Reboot the server. In the KVM console choose Server Actions and press Reset.

図 156  Cisco UCS Manager – Server KVM Console

4.    Choose Power Cycle.

5.    When the server is rebooting, remember to press any key to start the Windows installation.

図 157  Cisco UCS Manager – KVM Console Server Boot

6.    When the Windows installation is complete, you will see some tasks running as shown in the below and the host will reboot a few times. Allow some time for the system preparation to complete.

図 158  System Preparation

7.    The installation is complete when a clean command prompt with no activity is displayed as shown below.

図 159  Windows Server Command Prompt

8.    Repeat these steps on all the HX nodes in the cluster and verify the below task is running as shown in below. The ‘HXInstallbootstraplauncherTask’ in running state is an indication of successful installation Windows OS and system preparation.

図 160  Validate Windows Server Installation Completion

Undo vMedia and Boot Policy Changes

1.    When all the servers have booted from the remote vMedia file and begun their installation process, the changes to the boot policy need to be quickly undone, to prevent the servers from going into a boot loop, constantly booting from the installation ISO file. To revert the boot policy settings, complete the following steps: In Cisco UCS Manager select Servers > Polices > Root > Sub-Organizations > HX-Cluster_name > vMedia polices.

2.    Click the vMedia Policy HyperFlex. Click the mount points one at a time and delete both of them. Accept the changes.

図 161  Cisco UCS Manager – Undo vMedia and Boot Policy Changes

3.    Go to the boot policy by selecting Servers > Polices > Root > Sub-Organizations > HX-Cluster_name > boot polices > Boot Policy HyperFlex-m5.

4.    Select the CIMC mounted CD/DVD, click Delete and accept the changes.

Sanjeev Naldurgkar, Technical Marketing Engineer, Cisco UCS Datacenter Solutions Group, Cisco Systems, Inc.

Sanjeev has been with Cisco for six years focusing on delivering customer-driven solutions on Microsoft Hyper-V and VMware vSphere. He has over 16 years of experience in the IT Infrastructure, Server virtualization, and Cloud Computing. He holds a Bachelor Degree in Electronics and Communications Engineering, and leading industry certifications from Microsoft and VMware.

Acknowledgements

For their support and contribution to the design, validation, and creation of this Cisco Validated Design, the author would like to thank:

·         Babu Mahadevan V - Cisco Systems, Inc.

·         Robert Quimbey - Cisco Systems, Inc.

·         Jeffrey Nichols - Cisco Systems, Inc.