본 제품에 대한 문서 세트는 편견 없는 언어를 사용하기 위해 노력합니다. 본 설명서 세트의 목적상, 편견 없는 언어는 나이, 장애, 성별, 인종 정체성, 민족 정체성, 성적 지향성, 사회 경제적 지위 및 교차성에 기초한 차별을 의미하지 않는 언어로 정의됩니다. 제품 소프트웨어의 사용자 인터페이스에서 하드코딩된 언어, RFP 설명서에 기초한 언어 또는 참조된 서드파티 제품에서 사용하는 언어로 인해 설명서에 예외가 있을 수 있습니다. 시스코에서 어떤 방식으로 포용적인 언어를 사용하고 있는지 자세히 알아보세요.
Cisco는 전 세계 사용자에게 다양한 언어로 지원 콘텐츠를 제공하기 위해 기계 번역 기술과 수작업 번역을 병행하여 이 문서를 번역했습니다. 아무리 품질이 높은 기계 번역이라도 전문 번역가의 번역 결과물만큼 정확하지는 않습니다. Cisco Systems, Inc.는 이 같은 번역에 대해 어떠한 책임도 지지 않으며 항상 원본 영문 문서(링크 제공됨)를 참조할 것을 권장합니다.
이 문서에서는 관리자가 간편하게 사용할 수 있는 Cisco HyperFlex(HX)에 대한 일반적인 지식을 설명합니다.
SCVM = 스토리지 컨트롤러 가상 머신
VMNIC = Virtual Machine Network Interface Card
VNIC = 가상 네트워크 인터페이스 카드
SED = 자체 암호화 드라이브
VM = 가상 머신
HX = HyperFlex
VMNIC 배치가 HX 버전 3.5 이상에서 수정되었습니다.
버전 3.5 이전의 VNIC는 VNIC 번호를 기반으로 할당되었습니다.
VNIC | 가상 스위치(vSwitch) |
VNIC 0 및 VNIC 1 | vSwitch-hx-inband-mgmt |
VNIC 2 및 VNIC 3 | vSwitch-hx-storage-data |
VNIC 4 및 VNIC 5 | vSwitch-hx-vm-network |
VNIC 6 및 VNIC 7 | vMotion |
버전 3.5 이상에서는 VNIC가 MAC(Media Access Control) 주소를 기반으로 할당됩니다.그러므로, 특별히 할당되는 순서가 없다.
3.5 이전 버전에서 3.5 이상으로 업그레이드하는 경우 VMNIC 주문이 유지됩니다.
참고:HX Hyper-V의 경우 Hyper-V가 CDN(Consistent Device Naming)을 사용하므로 이 기능은 적용되지 않습니다.
SCVM은 컨버지드 노드와 컴퓨팅 노드 모두에 상주하며 두 노드 간에는 차이점이 있습니다.
SCVM은 Cisco HX Distributed Data Platform의 중요한 기능을 제공하므로 HyperFlex 설치 프로그램은 컨트롤러 VM에 대한 CPU 리소스 예약을 구성합니다.이 예약은 ESXi 하이퍼바이저 호스트의 물리적 CPU 리소스가 게스트 VM에 의해 과도하게 소비되는 상황에서 컨트롤러 VM에 최소 수준의 CPU(중앙 처리 장치) 리소스가 있음을 보장합니다.이는 소프트 보증으로, 대부분의 경우 SCVM이 예약된 모든 CPU 리소스를 사용하지 않으므로 게스트 VM이 해당 리소스를 사용할 수 있도록 합니다.다음 표에서는 스토리지 컨트롤러 VM의 CPU 리소스 예약을 자세히 설명합니다.
vCPU 수 | 공유 | 예약 | 제한 |
8 | 낮음 | 10800메가헤르츠 | 무제한 |
SCVM은 Cisco HX Distributed Data Platform의 중요한 기능을 제공하므로 HyperFlex 설치 프로그램은 컨트롤러 VM에 대한 메모리 리소스 예약을 구성합니다.이 예약은 ESXi 하이퍼바이저 호스트의 물리적 메모리 리소스가 게스트 VM에 의해 과도하게 소비되는 상황에서 컨트롤러 VM에 최소 수준의 메모리 리소스가 있음을 보장합니다.다음 표에서는 스토리지 컨트롤러 VM의 메모리 리소스 예약을 자세히 설명합니다.
서버 모델 | 게스트 메모리 양 | 모든 게스트 메모리 예약 |
HX 220c-M5SX HXAF 220c-M5SX HX 220c-M4S HXAF220c-M4S |
48GB | 예 |
HX 240c-M5SX HXAF 240c-M5SX HX240c-M4SX HXAF240c-M4SX |
72GB | 예 |
HX240c-M5L | 78GB | 예 |
컴퓨팅 전용 노드에는 경량 SCVM이 있습니다.1024MHz의 1개의 vCPU와 512MB의 메모리 예약으로 구성됩니다.
컴퓨팅 노드를 갖는 목적은 주로 vCluster DRS(Distributed Resource Scheduler™) 설정을 유지 관리하여 DRS에서 사용자 VM을 다시 통합 노드로 이동시키지 않도록 하기 위한 것입니다.
HX 클러스터는 다음 시나리오에서 비정상으로 렌더링될 수 있습니다.
노드가 작동 중지되면 클러스터가 비정상 상태로 전환됩니다.클러스터 업그레이드 중에 또는 서버가 유지 관리 모드에 있을 때 노드가 다운될 것으로 예상됩니다.
root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:2
minimum cache copies remaining:2
minimum data copies available for some user data:2
current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node 10.197.252.99is either down or initializing disks.
minimum metadata copies available for cluster metadata:2
# of unavailable nodes:1
# of nodes failure tolerable for cluster to be available:0
health state reason:storage cluster is unhealthy. storage node 10.197.252.99 is unavailable.
# of node failures before cluster shuts down:2
# of node failures before cluster goes into readonly:2
# of persistent devices failures tolerable for cluster to be available:1
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:2
# of persistent devices failures before cluster goes into readonly:2
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:1
resiliencyInfo:
messages:
----------------------------------------
Storage cluster is unhealthy.
----------------------------------------
Storage node 10.197.252.99 is unavailable.
----------------------------------------
state: 2
nodeFailuresTolerable: 0
cachingDeviceFailuresTolerable: 1
persistentDeviceFailuresTolerable: 1
zoneResInfoList: None
spaceStatus: normal
totalCapacity: 3.0T
totalSavings: 5.17%
usedCapacity: 45.9G
zkHealth: online
clusterAccessPolicy: lenient
dataReplicationCompliance: non_compliant
dataReplicationFactor: 3
디스크를 사용할 수 없을 때 클러스터가 비정상 상태로 전환됩니다. 데이터가 다른 디스크에 배포될 때 이 상태를 지워야 합니다.
root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:2
minimum cache copies remaining:2
minimum data copies available for some user data:2
current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node is either down or initializing disks.
minimum metadata copies available for cluster metadata:2
# of unavailable nodes:1
# of nodes failure tolerable for cluster to be available:0
health state reason:storage cluster is unhealthy. persistent device disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.
# of node failures before cluster shuts down:2
# of node failures before cluster goes into readonly:2
# of persistent devices failures tolerable for cluster to be available:1
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:2
# of persistent devices failures before cluster goes into readonly:2
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:1
resiliencyInfo:
messages:
----------------------------------------
Storage cluster is unhealthy.
----------------------------------------
Persistent Device Disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.
----------------------------------------
state: 2
nodeFailuresTolerable: 0
cachingDeviceFailuresTolerable: 1
persistentDeviceFailuresTolerable: 1
zoneResInfoList: None
spaceStatus: normal
totalCapacity: 3.0T
totalSavings: 8.82%
usedCapacity: 45.9G
zkHealth: online
clusterAccessPolicy: lenient
dataReplicationCompliance: non_compliant
dataReplicationFactor: 3
노드나 디스크가 모두 다운되지 않은 경우 클러스터는 비정상 상태로 전환될 수 있습니다.이 상태는 재구축이 진행 중인 경우 발생합니다.
root@SpringpathController:~# stcli cluster storage-summary --detail <snip> resiliencyDetails: current ensemble size:5 # of caching failures before cluster shuts down:3 minimum cache copies remaining:3 minimum data copies available for some user data:2 current healing status:rebuilding is in progress, 98% completed. minimum metadata copies available for cluster metadata:2 time remaining before current healing operation finishes:7 hr(s), 15 min(s), and 34 sec(s) # of unavailable nodes:0 # of nodes failure tolerable for cluster to be available:1 health state reason:storage cluster is unhealthy. # of node failures before cluster shuts down:2 # of node failures before cluster goes into readonly:2 # of persistent devices failures tolerable for cluster to be available:1 # of node failures before cluster goes to enospace warn trying to move the existing data:na # of persistent devices failures before cluster shuts down:2 # of persistent devices failures before cluster goes into readonly:2 # of caching failures before cluster goes into readonly:na # of caching devices failures tolerable for cluster to be available:2 resiliencyInfo: messages: Storage cluster is unhealthy. state: 2 nodeFailuresTolerable: 1 cachingDeviceFailuresTolerable: 2 persistentDeviceFailuresTolerable: 1 zoneResInfoList: None spaceStatus: normal totalCapacity: 225.0T totalSavings: 42.93% usedCapacity: 67.7T clusterAccessPolicy: lenient dataReplicationCompliance: non_compliant dataReplicationFactor: 3
HX Connect 액세스를 사용할 수 없는 경우 CLI를 사용하여 클러스터가 SED인지 확인할 수 있습니다.
# Check if the cluster is SED capable
root@SpringpathController:~# cat /etc/springpath/sed_capability.conf sed_capable_cluster=False
# Check if the cluster is SED enabled root@SpringpathController:~# cat /etc/springpath/sed.conf sed_encryption_state=unknown
root@SpringpathController:~# /usr/share/springpath/storfs-appliance/sed-client.sh -l WWN,Slot,Supported,Enabled,Locked,Vendor,Model,Serial,Size 5002538c40a42d38,1,0,0,0,Samsung,SAMSUNG_MZ7LM240HMHQ-00003,S3LKNX0K406548,228936 5000c50030278d83,25,1,1,0,MICRON,S650DC-800FIPS,ZAZ15QDM0000822150Z3,763097 500a07511d38cd36,2,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CD36,915715 500a07511d38efbe,4,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EFBE,915715 500a07511d38f350,7,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38F350,915715 500a07511d38eaa6,3,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EAA6,915715 500a07511d38ce80,6,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CE80,915715 500a07511d38e4fc,5,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38E4FC,915715
HX 클러스터의 일부인 서버에서 유지 관리 작업을 수행해야 하는 경우 ESXi 유지 관리 모드 대신 HX 유지 관리 모드를 사용해야 합니다.ESXi 유지 보수 모드를 사용할 때 HX 유지 보수 모드가 갑자기 종료되는 동안 SCVM이 정상적으로 종료됩니다.
노드가 유지 보수 모드에 있는 동안 다운된 것으로 간주합니다. 즉, 1 노드 장애가 발생합니다.
다른 노드를 유지 관리 모드로 이동하기 전에 클러스터가 정상 상태로 표시되는지 확인합니다.
root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:3
minimum cache copies remaining:3
minimum data copies available for some user data:3
minimum metadata copies available for cluster metadata:3
# of unavailable nodes:0
# of nodes failure tolerable for cluster to be available:1
health state reason:storage cluster is healthy.
# of node failures before cluster shuts down:3
# of node failures before cluster goes into readonly:3
# of persistent devices failures tolerable for cluster to be available:2
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:3
# of persistent devices failures before cluster goes into readonly:3
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:2
resiliencyInfo:
messages:
Storage cluster is healthy.
state: 1
nodeFailuresTolerable: 1
cachingDeviceFailuresTolerable: 2
<snip>
SCVM 위치는 Cisco Hyperflex M4와 M5 서버 간에 다릅니다.아래 표에는 SCVM의 위치와 기타 유용한 정보가 나와 있습니다.
Cisco HX 서버 | ESXi | SCVM 스다 |
SSD(Solid State Drive) 캐싱 | 하우스키핑 SSD sdb1 및 sdb2 |
HX 220 M4 | 보안 디지털(SD 카드) | SD 카드의 3.5G | 슬롯 2 | 슬롯 1 |
HX 240 M4 | SD 카드 | PCH 제어 SSD에서(esxi가 이를 제어함) | 슬롯 1 | PCH 제어 SSD에서 |
HX 220 M5 | M.2 드라이브 | M.2 드라이브 | 슬롯 2 | 슬롯 1 |
HX 240 M5 | M.2 드라이브 | M.2 드라이브 | 후면 슬롯 SSD | 슬롯 1 |
클러스터에서 허용할 수 있는 실패 수는 복제 계수 및 액세스 정책에 따라 달라집니다.
RF(Replication Factor)가 3이고 Access Policy(액세스 정책)가 Unlimited(완화됨)로 설정된 경우, 2개의 노드에 장애가 발생해도 클러스터는 읽기/쓰기 상태로 유지됩니다.3개의 노드에 장애가 발생하면 클러스터가 종료됩니다.
복제 요인 | 액세스 정책 | 실패한 노드 수 | ||
읽기/쓰기 | 읽기 전용 | 종료 | ||
3 | 너그러운 | 2 | — | 3 |
3 | 엄격한 | 1 | 2 | 3 |
2 | 너그러운 | 1 | — | 2 |
2 | 엄격한 | — | 1 | 2 |
RF가 3이고 액세스 정책이 Unlimited 또는 Strict로 설정된 경우 단일 노드에 장애가 발생할 경우 클러스터는 여전히 읽기/쓰기 상태에 있습니다.2개의 노드에 장애가 발생하면 클러스터가 종료됩니다.
복제 요인 | 액세스 정책 | 실패한 노드 수 | ||
읽기/쓰기 | 읽기 전용 | 종료 | ||
3 | 관대하거나 엄함 | 1 | — | 2 |
2 | 너그러운 | 1 | — | 2 |
2 | 엄격한 | — | 1 | 2 |
root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:3
minimum cache copies remaining:3
minimum data copies available for some user data:3
minimum metadata copies available for cluster metadata:3
# of unavailable nodes:0
# of nodes failure tolerable for cluster to be available:1
health state reason:storage cluster is healthy.
# of node failures before cluster shuts down:3
# of node failures before cluster goes into readonly:3
# of persistent devices failures tolerable for cluster to be available:2
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:3
# of persistent devices failures before cluster goes into readonly:3
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:2
resiliencyInfo:
messages:
Storage cluster is healthy.
state: 1
<snip>
clusterAccessPolicy: lenient
경고:이 작업은 SCVM에서 지원되지 않습니다. 데모 용도로만 사용됩니다.
참고:한 번에 하나의 SCVM만 다운되었는지 확인합니다.또한 SCVM을 종료하기 전에 클러스터가 정상인지 확인합니다.이 시나리오는 SCVM이 다운되었거나 사용할 수 없는 경우에도 VM과 데이터 저장소가 작동되어야 함을 보여주기 위한 것입니다.
VM은 계속 정상적으로 작동합니다.다음은 SCVM이 종료되었지만 데이터 저장소가 마운트되어 사용 가능한 출력 예입니다.
[root@node1:~] vim-cmd vmsvc/getallvms
Vmid Name File Guest OS Version Annotation
1 stCtlVM-F 9H [SpringpathDS-F 9H] stCtlVM-F 9H/stCtlVM-F 9H.vmx ubuntu64Guest vmx-13
[root@node1:~] vim-cmd vmsvc/power.off 1
Powering off VM:
[root@node1:~] vim-cmd vmsvc/power.getstate 1
Retrieved runtime info
Powered off
[root@node1:~] esxcfg-nas -l
Test is 10.197.252.106:Test from 3203172317343203629-5043383143428344954 mounted available
ReplSec is 10.197.252.106:ReplSec from 3203172317343203629-5043383143428344954 mounted available
New_DS is 10.197.252.106:New_DS from 3203172317343203629-5043383143428344954 mounted available
경고:이 작업은 SCVM에서 지원되지 않습니다. 데모 용도로만 사용됩니다.
Compatibility(호환성) > Upgrade VM Compatibility(VM 호환성 업그레이드)에서 VM 설정을 편집하여 VMware 하드웨어 버전을 업그레이드하려면 vSphere Web Client가 SCVM에서 지원되지 않는 작업입니다. SCVM은 HX Connect에서 Offline으로 보고됩니다.
root@SpringpathController0 UE:~# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 2.5G 0 disk `-sda1 8:1 0 2.5G 0 part / sdb 8:16 0 100G 0 disk |-sdb1 8:17 0 64G 0 part /var/stv `-sdb2 8:18 0 24G 0 part /var/zookeeper root@SpringpathController0 UE:~# lsscsi [2:0:0:0] disk VMware Virtual disk 2.0 /dev/sda [2:0:1:0] disk VMware Virtual disk 2.0 /dev/sdb root@SpringpathController0 UE:~# cat /var/log/springpath/diskslotmap-v2.txt 1.11.1:5002538a17221ab0:SAMSUNG:MZIES800HMHP/003:S1N2NY0J201389:EM19:SAS:SSD:763097:Inactive:/dev/sdc 1.11.2:5002538c405537e0:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 98:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdd 1.11.3:5002538c4055383a:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 88:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sde 1.11.4:5002538c40553813:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 49:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdf 1.11.5:5002538c4055380e:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 44:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdg 1.11.6:5002538c40553818:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 54:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdh 1.11.7:5002538c405537d1:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 83:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdi 1.11.8:5002538c405537d8:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 90:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdj 1.11.9:5002538c4055383b:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 89:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdk 1.11.10:5002538c4055381f:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 61:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdl 1.11.11:5002538c40553823:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 65:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdm
주의:이 작업이 실수로 수행된 경우 Cisco 지원에 문의하여 추가 지원을 받으십시오.SCVM을 다시 구축해야 합니다.