Informazioni generali utili su HyperFlex
Sommario
Introduzione
Questo documento descrive le conoscenze generali su Cisco HyperFlex (HX) di cui gli amministratori dovrebbero disporre a portata di mano.
Acronimi di uso comune
SCVM = macchina virtuale controller di archiviazione
VMNIC = Scheda di interfaccia di rete macchina virtuale
VNIC = Scheda di interfaccia di rete virtuale
SED = unità con crittografia automatica
VM = Macchina virtuale
HX = HyperFlex
Ordinamento VMNIC HyperFlex VMware
Il posizionamento della VMNIC è stato modificato nella versione HX 3.5 e successive.
Ordini precedenti alla 3.5
Nelle versioni precedenti alla 3.5, le VNIC erano assegnate in base ai numeri VNIC.
| VNIC | Switch virtuale (vSwitch) |
| VNIC 0 e VNIC 1 | vSwitch-hx-inband-mgmt |
| VNIC 2 e VNIC 3 | vSwitch-hx-storage-data |
| VNIC 4 e VNIC 5 | vSwitch-hx-vm-network |
| VNIC 6 e VNIC 7 | vMotion |
Ordini successivi alla 3.5
Nella versione 3.5 e successive, le VNIC vengono assegnate in base all'indirizzo MAC (Media Access Control). Non esiste pertanto un ordine di assegnazione particolare.
Se viene eseguito un aggiornamento da una versione precedente alla 3.5 alla 3.5 o successiva, l'ordine VMNIC viene mantenuto.
SCVM su nodo convergente rispetto a nodo di calcolo
Gli SCVM risiedono sia su nodi di convergenza che su nodi di elaborazione e vi sono differenze tra di essi.
Nodo convergente
Prenotazioni risorse CPU
Poiché le SCVM forniscono funzionalità critiche di Cisco HX Distributed Data Platform, il programma di installazione di HyperFlex configurerà le prenotazioni delle risorse CPU per le VM controller. Questa riserva garantisce che le VM del controller disporranno di risorse CPU (Central Processing Unit) a un livello minimo, in situazioni in cui le risorse CPU fisiche dell'host dell'hypervisor ESXi sono molto utilizzate dalle VM guest. Si tratta di una garanzia soft, che nella maggior parte delle situazioni le SCVM non utilizzano tutte le risorse CPU riservate, consentendo quindi alle VM guest di utilizzarle. Nella tabella seguente viene descritta in dettaglio la riserva di risorse CPU delle VM del controller di storage:
| Numero di vCPU | Condivisioni | Prenotazione | Limite |
| 8 | Bassa | 10.800 MHZ | Illimitato |
Prenotazioni risorse di memoria
Poiché le SCVM forniscono funzionalità critiche di Cisco HX Distributed Data Platform, il programma di installazione di HyperFlex configurerà prenotazioni delle risorse di memoria per le VM controller. Questa riserva garantisce che le VM del controller disporranno di risorse di memoria a un livello minimo, in situazioni in cui le risorse di memoria fisica dell'host dell'hypervisor ESXi sono molto utilizzate dalle VM guest. Nella tabella seguente viene descritta la prenotazione delle risorse di memoria delle VM del controller di storage:
| Modelli server | Quantità di memoria guest | Riserva tutta la memoria guest |
| HX 220c-M5SX HXAF 220c-M5SX HX 220c-M4S HXAF220c-M4S |
48 GB | Sì |
| HX 240c-M5SX HXAF 240c-M5SX HX240c-M4SX HXAF240c-M4SX |
72 GB | Sì |
| HX240c-M5L | 78 GB | Sì |
Nodo di calcolo
I nodi di sola elaborazione dispongono di una SCVM leggera. È configurato con solo 1 vCPU da 1024 MHz e 512 MB di riserva di memoria.
Lo scopo del nodo di calcolo è principalmente quello di mantenere le impostazioni di vCluster Distributed Resource Scheduler™ (DRS), per garantire che DRS non riporti le VM utente ai nodi convergenti.
Scenari cluster non integri
Un cluster HX può essere reso non integro negli scenari seguenti.
Scenario 1: Nodo giù
Un cluster entra in uno stato di tipo non integro quando un nodo diventa inattivo. Un nodo dovrebbe essere inattivo durante un aggiornamento del cluster o quando un server viene messo in modalità manutenzione.
root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:2
minimum cache copies remaining:2
minimum data copies available for some user data:2
current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node 10.197.252.99is either down or initializing disks.
minimum metadata copies available for cluster metadata:2
# of unavailable nodes:1
# of nodes failure tolerable for cluster to be available:0
health state reason:storage cluster is unhealthy. storage node 10.197.252.99 is unavailable.
# of node failures before cluster shuts down:2
# of node failures before cluster goes into readonly:2
# of persistent devices failures tolerable for cluster to be available:1
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:2
# of persistent devices failures before cluster goes into readonly:2
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:1
resiliencyInfo:
messages:
----------------------------------------
Storage cluster is unhealthy.
----------------------------------------
Storage node 10.197.252.99 is unavailable.
----------------------------------------
state: 2
nodeFailuresTolerable: 0
cachingDeviceFailuresTolerable: 1
persistentDeviceFailuresTolerable: 1
zoneResInfoList: None
spaceStatus: normal
totalCapacity: 3.0T
totalSavings: 5.17%
usedCapacity: 45.9G
zkHealth: online
clusterAccessPolicy: lenient
dataReplicationCompliance: non_compliant
dataReplicationFactor: 3
Scenario 2: Disco non attivo
Un cluster entra in uno stato non integro quando un disco non è disponibile. La condizione deve essere cancellata quando i dati vengono distribuiti ad altri dischi.
root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:2
minimum cache copies remaining:2
minimum data copies available for some user data:2
current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node is either down or initializing disks.
minimum metadata copies available for cluster metadata:2
# of unavailable nodes:1
# of nodes failure tolerable for cluster to be available:0
health state reason:storage cluster is unhealthy. persistent device disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.
# of node failures before cluster shuts down:2
# of node failures before cluster goes into readonly:2
# of persistent devices failures tolerable for cluster to be available:1
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:2
# of persistent devices failures before cluster goes into readonly:2
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:1
resiliencyInfo:
messages:
----------------------------------------
Storage cluster is unhealthy.
----------------------------------------
Persistent Device Disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.
----------------------------------------
state: 2
nodeFailuresTolerable: 0
cachingDeviceFailuresTolerable: 1
persistentDeviceFailuresTolerable: 1
zoneResInfoList: None
spaceStatus: normal
totalCapacity: 3.0T
totalSavings: 8.82%
usedCapacity: 45.9G
zkHealth: online
clusterAccessPolicy: lenient
dataReplicationCompliance: non_compliant
dataReplicationFactor: 3
Scenario 3: Né Nodo Né Disco Inattivo
Un cluster può passare a uno stato non integro quando né un nodo né un disco sono inattivi. Questa condizione si verifica se è in corso la ricostruzione.
root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
resiliencyDetails:
current ensemble size:5
# of caching failures before cluster shuts down:3
minimum cache copies remaining:3
minimum data copies available for some user data:2
current healing status:rebuilding is in progress, 98% completed. minimum metadata copies available for cluster metadata:2
time remaining before current healing operation finishes:7 hr(s), 15 min(s), and 34 sec(s)
# of unavailable nodes:0
# of nodes failure tolerable for cluster to be available:1
health state reason:storage cluster is unhealthy.
# of node failures before cluster shuts down:2
# of node failures before cluster goes into readonly:2
# of persistent devices failures tolerable for cluster to be available:1
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:2
# of persistent devices failures before cluster goes into readonly:2
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:2
resiliencyInfo:
messages:
Storage cluster is unhealthy.
state: 2
nodeFailuresTolerable: 1
cachingDeviceFailuresTolerable: 2
persistentDeviceFailuresTolerable: 1
zoneResInfoList: None
spaceStatus: normal
totalCapacity: 225.0T
totalSavings: 42.93%
usedCapacity: 67.7T
clusterAccessPolicy: lenient
dataReplicationCompliance: non_compliant
dataReplicationFactor: 3
Come verificare la presenza di un cluster SED tramite l'interfaccia della riga di comando (CLI)
Se l'accesso a HX Connect non è disponibile, è possibile utilizzare CLI per verificare se il cluster è SED.
# Check if the cluster is SED capable
root@SpringpathController:~# cat /etc/springpath/sed_capability.conf sed_capable_cluster=False
# Check if the cluster is SED enabled root@SpringpathController:~# cat /etc/springpath/sed.conf sed_encryption_state=unknown
root@SpringpathController:~# /usr/share/springpath/storfs-appliance/sed-client.sh -l WWN,Slot,Supported,Enabled,Locked,Vendor,Model,Serial,Size 5002538c40a42d38,1,0,0,0,Samsung,SAMSUNG_MZ7LM240HMHQ-00003,S3LKNX0K406548,228936 5000c50030278d83,25,1,1,0,MICRON,S650DC-800FIPS,ZAZ15QDM0000822150Z3,763097 500a07511d38cd36,2,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CD36,915715 500a07511d38efbe,4,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EFBE,915715 500a07511d38f350,7,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38F350,915715 500a07511d38eaa6,3,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EAA6,915715 500a07511d38ce80,6,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CE80,915715 500a07511d38e4fc,5,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38E4FC,915715
Modalità di manutenzione HX e modalità di manutenzione ESXi
Quando è necessario eseguire attività di manutenzione su un server che fa parte di un cluster HX, utilizzare la modalità di manutenzione HX anziché la modalità di manutenzione ESXi. Quando si utilizza la modalità di manutenzione HX, SCVM viene spento normalmente, mentre si arresta improvvisamente quando si utilizza la modalità di manutenzione ESXi.
Quando un nodo è in modalità di manutenzione, viene considerato inattivo, ovvero un errore di un nodo.
Verificare che il cluster risulti integro prima di attivare la modalità manutenzione per un altro nodo.
root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:3
minimum cache copies remaining:3
minimum data copies available for some user data:3
minimum metadata copies available for cluster metadata:3
# of unavailable nodes:0
# of nodes failure tolerable for cluster to be available:1
health state reason:storage cluster is healthy.
# of node failures before cluster shuts down:3
# of node failures before cluster goes into readonly:3
# of persistent devices failures tolerable for cluster to be available:2
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:3
# of persistent devices failures before cluster goes into readonly:3
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:2
resiliencyInfo:
messages:
Storage cluster is healthy.
state: 1
nodeFailuresTolerable: 1
cachingDeviceFailuresTolerable: 2
<snip>
Domande frequenti
Dove sono installati gli SCVM sui server Cisco HyperFlex M4 e M5?
La posizione della SCVM è diversa tra i server Cisco Hyperflex M4 e M5. Nella tabella seguente viene indicata la posizione dell'SCVM e vengono fornite altre informazioni utili.
| Cisco HX Server | ESXi | SCVM sda |
Memorizzazione nella cache dell'unità a stato solido (SSD) | SSD per la casa sdb1 e sdb2 |
| HX 220 M4 | Secure Digital (schede SD) | 3,5 G su schede SD | Slot 2 | Slot 1 |
| HX 240 M4 | Schede SD | Su SSD controllato da PCH (esxi ha il controllo di questo) | Slot 1 | Su SSD PCH |
| HX 220 M5 | Unità M.2 | Unità M.2 | Slot 2 | Slot 1 |
| HX 240 M5 | Unità M.2 | Unità M.2 | SSD slot posteriore | Slot 1 |
Quanti nodi danneggiati può tollerare un cluster?
Il numero di errori tollerati da un cluster dipende dal fattore di replica e dai criteri di accesso.
Cluster con 5 o più nodi
Quando il fattore di replica (RF) è impostato su 3 e il criterio di accesso è impostato su Privilegio concesso, se si verificano errori in 2 nodi il cluster rimarrà in stato di lettura/scrittura. Se si verificano errori in 3 nodi, il cluster verrà arrestato.
| Fattore di replica | Criteri di accesso | Numero di nodi non riusciti | ||
| Lettura/scrittura | Sola lettura | Shutdown | ||
| 3 | Incline | 2 | — | 3 |
| 3 | Ristretta | 1 | 2 | 3 |
| 2 | Incline | 1 | — | 2 |
| 2 | Ristretta | — | 1 | 2 |
Cluster con 3 e 4 nodi
Quando RF è impostato su 3 e Criteri di accesso è impostato su Privilegiato o Rigoroso, se si verifica un errore in un singolo nodo, il cluster è ancora nello stato di lettura/scrittura. Se si verificano errori in 2 nodi, il cluster verrà arrestato.
| Fattore di replica | Criteri di accesso | Numero di nodi non riusciti | ||
| Lettura/scrittura | Sola lettura | Shutdown | ||
| 3 | Amichevole o rigoroso | 1 | — | 2 |
| 2 | Incline | 1 | — | 2 |
| 2 | Ristretta | — | 1 | 2 |
Esempio di cluster a 3 nodi (RF: 3, Criteri di accesso: Apprezzato)
Esempio di interfaccia grafica (GUI)
Esempio di CLI
root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:3
minimum cache copies remaining:3
minimum data copies available for some user data:3
minimum metadata copies available for cluster metadata:3
# of unavailable nodes:0
# of nodes failure tolerable for cluster to be available:1
health state reason:storage cluster is healthy.
# of node failures before cluster shuts down:3
# of node failures before cluster goes into readonly:3
# of persistent devices failures tolerable for cluster to be available:2
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:3
# of persistent devices failures before cluster goes into readonly:3
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:2
resiliencyInfo:
messages:
Storage cluster is healthy.
state: 1
<snip>
clusterAccessPolicy: lenient
Cosa succede se uno degli SCVM viene arrestato? Le VM continuano a funzionare?
Le VM continueranno a funzionare normalmente. Di seguito è riportato un esempio di output in cui SCVM è stato chiuso, ma gli archivi dati sono rimasti disponibili e montati.
[root@node1:~] vim-cmd vmsvc/getallvms
Vmid Name File Guest OS Version Annotation
1 stCtlVM-F 9H [SpringpathDS-F 9H] stCtlVM-F 9H/stCtlVM-F 9H.vmx ubuntu64Guest vmx-13
[root@node1:~] vim-cmd vmsvc/power.off 1
Powering off VM:
[root@node1:~] vim-cmd vmsvc/power.getstate 1
Retrieved runtime info
Powered off
[root@node1:~] esxcfg-nas -l
Test is 10.197.252.106:Test from 3203172317343203629-5043383143428344954 mounted available
ReplSec is 10.197.252.106:ReplSec from 3203172317343203629-5043383143428344954 mounted available
New_DS is 10.197.252.106:New_DS from 3203172317343203629-5043383143428344954 mounted available
La versione hardware VMware su SCVM è stata aggiornata. E adesso?
L'aggiornamento della versione hardware VMware modificando le impostazioni della VM in Compatibilità > Aggiorna compatibilità VM indica che vSphere Web Client non è un'operazione supportata su una SCVM. La SCVM segnalerà come Offline in HX Connect.
root@SpringpathController0 UE:~# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 2.5G 0 disk `-sda1 8:1 0 2.5G 0 part / sdb 8:16 0 100G 0 disk |-sdb1 8:17 0 64G 0 part /var/stv `-sdb2 8:18 0 24G 0 part /var/zookeeper root@SpringpathController0 UE:~# lsscsi [2:0:0:0] disk VMware Virtual disk 2.0 /dev/sda [2:0:1:0] disk VMware Virtual disk 2.0 /dev/sdb root@SpringpathController0 UE:~# cat /var/log/springpath/diskslotmap-v2.txt 1.11.1:5002538a17221ab0:SAMSUNG:MZIES800HMHP/003:S1N2NY0J201389:EM19:SAS:SSD:763097:Inactive:/dev/sdc 1.11.2:5002538c405537e0:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 98:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdd 1.11.3:5002538c4055383a:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 88:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sde 1.11.4:5002538c40553813:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 49:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdf 1.11.5:5002538c4055380e:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 44:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdg 1.11.6:5002538c40553818:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 54:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdh 1.11.7:5002538c405537d1:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 83:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdi 1.11.8:5002538c405537d8:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 90:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdj 1.11.9:5002538c4055383b:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 89:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdk 1.11.10:5002538c4055381f:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 61:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdl 1.11.11:5002538c40553823:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S 65:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdm
Feedback