Handige HyperFlex kennis

Inleiding

Dit document beschrijft algemene kennis van Cisco HyperFlex (HX) die beheerders binnen hun handbereik moeten hebben.

Gebruikte acroniem

SCVM = Storage Controller virtuele machine

VMNIC = Virtual Machine Network Interface-kaart

VNIC = Virtual Network Interface Card

SED = Drive voor zelfversleuteling

VM = virtuele machine

HX = HyperFlex 

HyperFlex VMware VMNIC die bestelt

VMNIC-plaatsing is herzien in HX versie 3.5 en hoger.

Vooraf 3.5 Bestellen

Vóór versie 3.5 werden de VNIC’s toegewezen op basis van de VNIC-nummers.

VNIC	Virtuele switch (vSwitch)
VNIC 0 en VNIC 1	vSwitch-hx-inband-mt
VNIC 2 & VNIC 3	vSwitch-hx-opslag-gegevens
VNIC 4 & VNIC 5	vSwitch-hx-vm-netwerk
VNIC 6 en VNIC 7	vMotion

Post 3.5 Bestellen

In versie 3.5 en later worden de VNIC’s toegewezen op basis van het MAC-adres (Media Access Control). Daarom is er geen specifieke volgorde van toewijzing.

Als een upgrade van een versie ouder dan 3.5 tot 3.5 of hoger wordt uitgevoerd, blijft VMNIC bestellen behouden. 

Opmerking: Voor HX Hyper-V is dit niet van toepassing aangezien Hyper-V gebruik maakt van consistente apparaatnamen (CDN).

 

SCVM op geconvergeerd knooppunt versus computingsknooppunt

SCVM's bevinden zich op zowel geconvergeerde als computing knooppunten en er zijn verschillen tussen deze knooppunten.

geconvergeerd knooppunt

CPU-resourcemanagement

Aangezien de SCVM's kritische functionaliteit van het Cisco HX Distributed Data Platform bieden, zal de HyperFlex-installateur CPU-bronreserveringen voor de controller-VM's configureren. Deze reservering garandeert dat de VM's van de centrale verwerkingseenheid (CPU’s) op een minimaal niveau zullen beschikken in situaties waarin de fysieke CPU-middelen van de ESXi-hypervisorhost sterk door de gastVM’s worden verbruikt. Dit is een zachte garantie, hetgeen betekent dat de SCVM's in de meeste situaties niet alle gereserveerde CPU-middelen gebruiken, zodat de gast-VM's deze kunnen gebruiken. In de volgende tabel wordt nader ingegaan op de CPU-middelenreservering van de VM's van opslagcontrollers:

Aantal vCPU’s	Aandelen	Voorbehoud	Limiet
8	Laag	1.080 MHZ	Onbeperkt

Reservaties van geheugenbronnen

Aangezien de SCVM's kritische functionaliteit van het Cisco HX Distributed Data Platform bieden, zal de HyperFlex-installateur geheugenmiddelenreserveringen voor de controller-VM's configureren. Deze reservering garandeert dat de controller-VM's over minimaal geheugen zullen beschikken, in situaties waarin de fysieke geheugenbronnen van de ESXi-hypervisorhost sterk worden verbruikt door de gast-VM's. In de volgende tabel wordt de reservering van de geheugenbronnen van de opslagcontroller voor VM's beschreven:

servermodellen	Hoeveelheid Guest Geheugen	Reserve-al-guldengeheugen
HX220c-M5 SX HXAF 220c-M5 SX   HX220c-M4S switch HXAF-220c-M4S router	48 GB	Ja
HX240c-M5 SX HXAF 240c-M5 SX HX240c-M4SX HXAF-240c-M4SX	72 GB	Ja
HX240c-M5L	78 GB	Ja

Compact knooppunt

De alleen-computerknooppunten hebben een lichtgewicht SCVM. Deze wordt ingesteld met slechts 1 vCPU van 1024 MHz en 512 MB aan geheugenreservering.

Het doel van het hebben van het computerknooppunt is voornamelijk het onderhoud van de instellingen van vCluster Distributed Resource Scheduler™ (DRS), om ervoor te zorgen dat DRS de gebruiker VM's niet terugzet naar geconvergeerde knooppunten.

Ongezonde Cluster Scenarios 

Een HX-cluster kan in de volgende scenario's ongezond worden gemaakt.

Scenario 1: Knooppunt

Een cluster gaat in een ongezonde staat wanneer een knooppunt omlaag gaat. Er wordt verwacht dat een knooppunt tijdens een clusterupgrade valt of wanneer een server in de onderhoudsmodus wordt gezet.

root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:2
minimum cache copies remaining:2
minimum data copies available for some user data:2
current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node 10.197.252.99is either down or initializing disks.
minimum metadata copies available for cluster metadata:2
# of unavailable nodes:1
# of nodes failure tolerable for cluster to be available:0
health state reason:storage cluster is unhealthy. storage node 10.197.252.99 is unavailable.
# of node failures before cluster shuts down:2
# of node failures before cluster goes into readonly:2
# of persistent devices failures tolerable for cluster to be available:1
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:2
# of persistent devices failures before cluster goes into readonly:2
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:1
resiliencyInfo:
messages:
----------------------------------------
Storage cluster is unhealthy. 
----------------------------------------
Storage node 10.197.252.99 is unavailable. 
----------------------------------------
state: 2
nodeFailuresTolerable: 0
cachingDeviceFailuresTolerable: 1
persistentDeviceFailuresTolerable: 1
zoneResInfoList: None
spaceStatus: normal
totalCapacity: 3.0T
totalSavings: 5.17%
usedCapacity: 45.9G
zkHealth: online
clusterAccessPolicy: lenient
dataReplicationCompliance: non_compliant
dataReplicationFactor: 3

Scenario 2: Schijf omlaag

Een cluster gaat in een ongezonde toestand wanneer een schijf niet beschikbaar is. De conditie dient te worden gewist wanneer de gegevens aan andere schijven worden verdeeld. 

root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:2
minimum cache copies remaining:2
minimum data copies available for some user data:2
current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node is either down or initializing disks.
minimum metadata copies available for cluster metadata:2
# of unavailable nodes:1
# of nodes failure tolerable for cluster to be available:0
health state reason:storage cluster is unhealthy. persistent device disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable. 
# of node failures before cluster shuts down:2
# of node failures before cluster goes into readonly:2
# of persistent devices failures tolerable for cluster to be available:1
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:2
# of persistent devices failures before cluster goes into readonly:2
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:1
resiliencyInfo:
messages:
----------------------------------------
Storage cluster is unhealthy. 
----------------------------------------
Persistent Device Disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable. 
----------------------------------------
state: 2
nodeFailuresTolerable: 0
cachingDeviceFailuresTolerable: 1
persistentDeviceFailuresTolerable: 1
zoneResInfoList: None
spaceStatus: normal
totalCapacity: 3.0T
totalSavings: 8.82%
usedCapacity: 45.9G
zkHealth: online
clusterAccessPolicy: lenient
dataReplicationCompliance: non_compliant
dataReplicationFactor: 3

Scenario 3: Noch knooppunt, noch diskette

Een cluster kan in een ongezonde toestand gaan als er geen knooppunt of schijf is. Deze conditie treedt op als de herbouw bezig is.

root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
resiliencyDetails:
        current ensemble size:5
        # of caching failures before cluster shuts down:3
        minimum cache copies remaining:3
        minimum data copies available for some user data:2
 current healing status:rebuilding is in progress, 98% completed.         minimum metadata copies available for cluster metadata:2
        time remaining before current healing operation finishes:7 hr(s), 15 min(s), and 34 sec(s)
        # of unavailable nodes:0
        # of nodes failure tolerable for cluster to be available:1
        health state reason:storage cluster is unhealthy.
        # of node failures before cluster shuts down:2
        # of node failures before cluster goes into readonly:2
        # of persistent devices failures tolerable for cluster to be available:1
        # of node failures before cluster goes to enospace warn trying to move the existing data:na
        # of persistent devices failures before cluster shuts down:2
        # of persistent devices failures before cluster goes into readonly:2
       # of caching failures before cluster goes into readonly:na
        # of caching devices failures tolerable for cluster to be available:2
resiliencyInfo:
    messages:
        Storage cluster is unhealthy.
    state: 2
    nodeFailuresTolerable: 1
    cachingDeviceFailuresTolerable: 2
    persistentDeviceFailuresTolerable: 1
    zoneResInfoList: None
spaceStatus: normal
totalCapacity: 225.0T
totalSavings: 42.93%
usedCapacity: 67.7T
clusterAccessPolicy: lenient
dataReplicationCompliance: non_compliant
dataReplicationFactor: 3

Hoe u een SED-cluster kunt controleren met behulp van de opdrachtregel-interface (CLI)

Als geen toegang tot HX Connect beschikbaar is, kan de CLI worden gebruikt om te controleren of het cluster SED is. 

# Check if the cluster is SED capable
root@SpringpathController:~# cat /etc/springpath/sed_capability.conf
sed_capable_cluster=False

# Check if the cluster is SED enabled
root@SpringpathController:~# cat /etc/springpath/sed.conf
sed_encryption_state=unknown

root@SpringpathController:~# /usr/share/springpath/storfs-appliance/sed-client.sh -l
WWN,Slot,Supported,Enabled,Locked,Vendor,Model,Serial,Size
5002538c40a42d38,1,0,0,0,Samsung,SAMSUNG_MZ7LM240HMHQ-00003,S3LKNX0K406548,228936
5000c50030278d83,25,1,1,0,MICRON,S650DC-800FIPS,ZAZ15QDM0000822150Z3,763097
500a07511d38cd36,2,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CD36,915715
500a07511d38efbe,4,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EFBE,915715
500a07511d38f350,7,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38F350,915715
500a07511d38eaa6,3,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EAA6,915715
500a07511d38ce80,6,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CE80,915715
500a07511d38e4fc,5,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38E4FC,915715

HX-onderhoudsmodus versus ESXi-onderhoudsmodus

Wanneer onderhoudsactiviteiten moeten worden uitgevoerd op een server die deel uitmaakt van een HX-cluster, moet de HX-onderhoudsmodus worden gebruikt in plaats van de ESXi-onderhoudsmodus. De SCVM wordt bewust uitgeschakeld wanneer de HX-onderhoudsmodus wordt gebruikt terwijl deze abrupt wordt afgesloten wanneer de ESXi-onderhoudsmodus wordt gebruikt.

Wanneer een knooppunt zich in de onderhoudsmodus bevindt, wordt er rekening mee gehouden dat het 1 knooppunt heeft gefaald.

Zorg ervoor dat de cluster voldoende gezond is voordat u een ander knooppunt naar de onderhoudsmodus verplaatst.

root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:3
minimum cache copies remaining:3
minimum data copies available for some user data:3
minimum metadata copies available for cluster metadata:3
# of unavailable nodes:0
# of nodes failure tolerable for cluster to be available:1
health state reason:storage cluster is healthy.
# of node failures before cluster shuts down:3
# of node failures before cluster goes into readonly:3
# of persistent devices failures tolerable for cluster to be available:2
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:3
# of persistent devices failures before cluster goes into readonly:3
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:2
resiliencyInfo:
messages:
Storage cluster is healthy.
state: 1
nodeFailuresTolerable: 1
cachingDeviceFailuresTolerable: 2
<snip>

Veelgestelde vragen

Waar zijn de SCVM’s geïnstalleerd op Cisco HyperFlex M4- en M5-servers?

De SCVM locatie is verschillend tussen Cisco Hyperflex M4 en M5 servers. De onderstaande tabel geeft een overzicht van de locatie van de SCVM en biedt andere nuttige informatie.

Cisco HX-server	ESXi	SCVM               sda	Caching Solid State Drive (SSD)	Huishoudelijke SSD   sdb1 en sdb2
HX 220 M4-software	Secure digitaal (SD-kaarten)	3,5G op SD-kaarten	2 sleuven	1 sleuf
HX240 M4-software	SD-kaarten	Bij door PCH gecontroleerde SSD (esxi heeft de controle over deze stof)	1 sleuf	Met PCH-gecontroleerde SSD
HX 220 M5	M.2-station	M.2-station	2 sleuven	1 sleuf
HX 240 M5	M.2-station	M.2-station	SSD voor achtersleuf	1 sleuf

Hoeveel mislukte knooppunten kan een cluster verdragen?

Het aantal fouten dat een cluster kan tolereren is afhankelijk van de factor van de replicatie en het toegangsbeleid.

Clusters met 5 of meer knooppunten

Wanneer de punt van de replicatie (RF) 3 is en het beleid van de Toegang aan Leent wordt ingesteld, als 2 knopen het breken van de cluster nog in een Lees/schrijf staat. Als 3 knooppunten failliet zouden gaan, dan zal de cluster sluiten.

replicatiefactor	Toegangsbeleid	Aantal mislukte knooppunten
		Lezen/schrijven	Alleen lezen	Shutdown
3	buigzaam	2	—	3
3	strikt	1	2	3
2	buigzaam	1	—	2
2	strikt	—	1	2

Clusters met 3 en 4 knooppunten

Wanneer de RF 3 is en het Toegangsbeleid op Leent of Streng wordt ingesteld, als één knooppunt faalt, is de cluster nog in een Lees-schrijfstaat. Als 2 knooppunten falen, sluit de cluster af.

replicatiefactor	Toegangsbeleid	Aantal mislukte knooppunten
		Lezen/schrijven	Alleen lezen	Shutdown
3	Lenient of streng	1	—	2
2	buigzaam	1	—	2
2	strikt	—	1	2

Voorbeeld van een 3-knooppunt-cluster (RF: 3, Toegangsbeleid: verzachtend) 

Graphical User Interface (GUI)-voorbeeld

CLI-voorbeeld

root@SpringpathController:~# stcli cluster storage-summary --detail
<snip>
current ensemble size:3
# of caching failures before cluster shuts down:3
minimum cache copies remaining:3
minimum data copies available for some user data:3
minimum metadata copies available for cluster metadata:3
# of unavailable nodes:0
# of nodes failure tolerable for cluster to be available:1
health state reason:storage cluster is healthy.
# of node failures before cluster shuts down:3
# of node failures before cluster goes into readonly:3
# of persistent devices failures tolerable for cluster to be available:2
# of node failures before cluster goes to enospace warn trying to move the existing data:na
# of persistent devices failures before cluster shuts down:3
# of persistent devices failures before cluster goes into readonly:3
# of caching failures before cluster goes into readonly:na
# of caching devices failures tolerable for cluster to be available:2
resiliencyInfo:
messages:
Storage cluster is healthy.
state: 1
<snip>
clusterAccessPolicy: lenient

Wat gebeurt er als een van de SCVM's wordt afgesloten? Blijven VM's functioneren?

Waarschuwing: Dit is geen ondersteunde operatie op een SCVM. Dit is alleen voor demonstratiedoeleinden.

Opmerking: Zorg ervoor dat er slechts één SCVM tegelijk is uitgevallen. Zorg er ook voor dat de cluster gezond is voordat een SCVM wordt uitgeschakeld. Dit scenario is alleen bedoeld om aan te tonen dat de VM's en de gegevensopslagsystemen naar verwachting zullen functioneren, zelfs als een SCVM is uitgevallen of niet beschikbaar is.

VM's zullen normaal blijven werken. Hieronder staat een uitvoervoorbeeld waar de SCVM werd afgesloten, maar de datastores bleven gemonteerd en beschikbaar.

[root@node1:~] vim-cmd vmsvc/getallvms
Vmid Name File Guest OS Version Annotation
1 stCtlVM-F       9H [SpringpathDS-F     9H] stCtlVM-F       9H/stCtlVM-F      9H.vmx ubuntu64Guest vmx-13

[root@node1:~] vim-cmd vmsvc/power.off 1
Powering off VM:

[root@node1:~] vim-cmd vmsvc/power.getstate 1
Retrieved runtime info
Powered off

[root@node1:~] esxcfg-nas -l
Test is 10.197.252.106:Test from 3203172317343203629-5043383143428344954 mounted available
ReplSec is 10.197.252.106:ReplSec from 3203172317343203629-5043383143428344954 mounted available
New_DS is 10.197.252.106:New_DS from 3203172317343203629-5043383143428344954 mounted available

De VMware hardwareversie op de SCVM is bijgewerkt. Wat nu?

Waarschuwing: Dit is geen ondersteunde operatie op een SCVM. Dit is alleen voor demonstratiedoeleinden.

Het verbeteren van de VMware-hardwareversie door het bewerken van VM-instellingen in compatibiliteit > VM-compatibiliteit met upgrade is de vSphere Web Client is GEEN ondersteunde operatie op een SCVM. De SCVM rapporteert als offline in HX Connect.

root@SpringpathController0      UE:~# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0  2.5G  0 disk
`-sda1   8:1    0  2.5G  0 part /
sdb      8:16   0  100G  0 disk
|-sdb1   8:17   0   64G  0 part /var/stv
`-sdb2   8:18   0   24G  0 part /var/zookeeper


root@SpringpathController0      UE:~# lsscsi
[2:0:0:0]    disk    VMware   Virtual disk     2.0   /dev/sda
[2:0:1:0]    disk    VMware   Virtual disk     2.0   /dev/sdb


root@SpringpathController0      UE:~# cat /var/log/springpath/diskslotmap-v2.txt
1.11.1:5002538a17221ab0:SAMSUNG:MZIES800HMHP/003:S1N2NY0J201389:EM19:SAS:SSD:763097:Inactive:/dev/sdc
1.11.2:5002538c405537e0:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           98:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdd
1.11.3:5002538c4055383a:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           88:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sde
1.11.4:5002538c40553813:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           49:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdf
1.11.5:5002538c4055380e:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           44:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdg
1.11.6:5002538c40553818:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           54:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdh
1.11.7:5002538c405537d1:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           83:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdi
1.11.8:5002538c405537d8:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           90:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdj
1.11.9:5002538c4055383b:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           89:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdk
1.11.10:5002538c4055381f:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S          61:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdl
1.11.11:5002538c40553823:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S          65:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdm

Voorzichtig: Als deze bewerking per ongeluk is uitgevoerd, belt u Cisco Support voor verdere assistentie. De SCVM zal opnieuw moeten worden ingezet.