소개

이 문서에서는 성공적인 HyperFlex 클러스터 업그레이드 프로세스를 실행하기 위한 모범 사례에 대해 설명합니다.

초

사전 요구 사항

요구 사항

Cisco에서는 다음 항목에 대한 지식을 권장합니다.

• UCSM(Unified Computing System Manager)
  
• Cisco CIMC(Integrated Management Controller)
• 하이퍼플렉스
• Elastic Sky X 통합(ESXi)
• vCenter
• Intersight

사용되는 구성 요소

• HyperFlex Connect 4.5(2e)
• UCSM 4.2.(1f)
• Intersight
• vCenter 7.0 U3

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.

업그레이드 전 단계

버전 선택

선택한 대상 버전에 대한 결정은 HyperFlex 환경 요구 사항을 기반으로 합니다. 그 목적은 이전 소프트웨어를 개선하고 수정하고 새로운 소프트웨어를 활용하는 것입니다. 

HyperFlex 릴리스 노트를 읽고 새로운 기능, 새로 지원되는 하드웨어, 구성 요소 간 상호 운용성, 지침, 제한 사항, 보안 수정, 해결된 주의 사항 등의 정보를 확인하십시오.

릴리즈 노트 정보를 확인하려면 여기를 클릭하십시오.

호환성

Hyperflex 클러스터 업그레이드를 실행하기 전에 모든 버전이 호환되는지 확인하십시오. Cisco는 다음을 권장합니다.

• HyperFlex, UCS(Unified Computing System) 및 ESXi/vCenter 버전 상호운용성을 확인합니다.
• 대상 HyperFlex 대상 버전에서 지원되는 모든 하드웨어 모델을 확인하십시오.
• Cisco HyperFlex 소프트웨어 요구 사항 및 권장 사항은 여기에서 확인할 수 있습니다.
• 여기에 나열된 모든 UCS 및 VMware 버전은 Cisco에서 제안하고 높은 테스트를 거쳤습니다.
• Cisco에서는 좀 더 안정적이고 높은 테스트를 거친 일부 HyperFlex 버전을 제안합니다. 
• Suggested HyperFlex versions(제안 HyperFlex 버전)는 골든 스타와 함께 찾을 수 있습니다. 여기를 확인하십시오.

업그레이드 가이드

수행할 단계별 지침을 제공하는 Cisco HyperFlex 업그레이드 가이드를 확인하십시오.

안내서는 다음과 같은 다양한 유형의 시나리오에 대한 정보를 제공합니다. 

• 통합 업그레이드. 모든 HyperFlex 클러스터 구성 요소 업그레이드 포함 
• 개별 업그레이드. HyperFlex 클러스터 구성 요소 중 하나 업그레이드 포함 
• 오프라인 업그레이드. HyperFlex 클러스터를 종료해야 합니까?
• 클러스터 유형(Standard, Strech, Edge)에 따른 업그레이드 워크플로
• 업그레이드 가이드는 여기에서 찾을 수 있습니다.
• Cisco Intersight를 사용하여 클러스터를 구축한 경우 Intersight를 사용합니다. 여기 가이드를 확인해 보세요.

고려 사항

• Cisco에서는 워크플로 트래픽이 적은 시간 또는 유지 관리 기간 동안 온라인 업그레이드를 수행하는 것을 권장합니다.
• 업그레이드를 완료하는 데 걸리는 시간은 클러스터 크기의 상대성입니다.
• 오프라인 업그레이드에는 모든 게스트 VM(가상 머신)이 오프라인 상태여야 합니다. 
• Cisco에서는 EOL(End of Life)로 사용되는 현재 버전을 방지하려면 새로 사용할 수 있는 버전의 HyperFlex 릴리스 노트를 모니터링하는 것이 좋습니다.
• 여기서 Cisco HyperFlex 릴리스 노트 가이드를 확인하십시오.
  

업그레이드 전 툴

HyperFlex 업그레이드가 실행되기 전에 상태 검사를 수행하여 잠재적 오류를 수정하고 업그레이드 중 예기치 않은 동작을 방지합니다.

이러한 상태 검사를 수행할 수 있는 두 가지 다른 방법이 있습니다. 

하이퍼체크 

이 도구는 HyperFlex 시스템에 대한 사전 예방적 자체 점검을 수행하여 안정성과 복원력을 보장하는 유틸리티입니다.

Hypercheck 가이드 정보는 여기에 있습니다.

Intersight 상태 검사

이는 사전 점검을 위해 제안된 방법입니다. 잠재적 컨피그레이션 오류를 쉽게 탐지할 수 있는 새로운 트러블슈팅 기능을 포함하도록 주기적으로 업데이트됩니다.

업그레이드 과정에서 불편을 초래하는 새로운 주의 사항을 지속적으로 찾아내고 있습니다. Intersight HealthCheck 가이드 정보는 여기서 확인할 수 있습니다.

Intersight HealthCheck 데모

1단계. Intersight에 로그인하고 Infrastructure Service(인프라 서비스)로 이동한 다음 HyperFlex Clusters(HyperFlex 클러스터)를 선택하고 Cluster(클러스터)를 선택합니다 

예는 이름이 San_Jose인 클러스터를 보여줍니다. Actions(작업) 드롭다운 메뉴에서 Run Health Check(상태 확인 실행)를 선택합니다.

참고: 이 예에서는 단일 클러스터에서 수행된 상태 검사를 보여 줍니다. 여러 클러스터를 선택하고 동시에 상태 검사를 수행할 수 있습니다.

클러스터를 확인하고 Next(다음)를 클릭합니다.

원하는 경우 워크플로에서 일부 검사를 건너뛸 수 있습니다.

2단계. Start(시작)를 클릭하여 사전 확인을 시작합니다.

진행률 표시줄을 확인하고 HealthCheck 작업이 완료될 때까지 기다립니다.

 3단계. HealthCheck 작업이 완료되면 결과를 확인할 수 있는 곳이 몇 군데 있습니다.

Health Check(상태 확인) 탭에는 일반적인 결과가 표시됩니다. 이 예는 no-show Passed 및 Not Run 결과로 필터링됩니다.

4단계. Affected Nodes(영향을 받는 노드)를 클릭하여 문제의 노드를 확인합니다. 

Overview(개요) 탭에서 Events(이벤트): Alarms(경보), Requests(요청) 및 Advisories(자문)를 는 경우를 선택합니다.

자세한 내용을 보려면 각 이벤트를 펼칩니다.

예는 Requests expanded, Run Selected Hypercheck Health Checks Failed를 보여줍니다.

여기에는 모든 성공 및 실패 검사가 표시됩니다.

5단계. Show Additional Details(추가 세부사항 표시)의 토글을 클릭합니다.

각 Invoke Check를 확장하여 확인된 내용을 세부적으로 볼 수 있습니다. 

로그, 입력 및 출력에 대한 자세한 정보를 JSON 형식으로 제공합니다.

교육 비디오

비디오를 확인합니다.

Intersight Health Check 비디오

참고: 일부 수정 사항에는 TAC(Technical Assistance Center) 개입이 필요합니다. 필요한 경우 케이스를 엽니다.

중요 검증

UCSM에서 사용하지 않는 패키지 삭제

UCS Manager 펌웨어 관리자에서는 UCS 펌웨어 패키지를 Fabric Interconnect 부트 플래시 파티션으로 다운로드해야 합니다. Fabric Interconnect 부트 플래시 파티션에 불필요한 파일이 채워지지 않도록 구성 요소에서 더 이상 사용되지 않는 오래된 펌웨어 패키지를 확인하고 삭제합니다.

패브릭 인터커넥트 공간을 확인합니다.

1단계. Equipment(장비)로 이동하고 Fabric Interconnects(패브릭 인터커넥트)를 선택한 다음 Fabric Interconnect(패브릭 인터커넥트)를 선택합니다. 이 예에서는 Fabric Interconnect A(기본)를 보여줍니다.

2단계. 일반 패널에서 Local Storage Information(로컬 스토리지 정보)을 선택하고 확장합니다.

업스트림 스위치에서 STP(Spanning Tree Port) PortFast 활성화 확인 

업스트림 스위치가 STP PortFast 명령을 지원하는 경우 활성화하는 것이 좋습니다. PortFast 기능을 활성화하면 스위치 또는 트렁크 포트가 STP 포워딩 상태로 즉시 전환되거나 링크업 이벤트 시 전환되므로 수신 및 학습 상태가 우회됩니다.

PortFast 기능은 포트 레벨에서 활성화되며 이 포트는 물리적 또는 논리적 포트일 수 있습니다.

패브릭 인터커넥트 포트 또는 어댑터의 물리적 포트 오류 

원하지 않는 장애 조치 시나리오를 피하려면 UCSM에서 업링크 또는 서버 포트의 포트 오류와 관련된 오류를 확인합니다.

1단계. UCSM에 로그인하고 Equipment(장비) 탭으로 이동하여 Rack-Mounts(랙 마운트)를 확장하고 Servers(서버)를 펼칩니다. 이 예에서는 서버 1을 보여 줍니다.

2단계. Adapters(어댑터)를 확장한 다음 NICs(NIC)를 확장합니다.

3단계. 각 NIC(Network Interface Card)가 깨끗한지 확인합니다.

표준 및 확장 클러스터에서 업스트림으로 구성된 스토리지 데이터 VLAN

Fabric Interconnect B가 다운된 경우 페일오버가 수행되도록 하려면 업스트림 디바이스에서 스토리지 데이터 VAN을 구성해야 합니다.

HyperFlex 설치 가이드에 나열된 모든 요구 사항이 있는지 확인합니다.

MTU 및 장애 조치

가상 머신 네트워크 인터페이스 카드(vmnic)의 두 경로 모두에 대해 네트워크 연결 흐름을 확인합니다.

참고: 업스트림 연결 테스트를 수행하려면 이 비디오를 확인하십시오.

이 가이드를 참조하여 UCS 정책에 따라 올바른 NIC 티밍이 올바르게 구성되었는지 확인합니다. 

인프라 업그레이드 중에 ESXi 업링크가 나타날 때까지 기다렸다가 다른 Fabric Interconnect를 재부팅합니다.

테스트 업그레이드 자격 수행

Cisco HyperFlex Release 4.0(2a)부터 시작되는 Upgrade(업그레이드) 페이지에는 마지막 클러스터 업그레이드 자격 테스트 결과와 마지막으로 테스트한 UCS 서버, HX 데이터 플랫폼 및/또는 ESXi 버전이 표시됩니다.

업그레이드 자격 테스트를 수행하려면 HX Connect에 로그인합니다.

1단계. Upgrade(업그레이드) > Test Upgrade Eligibility(테스트 업그레이드 자격)를 선택합니다.

2단계. UCS 서버 펌웨어의 업그레이드 자격을 테스트하려면 UCS 서버 펌웨어 확인란을 선택합니다.

3단계. Cisco UCS Manager FQDN(Fully Qualified Domain Name) 또는 IP 주소, 사용자 이름 및 비밀번호를 입력합니다. Current Version(현재 버전) 필드에서 Discover(검색)를 클릭하여 업그레이드 전에 검증해야 하는 UCS 펌웨어 패키지 버전을 선택합니다.

4단계. HyperFlex Data Platform의 업그레이드 자격을 테스트하려면 HX Data Platform 확인란을 선택합니다.

5단계. vCenter 사용자 이름 및 비밀번호를 입력합니다. 업그레이드 전에 검증해야 하는 Cisco HyperFlex Data Platform Upgrade Bundle을 업로드합니다.

6단계. ESXi 업그레이드 자격을 테스트하려면 ESXi 확인란을 선택합니다.

7단계. vCenter 관리자 사용자 이름 및 비밀번호를 입력합니다. 업그레이드 전에 검증해야 하는 Cisco HyperFlex Custom Image Offline Bundle 업로드

8단계. Validate를 클릭합니다.

9단계. 업그레이드 자격 테스트의 진행률이 표시됩니다.

사용자 및 비밀번호 확인

암호 확인:

• vCenter 관리자
• ESXi 루트
• SCVM(Storage Controller Virtual Machine) 관리 및 루트

유지 관리 모드 시작 확인

유지 관리 모드 작업 중에 호스트에서 실행 중인 가상 머신을 다른 호스트로 마이그레이션할 수 있는지 확인합니다. VM을 마이그레이션할 수 없는 경우 VM의 전원을 꺼야 합니다. VM이 자동으로 마이그레이션되지는 않지만 수동으로 마이그레이션할 수 있는 경우, DRS와 관련된 문제가 있는지 확인하십시오.

DRS가 활성화되어 있고 DRS에 대한 라이센스가 있는 경우 완전 자동화로 설정되어 있는지 확인합니다. DRS가 Disabled(비활성화됨)인 경우, 업그레이드 프로세스에서 프롬프트가 표시되면 VM을 수동으로 vMotion하기 위해 수동으로 개입해야 합니다. 

자세한 내용은 VMware 가이드를 참조하십시오.

vMotion 컨피그레이션 확인

완료할 수 없는 유지 관리 모드 작업을 피하도록 vMotion이 올바르게 구성되었는지 확인합니다.

vMotion 트러블슈팅에 대한 자세한 내용은 여기를 참조하십시오.

클러스터에서 EVC(Enhanced VMotion Compatibility)가 활성화되었는지 확인합니다.

1단계. VMware vCenter에 로그인하고 Home and Clusters(홈 및 클러스터)로 이동합니다.

2단계. vCenter 클러스터를 클릭합니다. 이 예에서는 San_Jose라는 클러스터를 보여 줍니다.

3단계. 구성을 선택하고 구성 아래에서 VMware EVC를 클릭한 다음 편집을 선택합니다.

4단계. 사용된 각 프로세서에 대해 EVC Mode(EVC 모드)를 Enabled(활성화됨)로 변경해야 합니다.

VM(가상 머신)에서 선호도 규칙 확인

게스트 VM에 생성된 선호도 규칙이 있는지 확인합니다.

1단계. VMware vCenter에서 클러스터로 이동합니다.

2단계. Home and Clusters(홈 및 클러스터)로 이동합니다. 이 예에서는 San_Jose라는 클러스터를 보여 줍니다.

3단계. Configure를 선택합니다. Configuration(컨피그레이션)에서 VM/Host Rules(VM/호스트 규칙)를 선택하고 규칙이 생성되었는지 확인합니다.

ESXi 에이전트 관리자(EAM)

HXDP 5.0(x) 이상 릴리스에서는 ESXi 호스트에서 EAM을 더 이상 사용하여 SCVM 네트워크 및 데이터 저장소를 관리하지 않습니다.

HXDP 5.0(x) 및 이전 버전에서는 네트워크 및 데이터 저장소에 SCVM 정보가 있어야 합니다.

EAM(ESXi Agent Manager) 상태가 정상인지 확인합니다.

1단계. VMware vCenter에 로그인합니다.

2단계. Home and Clusters(홈 및 클러스터)로 이동하고 각 ESXi 노드로 이동합니다.

3단계. VMware vCenter 클러스터에서 Configure(구성)로 이동하고 Virtual Machines(가상 머신)에서 Agent VM Settings(에이전트 VM 설정)를 선택합니다.

이 예에서는 HyperFlex 클러스터가 5.0(2c)에 있으므로 공백이 표시됩니다

EAM을 사용하는 경우 vCenter에 인증서 오류가 표시되지 않는지 확인합니다.

추가 EAM 정보는 여기서 확인할 수 있습니다.

vCenter 및 ESXi 라이센스  

6.x에서 7.0으로 업그레이드하는 경우 업그레이드하기 전에 새 라이센스가 있는지 확인합니다.

업그레이드 후에는 평가 모드가 60일밖에 남지 않습니다.

SSH 권장 사항

HXUSER 잠금

로그인 시도가 실패하면 ESXi 사용자가 잠길 수 있습니다. 

hxuser 또는 root 사용자 상태를 확인하려면

1단계. ESXi 노드에서 SSH 세션을 루트로 엽니다.

2단계. pam_tally2 —user hxuser (또는 root user)를 실행합니다.

3단계. hxuser 또는 루트가 잠겨 있는지 확인합니다.

[root@esxi1:~] pam_tally2 --user hxuser
Login Failures Latest failure From
hxuser 0
[root@esxi1:~] pam_tally2 --user root
Login Failures Latest failure From
root 0
[root@esxi1:~]

언급된 ESXi 사용자의 잠금을 해제하려면

1단계. pam_tally2 —user hxuser —reset(또는 root user)을 실행합니다.

2단계. 실패 수가 0으로 감소하는지 확인합니다.

[root@esxi1:~] pam_tally2 --user hxuser --reset
Login Failures Latest failure From
hxuser 0

[root@esxi1:~] pam_tally2 --user root --reset
Login Failures Latest failure From
root 0

잠금 모드 또는 중지됨

ESXi 호스트의 보안을 강화하려면 잠금 모드를 활성화해야 합니다. 이 컨피그레이션은 HyperFlex 클러스터 업그레이드에 대해 비활성화해야 하는 잠금 모드로 인한 HyperFlex 업그레이드를 방지합니다.

ESXi 잠금 모드를 비활성화하려면

1단계. ESXi 호스트에 SSH를 루트로 직접 실행합니다.

2단계. 초기 설정을 위해 F2를 누릅니다.

3단계. 루트 자격 증명을 입력하여 DUCI 설정을 엽니다.

4단계. Configure Lockdown Mode(잠금 모드 구성)설정으로 이동하여 이 설정을 disabled(비활성화됨)로 변경합니다.

잠금 모드 정보에 대한 자세한 내용은 여기서 확인할 수 있습니다

복제

복제가 구성되고 활성화된 경우 업그레이드 전에 일시 중지해야 합니다.

run stcli dp schedule pause 명령을 사용하여 복제를 일시 중지하고, 업그레이드 후 stcli schedule resume 명령을 사용하여 활성화합니다.

드라이브 장애

드라이브 장애로 인해 HyperFlex 클러스터 업그레이드가 실패합니다. HyperFlex Connect GUI에서 차단 목록 또는 무시된 디스크를 확인하려면

1단계. HyperFlex 연결 GUI를 열고 https:// <HyperFlex-virtual-ip-address or fqdn>으로 이동합니다.

2단계. System Information(시스템 정보)으로 이동한 다음 System Overview(시스템 개요) 탭을 선택합니다. 

3단계. 디스크 오류를 확인합니다. 

 디스크 문제는 Cisco TAC에서 해결해야 합니다.

이전 마더보드 교체, 재배포 및 노드 제거

마더보드 교체는 이전 호스트 UID도 새 ID로 교체합니다. 교체 작업 중에 몇 가지 문제가 발생한 경우 UID가 일치하지 않으면 HyperFlex 업그레이드가 실패할 수 있습니다.

참고: Intersight HealtCheck는 ID 불일치에 대해 알립니다. HyperFlex 클러스터를 Intersight에 연결하고 HyperFlex 클러스터 HealtCheck를 실행하는 것이 좋습니다.

마더보드 교체의 경우 ESXi CLI의 stNode UUID를 비교하여 UUID 정보가 Hyperflex 클러스터의 UUID와 일치하는지 확인합니다.

UID를 수집하려면

1단계. ESXi 노드에 대한 SSH 세션을 루트로 엽니다.

2단계. hostsvc/hostsumm 명령을 실행합니다. | grep -i uuid | grep -v inst.

3단계. UUID 정보를 수집합니다.

[root@esxi2:~] vim-cmd hostsvc/hostsumm | grep -i uuid | grep -v inst
      uuid = "1f82077d-6702-214d-8814-e776ffc0f53c",  <----- ESXi2 ID
[root@esxi2:~]
[root@esxi2:~]

HyperFlex 클러스터 노드에서 UUID 정보를 가져오려면

1단계. HyperFlex 클러스터 IP 주소로 SSH를 실행합니다. 

2단계. 명령 stcli 클러스터 정보 실행 | 기타.

3단계. stNodes ID를 수집합니다.

hxshell:~$ stcli cluster info | more
stNodes:
    ----------------------------------------
    id: c4a24480-e935-6942-93ee-987dc8e9b5d9
    type: node
    name: esxi1
    ----------------------------------------
    id: 1f82077d-6702-214d-8814-e776ffc0f53c   <----- ID for ESXi2
    type: node
    name: esxi2
    ----------------------------------------
    id: 50a5dc5d-c419-9c48-8914-d91a98d43fe7
    type: node
    name: esxi3
    ----------------------------------------

stcli 클러스터 정보 ID가 ESXi 노드에 표시된 정보와 일치하는지 확인합니다.

HX 및 vCenter의 불일치

HyperFlex 클러스터의 vCenter 정보(예: 데이터 센터, 클러스터 및 데이터 저장소 이름)가 vCenter와 일치하는지 확인합니다. 정보 불일치로 인해 HyperFlex 클러스터 업그레이드가 실패합니다.

최신 정보를 얻으려면

1단계. 관리자로 HyperFlex 클러스터 IP에 SSH를 실행합니다.

2단계. stcli 클러스터 정보 실행 | grep -i vcenter.

3단계. 클러스터에 등록된 vCenter 정보를 수집합니다.

hxshell:~$ stcli cluster info | grep -i vcenter
vCenterClusterName: vcenter-cluster
vCenterDatacenter: hx-cluster-name
vCenterURL: https://vcenter-url
vCenterDatacenterId: datacenter-name
vCenterClusterId: domain-c5124
vCenterUrl: https://vcenter-url
vCenterVersion: 7.0.2 Build-18455184

HyperFlex vCenter 재등록

이름은 대/소문자를 구분합니다. 이전 출력의 이름과 vCenter 정보가 일치하지 않으면 vCenter 재등록이 필요합니다.

vCenter를 Hyperflex 클러스터에 다시 등록하려면 여기서 vCenter 등록 비디오를 확인하십시오

Vcenter를 다시 등록하려면

1단계. SSH를 클러스터 IP 주소에 관리자로 실행합니다.

2단계. stcli cluster reregister 명령을 실행합니다.

stcli cluster reregister [-h] --vcenter-datacenter NEWDATACENTER --vcenter-cluster NEWVCENTERCLUSTER --vcenter-url NEWVCENTERURLIP [--vcenter-sso-url NEWVCENTERSSOURL] --vcenter-user NEWVCENTERUSER 

hxshell:~$ stcli cluster reregister --vcenter-datacenter MyData-Center --vcenter-cluster Cluster-Name --vcenter-url https://vcenter1-url --vcenter-user <vCenter user>
Reregister StorFS cluster with a new vCenter ...
Enter NEW vCenter Administrator password:
Cluster reregistration with new vCenter succeeded
hxshell:~$

관련 정보 

• Hyperflex 클러스터 상태 확인
• Hypercheck 실행: Hyperflex Health & Pre-Upgrade Check 툴
• 기술 지원 및 문서 − Cisco Systems