UCS 플랫폼의 CUCM 공통 문제:코어, 높은 CPU - I/O, 정지 상태

소개

이 문서에서는 UCS(Unified Computing System) 플랫폼에서 Cisco CUCM(Unified Communications Manager)에서 발생하는 5가지 일반적인 문제 시나리오를 해결하는 방법에 대해 설명합니다.

• 시나리오 1:I/O 대기 문제로 인한 높은 CPU 사용률
• 시나리오 2: CUCM이 주기적으로 재부팅됨
• 시나리오 3: CUCM 충돌
• 시나리오 4: CUCM 중단
• 시나리오 5: CUCM이 읽기 전용 모드임

일반적인 원인은 다음과 같습니다.

• 하드 디스크 오류
• RAID(Redundant Array of Independent Disks) 컨트롤러 장애
• BBU(Battery Backup Unit) 실패

시나리오 1:I/O 대기 문제로 인한 높은 CPU 사용률

증상

CCM CTI 코어로 인해 CCM(Cisco Call Manager) 및 CTI(Computer Telephony Integration) 서비스가 다시 시작됩니다.

확인 방법

CUCM 추적

CUCM 추적을 수집하려면 다음 CLI 명령을 사용합니다.

• show process using most cpu
• 상태 표시
• 유틸리티 코어 활성 목록
• util core analyze 출력 <latest, last two output>

다음 RTMT(Real-Time Monitoring Tool) 로그를 검토합니다.

• 자세한 CCM
• 자세한 CTI
• RIS(Real-time Information Server) 데이터 수집기 PerfMonLogs
• 이벤트 뷰어 애플리케이션 로그
• 이벤트 뷰어 시스템 로그

샘플 출력

다음은 샘플 출력입니다.

admin:utils core active list
Size Date Core File Name
===============================================                           
355732 KB 2014-X-X 11:27:29 core.XXX.X.ccm.XXXX
110164 KB 2014-X-X 11:27:25 core.XXX.X.CTIManager.XXXX

admin:util core analyze output 

====================================
CCM service backtrace
===================================
#0 0x00df6206 in raise () from /lib/libc.so.6
#1 0x00df7bd1 in abort () from /lib/libc.so.6
#2 0x084349cb in IntentionalAbort (reason=0xb0222f8 "CallManager unable to process
signals. This may be due to CPU or blocked function. Attempting to restart 
CallManager.") at ProcessCMProcMon.cpp:80
#3 0x08434a8c in CMProcMon::monitorThread () at ProcessCMProcMon.cpp:530
#4 0x00a8fca7 in ACE_OS_Thread_Adapter::invoke (this=0xb2b04270) at OS_Thread_
Adapter.cpp:94
#5 0x00a45541 in ace_thread_adapter (args=0xb2b04270) at Base_Thread_Adapter.cpp:137
#6 0x004aa6e1 in start_thread () from /lib/libpthread.so.0
#7 0x00ea2d3e in clone () from /lib/libc.so.6
====================================


====================================
CTI Manager backtrace
===================================
#0 0x00b3e206 in raise () from /lib/libc.so.6
#1 0x00b3fbd1 in abort () from /lib/libc.so.6
#2 0x08497b11 in IntentionalAbort (reason=0x86fe488 "SDL Router Services declared
dead. This may be due to high CPU usage or blocked function. Attempting to restart
CTIManager.") at ProcessCTIProcMon.cpp:65
#3 0x08497c2c in CMProcMon::verifySdlTimerServices () at ProcessCTIProcMon.cpp:573
#4 0x084988d8 in CMProcMon::callManagerMonitorThread (cmProcMon=0x93c9638) at Process
CTIProcMon.cpp:330
#5 0x007bdca7 in ACE_OS_Thread_Adapter::invoke (this=0x992d710) at OS_Thread_
Adapter.cpp:94
#6 0x00773541 in ace_thread_adapter (args=0x992d710) at Base_Thread_Adapter.cpp:137
#7 0x0025d6e1 in start_thread () from /lib/libpthread.so.0
#8 0x00bead3e in clone () from /lib/li
====================================

RIS 데이터 수집기 PerfMonLogs에서 코어 시간 동안 높은 디스크 I/O를 볼 수 있습니다.

백추세는 Cisco 버그 ID CSCua79544와 일치합니다.높은 디스크 I/O로 인해 CCM 프로세스 코어가 자주 발생합니다.이 버그는 하드웨어 문제에 대해 설명하고 문제를 더욱 격리하는 방법을 설명합니다.

파일 I/O 보고(FIOR) 사용:

FIOR를 활성화하려면 다음 명령을 사용합니다.

utils fior start
utils fior enable

그런 다음 다음 발생 시간을 기다립니다.다음은 출력을 수집하는 CLI 명령입니다.file get activelog platform/io-stats.FIOR를 비활성화하려면 다음 명령을 입력합니다.

utils fior stop
utils fior disable

다음은 몇 가지 샘플 FIOR 로그 출력입니다.

kern 4 kernel: fio_syscall_table address set to c0626500 based on user input
kern 4 kernel: fiostats: address of do_execve set to c048129a
kern 6 kernel: File IO statistics module version 0.99.1 loaded. 
kern 6 kernel: file reads > 265000 and writes > 51200 will be logged
kern 4 kernel: fiostats: enabled.
kern 4 kernel: fiostats[25487] started.

솔루션

I/O WAIT는 일반적으로 UCS 플랫폼 및 해당 스토리지의 문제입니다.

UCS 로그는 원인 위치를 격리하는 데 필요합니다.추적을 수집하는 지침은 UCS 로그 수집 방법 섹션을 참조하십시오.

시나리오 2: CUCM이 주기적으로 재부팅됨

증상

ESXI 충돌로 인해 CUCM이 재부팅되지만 UCS 시스템의 전원이 손실되는 것이 기본 문제입니다.

확인 방법

다음 CUCM 추적을 검토합니다.

• Cisco RIS 데이터 수집기 PerfMonLog
• 이벤트 뷰어 - 애플리케이션 로그
• 이벤트 뷰어 - 시스템 로그
• 자세한 CCM

CUCM 추적에는 아무런 관련이 없습니다.CUCM은 인시던트 전에 중지되며, 이는 정상적인 서비스 재시작을 따릅니다.이렇게 하면 CUCM이 제거되고 원인이 다른 곳에 있음을 나타냅니다.

CUCM이 실행되는 UCS 플랫폼에 문제가 있습니다.UCS 플랫폼에는 VM(Virtual Machine) 인스턴스가 많이 있습니다.VM에 오류가 발생하면 UCS 로그에 표시됩니다.

원인 위치를 격리하려면 UCS 로그가 필요합니다.추적을 수집하는 방법에 대한 지침은 UCS 로그 수집 방법 섹션을 참조하십시오.

샘플 Cisco CIMC(Integrated Management Controller) 출력

다음은 샘플 출력입니다.

5:2014 May 11 13:10:48:BMC:kernel:-:<5>[lpc_reset_isr_handler]:79:LPC Reset ISR ->
ResetState: 1
5:2014 May 11 13:10:48:BMC:kernel:-:<5>drivers/bmc/usb/usb1.1/se_pilot2_udc_usb1_1.c:
2288:USB FS: VDD Power WAKEUP- Power Good = OFF
5:2014 May 11 13:10:48:BMC:kernel:-:<5>[se_pilot2_wakeup_interrupt]:2561:USB HS: 
VDD Power = OFF
5:2014 May 11 13:10:48:BMC:BIOSReader:1176: BIOSReader.c:752:File Close : 
/var/nuova/BIOS/BiosTech.txt
5:2014 May 11 13:10:48:BMC:kernel:-:<5>[block_transfer_fetch_host_request_for_app]:
1720:block_transfer_fetch_host_request_for_app : BT_FILE_CLOSE : HostBTDescr = 27 : 
FName = BiosTech.txt
5:2014 May 11 13:10:48:BMC:IPMI:1357: Pilot2SrvPower.c:466:Blade Power Changed To: 
[ OFF ]
5:2014 May 11 13:10:49:BMC:lv_dimm:-: lv_dimm.c:126:[lpc_reset_seen]LPC Reset Count 
is Different [0x1:0x2] Asserted LPC Reset Seen

솔루션

이 오류가 발생하면 Pilot2SrvPower.c:466:Blade Power Changed to:(블레이드 전원이 다음으로 변경됨)[ OFF ] - 전원 문제, UCS 시스템의 전원이 끊겼음을 의미합니다.따라서 UCS 시스템에 충분한 전력이 공급되는지 확인해야 합니다.

시나리오 3: CUCM 충돌

증상

CUCM VM이 충돌하지만 여전히 ping에 응답합니다.vSphere 콘솔 화면에는 다음 정보가 표시됩니다.

*ERROR* %No Memory Available
*ERROR* %No Memory Available

확인 방법

다음 CUCM 추적을 검토합니다.

• Cisco RIS 데이터 수집기 PerfMonLog
• 이벤트 뷰어 - 애플리케이션 로그
• 이벤트 뷰어 - 시스템 로그
• 자세한 CCM

CUCM 추적에는 아무런 관련이 없습니다.CUCM은 인시던트 전에 중지되고 그 다음에 정상적인 서비스가 다시 시작됩니다.이렇게 하면 CUCM이 제거되고 원인이 다른 곳에 있음을 나타냅니다.

CUCM이 실행되는 UCS 플랫폼에 문제가 있습니다.UCS 플랫폼에는 VM에서 실행되는 많은 VM 인스턴스가 있습니다.VM에 오류가 발생하면 UCS 로그에 표시됩니다.

원인 위치를 격리하려면 UCS 로그가 필요합니다.추적을 수집하는 방법에 대한 지침은 UCS 로그 수집 방법 섹션을 참조하십시오.

해결 방법

VM의 전원을 끄고 재부팅합니다.재부팅하면 시스템이 정상적으로 작동합니다.

시나리오 4: CUCM 중단

증상

CUCM 서버가 중단된 상태로 이동합니다.

확인 방법

다음 CUCM 추적을 검토합니다.

• Cisco RIS 데이터 수집기 PerfMonLog
• 이벤트 뷰어 - 애플리케이션 로그
• 이벤트 뷰어 - 시스템 로그
• 자세한 CCM

CUCM 추적에는 아무런 관련이 없습니다.CUCM은 인시던트 전에 중지되고 그 다음에 정상적인 서비스가 다시 시작됩니다.이렇게 하면 CUCM이 제거되고 원인이 다른 곳에 있음을 나타냅니다.

CUCM이 실행되는 UCS 플랫폼에 문제가 있습니다.UCS 플랫폼에는 VM에서 실행되는 많은 VM 인스턴스가 있습니다.VM에 오류가 발생하면 UCS 로그에 표시됩니다.

원인 위치를 격리하려면 UCS 로그가 필요합니다.추적을 수집하는 방법에 대한 지침은 UCS 로그 수집 방법 섹션을 참조하십시오.

해결 방법

수동 재시작을 시도하여 도움이 되는지 확인합니다.

시나리오 5: CUCM이 읽기 전용 모드임

증상

다음 오류가 표시됩니다.

The /common file system is mounted read only.
Please use Recovery Disk to check the file system using fsck.

확인 방법 

동일한 UCS 시스템에 설치된 게시자(PUB) 및 하나의 가입자(SUB)에 읽기 전용 모드 오류가 표시됩니다.복구 디스크에서 문제를 해결하지 않습니다.

CUCM 추적에는 아무런 관련이 없습니다.CUCM은 인시던트 전에 중지되고 그 다음에 정상적인 서비스가 다시 시작됩니다.이렇게 하면 CUCM이 제거되고 원인이 다른 곳에 있음을 나타냅니다.

CUCM이 실행되는 UCS 플랫폼에 문제가 있습니다.UCS 플랫폼에는 VM에서 실행되는 많은 VM 인스턴스가 있습니다.VM에 오류가 발생하면 UCS 로그에 표시됩니다.

원인 위치를 격리하려면 UCS 로그가 필요합니다.추적을 수집하는 방법에 대한 지침은 UCS 로그 수집 방법 섹션을 참조하십시오.

솔루션

하드웨어 교체 후 문제가 있는 노드를 재구축합니다.

UCS 로그 수집 방법

이 섹션에서는 문제를 식별하는 데 필요한 추적을 수집하거나 해당 정보를 제공하는 문서에 대한 링크를 제공하는 방법에 대해 설명합니다.

CIMC 로그를 수집하는 방법:기술 표시

CICM 로그를 수집하는 방법에 대한 자세한 내용은 다음 문서를 참조하십시오.

Cisco CIMC GUI를 사용하여 show-tech 세부사항 수집

기술 지원 파일(B 및 C 시리즈)을 수집하는 시각적 가이드

ESXI 로그를 수집하는 방법:시스템 로그

ESXI 로그를 수집하는 방법에 대한 자세한 내용은 이 문서를 참조하십시오.

vSphere 클라이언트를 사용하여 ESXi 5.x 호스트에 대한 진단 정보 얻기

샘플 CIMC CLI 출력

다음은 하드 디스크 장애의 샘플 CIMC CLI 출력입니다.

ucs-c220-m3 /chassis # show hdd
Name Status LocateLEDStatus 
-------------------- -------------------- -------------------- 
HDD1_STATUS present TurnOFF 
HDD2_STATUS present TurnOFF 
HDD3_STATUS failed TurnOFF 
HDD4_STATUS present TurnOFF 
HDD5_STATUS absent TurnOFF 
HDD6_STATUS absent TurnOFF 
HDD7_STATUS absent TurnOFF 
HDD8_STATUS absent TurnOFF

ucs-c220-m3 /chassis # show hdd-pid
Disk Controller Product ID Vendor Model 
---- ----------- -------------------- ---------- ------------ 
1 SLOT-2 A03-D500GC3 ATA ST9500620NS 
2 SLOT-2 A03-D500GC3 ATA ST9500620NS 
3 SLOT-2 A03-D500GC3 ATA ST9500620NS 
4 SLOT-2 A03-D500GC3 ATA ST9500620NS

ucs-c220-m3 /chassis/storageadapter # show physical-drive
Physical Drive Number Controller Health Status Manufacturer Model Predictive
Failure Count Drive Firmware Coerced Size Type 
--------------------- ---------- -------------- ---------------------- ------
-------- -------------- ------------------------ -------------- -------------- ----- 
1 SLOT-2 Good Online ATA ST9500620NS 0 CC03 475883 MB HDD 
2 SLOT-2 Good Online ATA ST9500620NS 0 CC03 475883 MB HDD 
3 SLOT-2 Severe Fault Unconfigured Bad ATA ST9500620NS 0 CC03 0 MB HDD 
4 SLOT-2 Good Online ATA ST9500620NS 0 CC03 475883 MB HDD

다음은 RAID 컨트롤러 장애의 몇 가지 샘플 CICM CLI 출력입니다.

ucs-c220-m3 /chassis/storageadapter # show virtual-drive
Virtual Drive Health Status Name Size RAID Level Boot Drive 
------------- -------------- -------------------- ---------------- ---------- 
---------- ---------- 
0 Moderate Fault Degraded 951766 MB RAID 10 true

샘플 CIMC GUI 출력

다음은 하드 디스크 장애의 샘플 CIMC GUI 출력입니다.

다음은 Purple Screen Error의 샘플 CIMC GUI 출력입니다.

(RAID 컨트롤러 실패 | 결함:CSCuh86924 ESXi PSOD PF 예외 14 - LSI RAID 컨트롤러 9266-8i )

다음은 BBU 장애의 샘플 CIMC GUI 출력입니다.