CUIC 성능 문제에 대한 로그 수집

소개

이 문서에서는 보고 성능 문제를 해결할 때 Cisco CUIC(Unified Intelligence Center) 로그를 구성하고 수집하는 프로세스에 대해 설명합니다. CUIC 성능 문제를 해결하는 데 많은 기술, 제품 및 구성 요소가 포함되어 있기 때문에 어려움이 있을 수 있습니다.또한 성능 문제는 각기 다른 방식으로 나타나므로 문제 해결 중에 명확한 그림을 제시해야 합니다.

이 문서의 목적은 문제 해결 프로세스를 자세히 설명하는 것이 아니라 Cisco TAC 또는 Cisco Engineering에 필요한 로그를 수집할 때 주요 사항을 강조하기 위한 것입니다.

CUIC 성능 문제에 대한 로그 수집

일반 지침

모든 로그를 한 번에 수집하는 것은 어렵고 시간이 많이 소요됩니다.전체 절차는 1~4시간이 소요됩니다.고객 또는 파트너가 환경을 얼마나 잘 준비하느냐에 따라 달라집니다. 

참고:고객이 일부 변경 요청을 제출해야 할 수도 있지만 이 활동에 필요한 다운타임은 없습니다.

특히 더욱 포괄적인 개발자 툴(F12)을 사용하기 때문에 Firefox 브라우저를 사용하여 테스트를 수행하는 것이 좋습니다.

CUIC 클라이언트와 서버가 통신에 사용하는 IP 주소를 알아야 합니다. 

이 IP 주소는 이 문서에서 CUIC 클라이언트 및 서버에 사용됩니다.

클라이언트 IP 주소:10.111.16.157

서버 IP 주소:10.222.6.29 

팁:CUIC 성능 문제 해결을 위해 UCCE LAN 환경에 있는 클라이언트를 사용하여 문제를 재현하는 것이 좋습니다.이렇게 하면 CUIC 클라이언트와 서버 간의 네트워크 연결이 영향을 받지 않습니다.

  

여러 로그 수집 시도가 있을 수 있으므로 수집된 파일의 이름을 명확하게 지정하는 것이 중요합니다. 클라이언트의 바탕 화면에 tac<date>_<time>(예:tac27feb17_1334) 또는 tac_<date>_<시도>(예:tac27feb17_take3). 로그를 수집한 후 이 폴더에 모두 넣고 보관하여 케이스에 첨부합니다.

CPU, 메모리, ioWait 상태의 관점에서 최상으로 수행하지만 성능 문제가 있는 노드를 클러스터에서 찾으십시오. 부하 분산 장치가 없는 경우 이 노드에서 직접 테스트하십시오.

일반적인 로그 세트

1. 클라이언트 브라우저 F12 로그
2. 클라이언트 HTTP 패킷 캡처
3. 서버 HTTP 패킷 캡처
4. CUIC 서버
   • Intelligence Center 보고 서비스
   • Cisco Informix 데이터베이스 서비스
   • Cisco RIS Data Collector PerfMonLog
   • Cisco Tomcat
   • 이벤트 뷰어-애플리케이션 로그
   • 이벤트 뷰어-시스템 로그
   • 패킷 캡처 로그

문제 정의

예 1. 오류 또는 시간 초과

피크 시간 동안 클러스터의 모든 노드에서 CUIC 보고 사용자는 실시간 보고서에 대한 여러 오류를 확인합니다.

E1: "데이터 집합 정보 java.lang.IllegalStateException 검색"

E2: "마지막 새로 고침 시간이 초과되었습니다(getDataSetMaxReached). 다시 로드하려면 새로 고침을 클릭하십시오."

E3: "마지막 새로 고침 시간이 초과되었습니다(reportRefreshRetry). 다음 자동 새로 고침을 기다리거나 '새로 고침'을 클릭하십시오."

이 문제는 네트워크, 보안 및 데이터 센터의 이러한 특정 변화가 주말에 시행된 후 2월 27일 아침에 시작되었습니다.CUIC 클러스터에 대한 이러한 크기 조정 지침을 확인했습니다.

Cisco Unified Intelligence Center SRND(Solution Reference Network Design), 릴리스 11.0(1)

예 2. 큰 지연

실시간 보고서를 표시할 때 첫 번째 가입자 노드에서만 지속적으로 CUIC 보고 사용자에게 30-40초의 지연 시간이 발생합니다.

SAN 네트워크 디바이스의 펌웨어를 업그레이드한 후 2월 26일에 문제가 시작되었습니다.CUIC 클러스터에 대한 이러한 크기 조정 지침을 확인했습니다. 

Cisco Unified Intelligence Center SRND(Solution Reference Network Design), 릴리스 11.0(1)

고객이 제공하는 리소스

고객 또는 파트너가 CUIC 성능 문제를 위해 로그를 수집할 때 사용해야 하는 툴/애플리케이션의 요약입니다.

• 클라이언트:Windows 명령 프롬프트(CMD)
• 클라이언트:와이레샤크
• 클라이언트:Firefox 브라우저
• 클라이언트:RTMT(Real-Time Monitoring Tool) 또는 SFTP(Secure File Transfer Protocol) 서버
• CUIC 서버 명령줄(CLI)

참고:경우에 따라 RTMT를 사용하여 CUIC 로그를 수집하는 것이 복잡할 수 있습니다.따라서 CUIC CLI에서 SFTP 서버로 로그를 다운로드해야 합니다.

복제 준비

1. 클라이언트 인터페이스 이름 및 주소

CMD를 사용하여 모든 CUIC 클라이언트 IP 주소를 수집합니다.

CUIC 서버와 통신하는 데 사용되는 네트워크 인터페이스 및 IP 주소를 확인합니다.서버 측에서 패킷 캡처를 수집할 때 이 패킷을 사용해야 합니다.

C:\Users\Administrator>route print -4 | findstr 222
       10.222.6.0    255.255.254.0         On-link      10.111.16.157      1

이 명령을 사용하여 나중에 Wireshark에서 선택해야 하는 올바른 인터페이스 이름을 결정합니다.인터페이스 이름과 해당 ip 주소는 기울임꼴로 표시됩니다.

c:\tmp>ipconfig
Windows IP Configuration

Wireless LAN adapter wifi0:
   IPv4 Address. . . . . . . . . . . : 10.111.16.157

Ethernet adapter Local Area Connection 2:
   IPv4 Address. . . . . . . . . . . : 192.168.123.1

<output omited for brevity>

2. 클라이언트 HTTP 패킷 캡처

Wireshark 애플리케이션이 설치되어 제대로 작동하는지 확인합니다.이전 단계에서 확인된 올바른 인터페이스를 선택하지만 지금은 패킷 캡처를 중지합니다. 

팁:Wireshark에서 인터페이스가 발견되지 않으면 Wireshark와 함께 번들로 제공되는 Pcap 소프트웨어를 다시 설치하는 것이 일반적인 솔루션입니다.

3. 클라이언트 브라우저 F12 로그

3.1 Firefox 브라우저를 열고 버전을 확인합니다.지원되는 것이어야 합니다.

F12를 누르고 네트워크(네트워크 모니터, Ctrl+Shift+Q) 탭으로 이동합니다.모두(또는 HTML, JS, XHR, 미디어, Flash, WS, 기타)를 선택합니다. 

4. 서버 RTMT 로그

RTMT를 사용하여 CUIC에 로그인하고 모든 노드에서 이러한 서비스를 선택합니다.

• Intelligence Center 보고 서비스
• Cisco Informix 데이터베이스 서비스
• Cisco RIS Data Collector PerfMonLog
• Cisco Tomcat
• 이벤트 뷰어-애플리케이션 로그
• 이벤트 뷰어-시스템 로그
• 패킷 캡처 로그

절대 범위 또는 상대 범위를 선택하고 이러한 로그가 있는 폴더의 의미 있는 이름을 제공합니다.

5. 서버 HTTP 패킷 캡처

문제 해결 프로세스를 간소화하려면 클라이언트에서 서버로 단일 쿼리를 추적하는 간단한 방법이 필요합니다.기본적으로 HTTPS 암호화 전송은 이러한 세부 정보를 표시하지 않는 데 사용됩니다.따라서 문제 발생 시 HTTP를 일시적으로 활성화해야 합니다.

HTTP 통신을 활성화하려면 CUIC CLI에서 이 명령을 입력합니다.테스트에 사용되는 노드에서 활성화해야 합니다.

admin:set cuic properties http-enabled on
Value has been successfully set

admin:show cuic properties http-enabled
http_enabled 
============ 
on 

참고:Cisco Tomcat 서비스를 다시 시작할 필요가 없습니다.유일한 영향은 CUIC 클라이언트와 서버 간의 암호화되지 않은 통신입니다.

  

CUIC 클라이언트에서 Wireshark로 패킷 캡처를 시작합니다.

CUIC 서버 노드에서 이 명령을 사용하여 패킷 캡처를 시작합니다.클라이언트의 올바른 IP 주소가 지정되었는지 확인합니다.

admin:utils network capture file packetcapture count 100000 size all host ip 10.111.16.157
Executing command with options:
 size=ALL count=100000 interface=eth0
 src=dest= port= 
 ip=10.111.16.157  

6. 세션 녹음

특히 보고서 표시 시간 초과 및 지연을 처리할 때 CUIC 사용자 경험을 표시하기 위해 복제의 화면 비디오 녹화 및 로그와 함께 포함하는 것이 좋습니다.

모든 화면 녹화 소프트웨어를 사용할 수 있습니다.Cisco Webex 녹음 기능도 이러한 기능을 제공합니다.

문제 재현하기

최소한의 단계를 수행하여 문제를 재현해 보십시오.복제 중에 불필요한 작업을 하지 않도록 하십시오.그러면 Cisco TAC에서 수행하는 로그 분석 속도가 크게 빨라집니다.

매우 간단한 테스트의 예로는 CUIC Main Administration 페이지 -> Security-> User List(또는 User Groups, User Permissions)에 로그인할 수 있습니다.

고객이 보고서나 대시보드를 실행하여 문제를 재현하려고 시도할 때 위 테스트에서 지연이 표시되지 않을 경우이 경우 보고서 또는 대시보드 이름을 기록하는 것이 매우 중요합니다.

복제 테스트 중에 Windows Clock을 클릭하고 오른쪽 하단에서 날짜 및 시간 설정 변경 ...을 엽니다.시간을 초 단위로 미리 모니터링해야 합니다.

수행한 모든 작업을 기록합니다.작업 사이에 시간 차이가 있으면 유용합니다.이 예제를 사용할 수 있습니다.

14:16:30 - Firefox 브라우저에서 형식화된 CUIC 주소

14:17:42 - 누름 자격 증명을 입력한 후 Enter 키

14:20:20 - 시스템이 Main.htmx 웹 페이지를 로드했습니다.

14:21:02 - User List(사용자 목록)를 클릭했고 CUIC에서 로드하기 시작했습니다.

14:28:15 - 사용자 목록이 성공적으로 로드되었습니다(지연 시간은 7m 10s).

메모장을 열고 위의 템플릿을 복사하십시오.그런 다음 필요한 경우 시간 또는 단계 설명을 교체하면 좋습니다.

재생성 후 로그 수집

1. 클라이언트 HTTP 패킷 캡처 수집

클라이언트에서 패킷 캡처를 중지합니다(Wireshark).

Ctrl+C를 눌러 CUIC 노드에서 패킷 캡처를 중지합니다.

Wireshark에서 클라이언트 패킷 캡처를 저장하고 TAC 폴더로 이동합니다.

2. 클라이언트 브라우저 F12 로그 수집

요청을 마우스 오른쪽 버튼으로 클릭하고 Save All As HAR(All As HAR)를 누릅니다.그런 다음 TAC 폴더 위치를 선택하고 저장을 클릭합니다.

이 유형의 파일은 G Suite HAR Analyser 툴을 사용하여 분석할 수 있습니다.

이 예에서는 보고서 지연의 원인이 CUIC 클라이언트와 서버 간의 낮은 네트워크 대역폭임을 보여줍니다.

3. 서버 RTMT 로그 수집

CUIC 서버 패킷 캡처가 이미 중지되었는지 확인합니다.그렇지 않으면 CLI 세션에서 Ctrl+C를 누릅니다.

이전에 사전 설정된 CUIC RTMT로 이동하고 Finish(마침)를 누릅니다. 

참고:RTMT를 사용하는 경우 신뢰할 수 없는 모든 인증서 프롬프트가 수락되었는지 확인합니다.

RTMT 로그 수집 프로세스가 느린 경우 SFTP 서버에 로그 파일을 다운로드하는 옵션이 있습니다.

이 명령을 사용하여 SFTP 서버에 필요한 로그를 수집합니다.

file get activelog /cuic/logs/cuic/* reltime hours 1

file get activelog /cuic/logs/cuicsrvr/* reltime hours 1

file get activelog /cm/log/informix/* reltime hours 1

file get activelog /cm/log/ris/csv/PerfMon* reltime hours 1

file get activelog /syslog/CiscoSyslog* reltime days 1

file get activelog /syslog/AlternateSyslog* reltime days 1

file get activelog /syslog/messages* reltime days 1

file get activelog /cuic/logs/cuic/* reltime hours 1

file get activelog /cuic/logs/cuic/* reltime hours 1

file get activelog /tomcat/logs/localhost_access*.txt reltime hours 1

file get activelog /platform/cli/*.cap reltime hours 1

  

로그와 함께 테스트 노드에서 가져온 이러한 CUIC CLI 출력을 제공합니다.

show status
show tech network hosts
utils ntp status
utils service list
utils dbreplication runtimestate
file list activelog /core/
file dump install system-history.log
show process using-most cpu
show process using-most memory
run sql SELECT COUNT(*) FROM cuic_data:cuicuser
show perf query counter ReportingEngineInfo ReportsUsersLoggedin

4. 캡처 세션 녹음

화면 녹음을 중지하고 TAC 폴더에 추가합니다.

변경 내용 되돌리기

CUIC 노드에서 HTTP 통신을 비활성화합니다.

admin:set cuic properties http-enabled off
Value has been successfully set

admin:show cuic properties http-enabled
http_enabled 
============ 
off