ACI 기술 지원 및 TAC 요청 출력 수집 가이드

소개

이 문서에서는 ACI를 위해 TAC와 작업할 때 트러블슈팅에 필요한 다양한 로그와 출력에 대해 설명합니다.

배경 정보

TAC 케이스를 열기 전에 수집할 데이터에 대한 빠른 참조는 표 1을 참조하십시오.

표 1: 로그/기술 수집 매트릭스 표시

문제	수집할 사항	참고
업그레이드 문제	업그레이드 문제가 있는 노드의 On-Demand Techsupport. 모든 APIC의 On-Demand Techsupport. TacOutput을 통한 추가 결함, 이벤트, 감사.	APIC가 분산되고 온디맨드 Techsupport 수집에 실패할 경우 Techsupport Local을 수집합니다.
임의 연결 문제	src 노드(src 엔드포인트가 연결된 위치)의 온디맨드 Techsupport 엔드포인트가 연결된 dst 노드의 온디맨드 Techsupport TacOutput을 통한 추가 결함, 이벤트, 감사
전체 연결 손실	리프의 On-Demand Techsupport(src 및 dst) 스파인의 On-Demand Techsupport APIC의 On-Demand Techsupport TacOutput을 통한 추가 결함, 이벤트, 감사	지속적인 중단이 발생하는 경우 라이브 디버깅을 위해 TAC를 활성화합니다. 어떤 이유로든 노드를 재부팅해야 하는 경우 RCA를 요청하려면 다시 로드하기 전에 로그를 수집합니다.
클러스터링 문제	모든 APIC의 On-Demand Techsupport TacOutput을 통한 추가 결함, 이벤트, 감사	APIC가 분산되고 온디맨드 Techsupport 수집에 실패할 경우 Techsupport Local을 수집합니다.
라우팅 문제	라우팅 문제가 있는 노드의 On-Demand Techsupport. TacOutput을 통한 추가 결함, 이벤트, 감사
노드 충돌/예기치 않게 다시 로드	충돌한 노드의 On-Demand Techsupport. 크래시 노드의 크래시/코어 파일입니다. TacOutput을 통한 추가 결함, 이벤트, 감사
APIC APP 문제	모든 APIC의 On-Demand Techsupport. 영향을 받는 앱에 대한 APIC APP Techsupport.

ACI APIC 및 스위치

On-Demand Techsupport

APIC를 통해 Intersight로 트리거 및 업로드 - Nexus Insights 클라우드 커넥터 앱

이 방법을 사용하려면 APIC: Nexus Insights Cloud Connector 앱을 통해 ACI 패브릭을 Intersight에 연결하고 청구해야 합니다.

1. APIC > Apps > Installed Apps > open NICC app > TAC Assist > Begin으로 이동합니다.
2. 노드를 선택한 다음 Collect Logs(로그 수집)를 클릭합니다.
3. 작업 상태가 완료되면 세부 정보 보기를 클릭합니다.
4. Job Details(작업 세부 정보) 페이지의 Logs(로그) 테이블에서 Cloud Column(클라우드 열)을 찾습니다. 
5. 각 디바이스의 TechSupport 번들에 대해 Upload(업로드)를 클릭합니다.

ND를 통해 Intersight로 트리거 및 업로드 - Nexus Dashboard Insights

이 방법을 사용하려면 Nexus Dashboard: Nexus Dashboard Insights를 통해 ACI 패브릭을 Intersight에 연결하고 청구해야 합니다.

1. Nexus Dashboard(Nexus 대시보드) > Admin Console(관리 콘솔) > Services(서비스) > Open Nexus Dashboard Insights(Nexus 대시보드 인사이트 열기) > Troubleshoot(문제 해결) > Log Collector(로그 컬렉터)로 이동합니다.
2. New Log Collection을 클릭합니다.
   1. 로그 컬렉션의 이름을 지정합니다.
   2. 사이트를 선택합니다. 
   3. 로그 파일 자동 업로드 확인란을 활성화합니다.
   4. 노드 선택을 클릭하고 노드를 선택합니다.
   5. Start Collection(컬렉션 시작)을 클릭합니다.
   6. TechSupport 파일은 intersight.com에 업로드됩니다.  
3. 업로드가 완료되면 TAC에 파일이 intersight에 업로드되었음을 알립니다. 
4. TAC 엔지니어는 분석을 위해 파일을 인터사이트(intersight)에서 TAC 케이스로 이동할 수 있습니다. 

APIC UI를 통한 트리거

On-Demand Techsupport 정책 생성

참고: TAC에서 명시적으로 요청하지 않는 한 TechSupport 시간 범위를 지정하지 마십시오. 과도한 로그 이탈이 있는 경우 로그를 손실할 수 있습니다. 이는 적시에 RCA를 제공할 수 있는 TAC의 능력에 심각한 영향을 미칩니다. Techsupport Time Range가 제공되면 로그 파일 자체의 타임스탬프가 아닌 마지막 파일 수정 타임스탬프를 기준으로 로그를 자릅니다.

1. 메뉴 모음에서 Admin(관리) > Import/Export(가져오기/내보내기) > Export Policies(내보내기 정책) > Right-click On-demand TechSupport(온디맨드 TechSupport 생성)를 클릭합니다.
2. Create On-demand TechSupport(On-Demand TechSupport 생성) 대화 상자의 필드에 적절한 값을 입력합니다.
   • 원격 위치를 사용할 수 없는 경우 Export to Controller(컨트롤러로 내보내기)를 선택합니다. 생성된 Techsupport는 생성된 후 GUI의 Operational(운영) 탭을 통해 다운로드할 수 있습니다.
   • APIC Techsupport를 생성하려면 Include All Controllers in TechSupport(TechSupport에 모든 컨트롤러 포함)를 선택합니다.
   • Source Nodes 필드에서는 Techsupport를 생성하는 스위치 노드를 지정할 수 있습니다.
3. Submit(제출)을 클릭하여 On-Demand Techsupport 정책을 생성합니다.

온디맨드 Techsupport 생성

1. 기존 On-Demand Techsupport 정책으로 이동합니다. 생성된 정책은 다음에서 확인할 수 있습니다. Admin(관리) > Import/Export(가져오기/내보내기) > Export Policies(내보내기 정책) > On-demand TechSupport(온디맨드 TechSupport) > Expand On-demand TechSupport folder(온디맨드 TechSupport 폴더 확장) > 사용할 정책을 마우스 오른쪽 버튼으로 클릭하고 Tech Supports(기술 지원 수집)를 클릭합니다.
   
   • 또는 On-Demand Techsupport Policy(온디맨드 Techsupport 정책)를 마우스 왼쪽 버튼으로 클릭하여 Main(기본) 창에서 Wrench/Hammer(렌치/해머) 아이콘을 클릭한 다음 Collect Tech Supports(기술 지원 수집)를 선택합니다.
2. (예)를 선택하면 Techsupport 정보 수집을 시작합니다.

생성된 Techsupport를 수집합니다.

1. Techsupport 생성 중에 Export to Controller(컨트롤러로 내보내기)가 활성화되지 않은 경우 Export Destination (Remote Location)(내보내기 대상(원격 위치))에서 모든 Techsupport 파일을 확인할 수 있습니다.
2. 컨트롤러로 내보내기가 활성화된 경우 Techsupport가 생성된 On-Demand Techsupport 정책으로 이동합니다. 생성된 정책은 Admin(관리) > Import/Export(가져오기/내보내기) > Export Policies(내보내기 정책) > On-demand TechSupport(온디맨드 TechSupport)에서 확인할 수 있습니다.
   • 생성된 TechSupport는 해당 On-Demand TechSupport 정책의 Operational(운영) 탭에서 찾을 수 있습니다. 각 파일에는 http/https를 통해 다운로드할 수 있는 링크가 있습니다. 각 노드에는 3개의 링크가 있으며, 각 파일에 하나의 링크가 연결되어 있습니다.

참고: 버전이 2.2 이전인 경우 로컬 관리자 사용자 계정을 사용하여 UI를 통해 Techsupports를 다운로드해야 합니다. 그렇지 않은 경우 관리자 권한이 있는 다른 로컬 어카운트를 사용합니다. 원격 사용자는 UI를 통해 기술 지원을 다운로드할 수 없습니다. 대신 sftp 또는 다른 방법을 사용하여 해당 APIC의 /data/techsupport/ 디렉토리에서 techsupport 파일을 가져올 수 있습니다.

참고: Techsupport 번들의 URL에 있는 숫자는 파일이 상주하는 APIC를 나타냅니다. 예를 들어 files/2/techsupport.tgz은 이 특정 번들이 APIC 2의 /data/techsupport/ 디렉토리에서 발견될 수 있음을 나타냅니다.

On-Demand Techsupport 파일 설명

Techsupport가 컨트롤러로 내보내기 옵션을 사용하여 생성된 경우 GUI는 ACI 노드(APIC 노드 또는 스위치 노드)당 3개의 URL을 표시합니다. 각 URL은 다른 로그 파일 유형이며 고유한 정보를 포함합니다. 일반적으로 TAC에서는 완전한 분석을 위해 모든 로깅을 가져오기 위해 노드당 세 개의 파일을 모두 업로드해야 합니다.

각 URL은 다음 3가지 파일 유형 중 하나에 매핑됩니다.

카테고리	일반적 접미사	다음에 유용함:	파일 크기
내보내기	_1of3.tgz	감사/결함 로그	중소형
로그	_logs_3of3.tgz	프로세스 로그	최대 규모
DB	_db_2of3.tgz	MO 덤프	소형

참고: 컨트롤러로 내보내기 대신 내보내기 대상을 선택한 경우 정의된 원격 위치에서 노드당 3개의 파일이 포함된 폴더를 생성합니다.

브라우저 링크를 사용하여 기술 지원을 다운로드하는 데 문제가 있는 경우 scp 또는 sftp 클라이언트(예: WinSCP 또는 FileZilla)를 사용하여 APIC 스토리지에서 파일을 직접 다운로드합니다.

1. 각 APIC에 연결(sftp)합니다. 수집된 기술 지원 파일은 사용 가능한 모든 APIC에 저장되므로, 수집된 기술 지원 파일의 각 APIC를 확인하는 것이 중요합니다.

2. 연결된 APIC의 /data/techsupport 폴더로 이동합니다(모든 APIC 컨트롤러에서 이 단계 반복).

온디맨드 TechSupport 정책 이름(이 예에서는 ABCTECH임)이 포함된 이름의 파일을 찾아 컴퓨터에 다운로드합니다.

Techsupport Local

On-Demand Techsupport는 보다 완벽한 상황을 제공하기 때문에 항상 Techsupport 로컬보다 On-Demand Techsupport를 선호합니다. 하지만 수집은 정책을 통해 트리거되므로 APIC 클러스터에 완전히 의존합니다.

Techsupport Local 시나리오

• APIC이 완전히 적합하지 않습니다.
• ACI 스위치는 APIC에서 아직 발견되지 않았습니다.
• ACI 스위치가 APIC과의 통신이 끊어졌습니다.
• 온디맨드 Techsupport 운영을 방해하는 내부 프로세스 오작동(드문 경우).

APIC CLI를 통한 트리거

1. 관리자 자격 증명을 사용하여 APIC로 SSH 세션을 엽니다.
   • 관리자 자격 증명을 사용하여 로그인할 수 없는 경우 사용자 이름 rescue-user를 사용합니다. 비밀번호는 관리자 로컬 사용자와 동일할 수 있습니다.
2. bash -c "techsupport local" 명령을 실행합니다.

   Using username "admin".
   Application Policy Infrastructure Controller
   
   apic1# bash -c "techsupport local"
   This command is being deprecated on APIC controller, please use NXOS-style equivalent command
   Running bash commands
   Completed 1 of 10 commands
   ...
   Completed 10 of 10 commands
   Starting data compression
   Techsupport collected at /data/techsupport/local_apic1_2018-05-29T08-17.tgz . Please remove the file once done.
   

3. 로컬 Techsupport 파일을 다운로드합니다.
   
   • 옵션 A: SCP를 사용하여 techsupport 파일을 다운로드합니다.
     • WinSCP 또는 pscp.exe(Windows 사용자)
     • 기본 SCP 클라이언트(MAC 사용자)
   • 옵션 B: HTTPS를 사용하여 techsupport 파일을 다운로드합니다.
     1. Chrome 또는 Firefox와 같은 브라우저를 엽니다.
     2. https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>(으)로 이동합니다.
        • 예: https://a.p.i.c/files/1/techsupport/local_apic1_2018-05-29T08-17.tgz
     3. 관리자 자격 증명을 사용하여 로그인합니다.
     4. 프롬프트가 표시되면 브라우저 다운로드 프롬프트에서 Save File(파일 저장)을 선택합니다.

스위치 CLI를 통한 트리거

1. 관리자 자격 증명을 사용하여 ACI 스위치로 SSH 세션을 엽니다.
   • APIC에서 아직 스위치를 검색하지 못한 경우 사용자 이름 admin을 사용합니다.
2. 다음 명령을 실행합니다. "techsupport local".

fab5-leaf1# techsupport local
Running bash commands
Completed 1 of 9 commands
...
Completed 9 of 9 commands
Starting data compression
Techsupport collected at /data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz . Please remove the file once done

3. 로컬 Techsupport 파일을 다운로드합니다.

• 옵션 A: SCP를 사용하여 ACI 스위치에서 techsupport 파일을 다운로드합니다.
  • WinSCP 또는 pscp.exe(Windows 사용자)
  • 기본 SCP 클라이언트(MAC 사용자)
• 옵션 B: APIC에서 HTTPS를 사용하여 techsupport 파일을 다운로드합니다.
  
  1. APIC CLI에 로그인합니다(4단계에서 어떤 APIC가 사용되는지 참고).
  2. 다음 명령을 사용하여 ACI 스위치에서 APIC로 techsupport 파일을 전송합니다.
     • scp <노드 이름>:/data/techsupport/<ts_filename> /data/techsupport
     • 예: apic1# scp5-leaf1:/data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz /data/techsupport
  3. Chrome 또는 Firefox와 같은 브라우저를 엽니다.
  4. https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>(으)로 이동합니다.
     • 예: https://a.p.i.c/files/1/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz
  5. 관리자 자격 증명을 사용하여 로그인합니다.
  6. 프롬프트가 표시되면 브라우저 다운로드 프롬프트에서 Save File(파일 저장)을 선택합니다.

CIMC Techsupport

CIMC UI를 통한 트리거

APIC CIMC의 Techsupport를 수집하여 APIC 섀시와 관련된 로그를 검토할 수 있습니다. CIMC show tech는 로컬로 캡처하거나 CIMC Admin(CIMC 관리) 탭의 Utilities(유틸리티) 섹션에서 원격 위치로 전송할 수 있습니다. 

CIMC CLI를 통한 트리거

APIC CIMC CLI에서 다음을 입력합니다.

~ # scope cimc
~ /cimc # scope tech-support
~ /cimc/tech-support # set tftp-ip 192.168.1.1
~ /cimc/tech-support *# set path \techsupport\showtech
~ /cimc/tech-support *# commit
~ /cimc/tech-support *# start 

CIMC Techsupports 구문 분석

show tech 명령의 일부 키 필드가 여기에 나열됩니다.

Techsup 파일/위치	설명
var/	자세한 로그 및 모니터링되는 모든 서비스의 상태를 포함합니다. 또한 SOL 및 IPMI 센서 알람의 구성과 같은 서비스 정보 파일도 포함합니다.
var/log	롤링 휘발성 로그 메시지를 포함합니다.
obfl/	롤링 비휘발성 로그 메시지를 포함합니다.
충족됨/	비휘발성 컨피그레이션 및 SEL
mp/	show tech-support 텍스트 파일 및 BIOS tech-support 텍스트 파일 텍스트 파일에는 모든 프로세스, 네트워크, 시스템, 메자닌 및 BIOS 상태 정보가 포함됩니다.
맥툴	CIMC의 상태에 대한 기본 정보를 가져옵니다.
네트워크	현재 네트워크 구성 및 소켓 정보를 가져옵니다.
보잘것 없어	라이브 obfl(온보드 장애 로그)을 가져옵니다.
메세지	라이브 /var/log/messages 파일을 가져옵니다.
경보	경보 상태의 센서를 나열합니다.
센서	IPMI의 현재 센서 측정값.
전력	x86의 현재 전원 상태입니다.

확장된 감사, 이벤트, 결함 등(TacOutput)

TAC는 일반적으로 RCA에 필요한 결함, 이벤트 및 감사와 같은 추가 기본 출력을 요청할 수 있습니다.

현재 show tech에는 이러한 개체의 하위 집합이 포함되어 있지만 마지막 10,000개 레코드만 포함되어 있습니다. 경우에 따라 TAC에서 전체 레코드를 요구하는데, 이는 10,000개 레코드를 훨씬 뛰어넘습니다.

참고: 릴리스 5.2(1g)부터 APIC의 CLI 명령 트리거 tacoutput을 사용하여 이러한 추가 객체를 수집할 수 있습니다. 그러나 5.3(x) 및 6.0(3d) 이전 릴리스에서는 내장 스크립트가 모든 레코드 페이지를 수집하지 못할 수 있습니다.  이 경우 다음 섹션에 설명된 aci-tac-scripts 리포지토리 내에서 가장 업데이트된 버전의 스크립트를 사용하는 것이 좋습니다.

트리거 Tacoutput - 5.3/6.0(3d) 이상 릴리스 사용

버전 5.3/6.0(3d) 이상 릴리스를 실행하는 ACI Fabrics의 경우 트리거 tacoutput은 이벤트, 결함, 감사 및 기타 트러블슈팅 출력을 위한 간소화된 수집 인터페이스를 제공합니다.)

apic1# trigger tacoutput
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR *collected unfiltered
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 

... collection runs...

2021-12-17T08:19:59 TacOutput collection completed.
2021-12-17T08:19:59 Verify files and file sizes at /tmp/TacOutput2021-12-17T08-16-19
2021-12-17T08:19:59 Compressing files...
2021-12-17T08:20:01 Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
To download through your web browser go to https://<apic address>/files/1/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
Note: in the URL previous 1 denotes the APIC ID 1, if script was run on APIC-n, then n must be specified in the URL (n = APIC-ID).

To remove files when done run
rm -rf /tmp/TacOutput2021-12-17T08-16-19
rm -f /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

TacOutputs 수집 스크립트를 통한 트리거

5.3/6.0(3d) 이전 버전을 실행하는 ACI 패브릭의 경우, 트리거 tacoutput 명령과 유사한 인터페이스를 제공하는 aci-tac-scripts 리포지토리 내에서 Collect TacOutput Script를 사용할 수 있습니다.

apic# /tmp/collectTacOutputs.sh
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 2019-12-25T00:00:00
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 2020-01-05T00:00:00

...script collection runs...

Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz
To download through your web browser go to https:///files/1/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

crash/core 파일

APIC UI를 통한 수집

ACI 스위치 노드 및 APIC에는 수많은 프로세스가 있어 시스템의 다양한 기능 요소를 제어합니다. 시스템의 특정 프로세스에서 소프트웨어 장애가 발생할 경우 core 파일이 생성되고 프로세스가 다시 로드됩니다. 프로세스가 crash하고 core 파일이 생성되면 fault와 이벤트가 생성됩니다. 스위치/APIC의 프로세스가 crash하면 core 파일이 압축되어 APIC에 복사됩니다.

APIC GUI는 패브릭 노드에 대한 코어 파일을 수집할 수 있는 중앙 위치를 제공합니다.

Admin(관리) > IMPORT/EXPORT(내보내기 정책) > Core(코어)에서 새 내보내기 정책을 생성할 수 있습니다.

파일을 직접 다운로드할 수 있는 기본 코어 정책이 있습니다. 생성된 모든 코어 파일은 생성될 때 APIC 컨트롤러로의 전송을 시도합니다. 성공하면 기본 핵심 정책 아래에서 찾을 수 있습니다.

독립형 감사 로그

NDO/MSO UI를 통한 수집

MSC 감사 로그는 CSV 형식으로 JSON으로 다운로드할 수 있습니다.