簡介
本文檔介紹使用ACI的TAC進行故障排除時所需的各種日誌和輸出。
背景資訊
有關在建立TAC案例之前收集哪些資料的快速參考,請參閱表1。
表1:日誌/顯示技術收集表
問題 |
收集項目 |
備註 |
升級問題 |
- 具有升級問題的節點的隨選技術支援.
- 所有 APIC 的隨選技術支援.
- 透過 TacOutput 的其他故障、事件與稽核.
|
如果APIC出現差異且按需技術支援收集失敗,請收集本地Techsupport。 |
隨機連線問題 |
- 來自src節點(連線src端點的位置)的按需技術支援。
- 來自dst節點(連線dstendpoint的位置)的按需技術支援。
- 透過 TacOutput 的其他故障、事件與稽核
|
|
連線完全中斷 |
-
分葉區(src 和 dst)的隨選技術支援
-
骨幹的隨選技術支援
-
APIC 的隨選技術支援
-
透過 TacOutput 的其他故障、事件與稽核
|
如果持續中斷,請聯絡 TAC 尋求即時偵錯。 如果節點因為任何原因而重新啟動,請在重新載入前收集記錄(如要求 RCA)。 |
叢集問題 |
- 所有 APIC 的隨選技術支援
- 透過 TacOutput 的其他故障、事件與稽核
|
如果APIC出現差異且按需技術支援收集失敗,請收集本地Techsupport。 |
路由問題 |
- 具有路由問題的節點隨選技術支援.
- 透過 TacOutput 的其他故障、事件與稽核
|
|
節點損毀/非預期的重新載入 |
- 損毀節點的隨選技術支援.
- 當機節點的當機/核心檔案。
- 透過 TacOutput 的其他故障、事件與稽核
|
|
APIC 應用程式問題 |
- 所有 APIC 的隨選技術支援.
- 受影響之應用程式的 APIC 應用程式技術支援.
|
|
ACI APIC 和交換器
隨選技術支援
注意:如果您的ACI交換矩陣已連線並透過Intersight進行索賠,將自動生成技術支援並上傳到TAC SR獲取案例提交期間提供的序列號。然後,該SR上的TAC工程師可以透過Intersight為任何其他連線的裝置觸發生成和上傳或其他技術支援。
透過APIC觸發並上傳到Intersight - Nexus Insights雲聯結器應用
要使用此方法,請參閱必須透過APIC: Nexus Insights雲聯結器應用程式在Intersight上連線並申請ACI交換矩陣。
- 導航到:APIC > Apps > Installed Apps > open NICC app > TAC Assist > click Begin
- 選擇節點,然後按一下Collect Logs。
- 一旦作業狀態完成,請點選檢視詳細資訊。
- 在作業詳細資訊頁的日誌表下,可以查詢檔案雲列。
- 按一下每個裝置的TechSupport捆綁包的Upload。
透過ND觸發並上傳到Intersight - Nexus控制台見解
要使用此方法,請參閱必須透過Nexus控制台在Intersight上連線並申請ACI交換矩陣:Nexus控制台洞察。
- 導航至:Nexus控制台>管理控制檯>服務>打開Nexus控制台見解>故障排除>日誌收集器。
- 按一下New Log Collection。
- 指定日誌收集的名稱。
- 選擇站點。
- 啟用自動上傳記錄檔核取方塊。
- 按一下Select Nodes,然後選擇節點。
- 按一下Start Collection。
- 將技術支援檔案上傳到intersight.com
- 上傳完成後,通知TAC檔案已在intersight上傳。
- TAC工程師能夠將檔案從intersight移到TAC案例進行分析。
透過 APIC UI 觸發
建立隨選技術支援原則
注意:除非TAC明確要求,否則請勿指定技術支援時間範圍。如果日誌變動過大,則這樣做可能導致日誌丟失。這嚴重影響TAC提供及時RCA的能力。如果提供了Techsupport時間範圍,它將根據上次檔案修改時間戳裁剪日誌,而不是根據日誌檔案本身內的時間戳裁剪日誌。
- 在選單欄中,按一下Admin > Import/Export > Export Policies > Right-click On-demand TechSupport > Create On-demand TechSupport。
- 在「建立隨選技術支援」對話方塊的欄位中輸入正確的值。
- 如果遠端位置無法使用,請按一下「匯出至控制器」。生成技術支援後,可透過GUI的Operational(操作)頁籤下載。
- 勾選「將所有控制器納入技術支援」以產生 APIC 技術支援。
- 「來源節點」欄位可讓您指定產生Techsupport的交換器節點。
- 按一下「提交」以建立隨選技術支援原則。
生成按需技術支援。
- 導覽至現有的隨選技術支援原則。在以下位置可找到建立的策略:Admin > Import/Export > Export Policies > On-demand TechSupport > Expand On-demand TechSupport資料夾>按一下右鍵要使用的策略>收集技術支援。
- 或者,按一下右鍵按需技術支援策略以在主窗格中顯示;然後按一下扳手/錘圖示並選擇收集技術支援。
- 選擇「是」以開始收集技術支援資訊。
收集生成的Techsupport。
- 如果在生成技術支援期間未啟用導出到控制器,則可以檢查所有技術支援檔案的導出目標(遠端位置)。
- 如果「匯出至控制器」已啟用,請導覽至產生技術支援所憑藉的隨選技術支援原則。可以在Admin > Import/Export > Export Policies > On-demand TechSupport上找到已建立的策略。
- 產生的技術支援可在該隨選技術支援原則的「運作中」標籤內取得。每個檔案都有一個可透過http/https下載的連結。每個節點都有三個連結,每個檔案連結一個。
注意:如果版本早於2.2,則必須使用本地admin使用者帳戶透過UI下載Techsupports。 否則,請使用任何其他具有管理員權限的本機帳戶。遠端使用者無法通過UI下載techsupport。相反,他們可以使用sftp或其他方法從相應APIC上的/data/techsupport/目錄中提取techsupport檔案。
附註:技術支援套件之 URL 中的數字表示檔案所處的 APIC。例如,files/2/techsupport.tgz表示可以在APIC 2的/data/techsupport/目錄中找到此特定捆綁包。
隨選技術支援檔案說明
如果技術支援係透過「匯出至控制器」選項產生,則 GUI 會顯示每個 ACI 節點(APIC 節點或交換器節點)三個 URL。每個 URL 為不同的記錄檔案類型,且包含唯一資訊。 TAC 通常會要求每個節點上傳所有三個檔案,以取得完整分析的所有記錄。
每個 URL 會對應至三個檔案類型的其中一個:
類別 |
一般尾碼 |
適用於: |
檔案大小 |
匯出 |
_1of3.tgz |
稽核/故障記錄 |
中小型 |
記錄檔 |
_logs_3of3.tgz |
程序記錄 |
最大型 |
DB |
_db_2of3.tgz |
MO 傾印 |
小型 |
注意:如果選擇了「導出目標」而不是「導出到控制器」,則定義的遠端位置會建立一個資料夾,其中包含每個節點三個檔案。
如果存在使用瀏覽器連結下載技術支援的問題,請使用scp或sftp客戶端(如WinSCP或FileZilla)直接從APIC儲存下載檔案。
1. 連線 (sftp) 至每個 APIC。收集的技術支援檔案儲存在所有可用的APIC中,因此務必檢查每個APIC中收集的技術支援檔案。
2. 導覽至連線之 APIC 中的 /data/techsupport 資料夾(在所有 APIC 控制器中重複此步驟)。
查詢名稱包含按需技術支援策略名稱(在本示例中為ABCTECH)的檔案,然後將這些檔案下載到您的電腦。
技術支援本機
「按需」技術支援始終優先於本地技術支援,因為按需Techsupport可提供更完整的檢視。 但是,當收集透過原則觸發時,其仰賴完全合適的 APIC 叢集。
注意:必須在每個單個節點上觸發本地技術支援,因此,如果您計畫為所有APIC收集本地技術支援,則必須在集群中的每個APIC上單獨運行cmd。
技術支援本機情況
- APIC不完全適合。
- APIC尚未發現ACI交換機。
- ACI交換機已失去與APIC的通訊。
- 內部流程故障阻止了按需技術支援操作(罕見)。
透過 APIC CLI 觸發
- 透過使用管理員認證的 APIC 開啟 SSH 作業階段。
- 如果無法使用管理員憑據登入,請使用使用者名稱rescue-user。密碼可以與admin本地使用者相同。
- 運行bash -c「techsupport local」命令。
Using username "admin".
Application Policy Infrastructure Controller
apic1# bash -c "techsupport local"
This command is being deprecated on APIC controller, please use NXOS-style equivalent command
Running bash commands
Completed 1 of 10 commands
...
Completed 10 of 10 commands
Starting data compression
Techsupport collected at /data/techsupport/local_apic1_2018-05-29T08-17.tgz . Please remove the file once done.
- 下載本機技術支援。
- 選項A:使用SCP下載技術支援檔案:
- WinSCP 或 pscp.exe(Windows 使用者)
- 原生 SCP 用戶端(MAC 使用者)
- 選項B:使用HTTPS下載技術支援檔案:
- 開啟瀏覽器(例如,Chrome 或 Firefox)。
- 導航至:https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
- 範例: https://a.p.i.c/files/1/techsupport/local_apic1_2018-05-29T08-17.tgz
- 使用管理員認證登入。
- 如果出現提示,請選取瀏覽器下載提示上的儲存檔案。
透過交換器 CLI 觸發
- 透過使用管理員認證的 ACI 交換器開啟 SSH 作業階段。
- 如果APIC尚未發現交換機,請使用使用者名稱admin。
- 運行命令:「techsupport local」。
fab5-leaf1# techsupport local
Running bash commands
Completed 1 of 9 commands
...
Completed 9 of 9 commands
Starting data compression
Techsupport collected at /data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz . Please remove the file once done
3. 下載本機技術支援。
- 選項A:使用SCP從ACI交換機下載techsupport檔案:
- WinSCP 或 pscp.exe(Windows 使用者)
- 原生 SCP 用戶端(MAC 使用者)
- 選項B:透過APIC使用HTTPS下載技術支援檔案:
- 登入到APIC CLI(注意步驟4中使用了哪個APIC)。
- 使用以下命令將techsupport檔案從ACI交換機傳輸到APIC:
- scp <節點名稱>:/data/techsupport/<ts_filename> /data/techsupport
- 示例: apic1# scp fab5-leaf1:/data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz /data/techsupport
- 開啟瀏覽器(例如,Chrome 或 Firefox)。
- 導航至:https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
- 範例: https://a.p.i.c/files/1/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz
- 使用管理員認證登入。
- 如果出現提示,請選取瀏覽器下載提示上的儲存檔案。
CIMC 技術支援
透過 CIMC UI 觸發
可以收集APIC CIMC的技術支援以稽核與APIC機箱相關的日誌。CIMC show tech可以從本地捕獲,或從CIMC Admin頁籤的Utilities部分傳送到遠端位置。
透過CIMC CLI觸發
在 APIC CIMC CLI 輸入:
~ # scope cimc
~ /cimc # scope tech-support
~ /cimc/tech-support # set tftp-ip 192.168.1.1
~ /cimc/tech-support *# set path \techsupport\showtech
~ /cimc/tech-support *# commit
~ /cimc/tech-support *# start
分析CIMC技術支援
以下列出了show tech命令中的一些關鍵欄位。
Techsup檔案/位置 |
說明 |
var/ |
包含詳細日誌和所有受監控服務的狀態。亦包含服務資訊檔案(例如,SOL 和 IPMI 感應器警報的組態)。 |
var/log |
包含循環的易失性日誌消息。 |
obfl/ |
包含滾動的非易失性日誌消息。 |
符合/ |
非易失性配置和SEL |
mp/ |
show tech-support文本檔案,以及BIOS技術支援文本檔案。該文字檔案包含所有程序、網路、系統、夾層及 BIOS 狀態資訊。 |
mctool |
獲取有關CIMC狀態的基本資訊。 |
網路 |
獲取當前網路配置和套接字資訊。 |
obfl |
獲取即時日誌(板載故障日誌)。 |
梅塞日 |
獲取即時/var/log/messages檔案。 |
警報 |
列出處於警報狀態的感測器。 |
感應器 |
來自IPMI的當前感測器讀數。 |
強化 |
x86的當前電源狀態。 |
延伸稽核、事件及故障等 (TacOutput)
TAC 可要求其他基本輸出內容(例如,故障、事件與稽核),此類內容一般為 RCA 必需資訊。
截至今日,show tech 已包含此類物件的子集,但僅限最近 10,000 筆記錄。在某些情況下,TAC需要完整記錄集,遠遠超過10,000條記錄。
注意:從版本5.2(1g)開始,您可以使用CLI命令觸發來自APIC的資料輸出來收集這些附加對象。但是,在5.3(x)和6.0(3d)之前的版本中,內建指令碼可能無法收集所有頁面的記錄。 在這種情況下,建議使用下一部分中列出的aci-tac-scripts儲存庫中最新版本的指令碼。
透過觸發器輸出觸發- 5.2/5.3/6.0(3d)及更高版本
對於運行版本5.2/5.3/6.0(3d)及更高版本的ACI交換矩陣,trigger tacoutput為事件、故障、稽核和其他故障排除輸出提供了簡化的收集介面):
apic1# trigger tacoutput
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR *collected unfiltered
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date:
Enter record end date (format: 2019-12-15T00:00:00) *default is current date:
... collection runs...
2021-12-17T08:19:59 TacOutput collection completed.
2021-12-17T08:19:59 Verify files and file sizes at /tmp/TacOutput2021-12-17T08-16-19
2021-12-17T08:19:59 Compressing files...
2021-12-17T08:20:01 Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
To download through your web browser go to https://<apic address>/files/1/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
Note: in the URL previous 1 denotes the APIC ID 1, if script was run on APIC-n, then n must be specified in the URL (n = APIC-ID).
To remove files when done run
rm -rf /tmp/TacOutput2021-12-17T08-16-19
rm -f /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
透過收集Tac輸出指令碼觸發
對於運行早於5.2/5.3/6.0(3d)的ACI交換矩陣,aci-tac-scripts儲存庫中提供收集TacOutput指令碼,該指令碼充當與trigger tacoutput命令類似的介面:
apic# /tmp/collectTacOutputs.sh
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 2019-12-25T00:00:00
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 2020-01-05T00:00:00
...script collection runs...
Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz
To download through your web browser go to https:///files/1/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz
損毀/核心檔案
透過 APIC UI 收集
ACI 交換器節點和 APIC 具有多項程序,可控制系統的各項功能層面。 如果系統在特定程序中發生軟體故障,則會產生核心檔案,並重新載入程序。 當程序損毀且系統產生核心檔案後,會產生故障和事件。 當交換器/APIC 的程序損毀時,系統會壓縮核心檔案並複製到 APIC。
APIC GUI提供了一個中心位置,用於收集交換矩陣節點的核心檔案。
可以透過Admin > IMPORT/EXPORT(在Export Policies > Core中)建立新的導出策略。
有一個預設的核心策略,可以直接下載檔案。生成時,所有生成的核心檔案都會嘗試傳輸到APIC控制器。如果成功,則可以在預設核心策略下找到它們。
您可透過檢閱「運作中」標籤檢視產生(和匯出)的核心檔案。 在此標籤中,您可檢閱產生核心檔案(損毀的服務)、收集時間等等的節點。
您可以按一下「匯出位置」連結,將檔案下載到您的案頭。 當系統出現提示時,請使用 APIC 認證。
或者,您可在 APIC 上的 /data/techsupport 資料夾(核心檔案所處的位置),透過 APIC 的 SSH/SCP 存取核心檔案。
注意:核心檔案在集群的一個APIC上的/data/techsupport中提供;核心檔案所在的確切APIC可透過導出位置路徑找到,如GUI中所示。例如,如果「匯出位置」以files/3/開頭,則檔案位於節點3 (APIC3)上。
透過交換器 CLI 收集
在某些特殊情況下,無法將Leaf或Spines中的核心複製到APIC,這些核心可在交換機的/logflash/core中找到。可透過SCP直接到交換機或者透過將檔案移動到APIC然後從APIC移出SCP來檢索它們。
收集指令碼嘗試收集/logflash/core中的核心檔案以及其他崩潰相關資訊:
#Run on an ACI Leaf Node, Copy from here
bash -c '
# set this to correct leaf name
leaf="$(hostname)""_data"
# collect data
mkdir /data/techsupport/$leaf
cd /data/techsupport/$leaf
show system reset-reason > show_sys_rr.log
vsh -c "show logging onboard internal reset-reason" > show_logg_onb_internal_rr.log
vsh -c "show logging onboard stack-trace" > show_logg_onb_stack-trace.log
vsh -c "show logging onboard card-boot-history" > show_logg_onb_card-boot-history.log
vsh -c "show processes log details" > show_process_log_detail.log
df -h > df.log
ls -liah /logflash/core > logflash_core.log
cp /var/log/dmesg ./
cp -rf /mnt/ifc/log/last_run/ ./
mkdir bootflash; cp /bootflash/mem_log* ./bootflash/
mkdir mnt_pss; cp -rf /mnt/pss/* ./mnt_pss/
mkdir mnt_pstore; cp -rf /mnt/pstore/* ./mnt_pstore/
mkdir logflash_core; cp -rf /logflash/core ./logflash_core
# compress and combine files
cd /data/techsupport
zipfile="$leaf"".tgz"
tar -zcvf ./$zipfile ./$leaf/*
rm -rf ./$leaf/*
rmdir ./$leaf
echo ""
echo " ///// Please collect /data/techsupport/"$zipfile" and upload to SR ///////"
'
#copy to here
APIC 應用程式技術支援
透過 APIC UI 觸發
如果 APIC 應用程式使用中且出現問題,則系統可能會針對該應用程式建立特定隨選技術支援原則,以收集其記錄進行分析。
該原則可能會建立於以下路徑:「管理」>「匯入/匯出」>「匯出原則」>「建立隨選技術支援」。有一個特定的For App選項,該選項允許使用者選擇要用來收集日誌的APIC APP:
建立策略後,可以根據該策略觸發收集,以收集techsupport,並在選擇Export to Controller時透過「Operational」頁籤進行下載。
應用程式虛擬邊緣 (AVE)
Vem-Support
透過 AVE 節點 CLI 觸發
登入到AVE CLI並運行此命令。show tech將收集在/tmp目錄中。 您可使用 SCP 將其匯出。
cisco-ave:~$ vem-support all
This can take some time. Please wait.
Copying dpa logs
...
Generated /tmp/dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs.tgz
cisco-ave:tmp$ tar -tf dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs.tgz
dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/
dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vemlog.txt
dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vem-support.txt
dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vemdpa.txt
...
dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/log/redis/
dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/log/supervisor/
vCenter/ESXI 主機記錄
透過 vCenter/ESXi UI 觸發
Vcenter和ESX主機日誌可以導出,如螢幕影象所示。
1. 從MSO GUI的主選單中,打開系統日誌螢幕。選擇操作>技術支援。
2.在「系統記錄」訊框的右上角中,按一下「編輯」按鈕。
上傳
3.選取您想要下載的記錄。
4. 按一下下載按鈕。
所選專案的查扣檔會下載到您的系統。報告包含如下資訊:所有架構、站點定義、租戶定義、JSON格式的使用者定義。infra_logs.txt 檔案中的所有容器記錄。
透過NDO/MSO UI的流- MSO版本3.x及更高版本
系統日誌可以流式傳輸到外部分析器。有關如何將日誌即時傳送到外部日誌分析器工具的更多詳細資訊,請參閱以下連結。https://www.cisco.com/c/en/us/td/docs/dcn/mso/3x/configuration/cisco-aci-multi-site-configuration-guide-301/aci-multi-site-logs.html
獨立稽核記錄
透過 NDO/MSO UI 收集
MSC稽核日誌可以採用CSV格式的JSON格式下載。