MDS 9000系列光纖通道埠鏈路事件「LR Rcvd B2B」故障排除

簡介

本檔案介紹Cisco多層次資料交換器(MDS) 9000系列光纖通道(FC)連線埠上發生的問題，並提供問題的解決方案。

問題

此連結事件記錄會顯示：

*************** Port Config Link Events Log ***************
 ----                            ------    -----   -----   ------
 Time                            PortNo    Speed   Event   Reason
 ----                            ------    -----   -----   ------
 ...
 Jul 28 00:46:39 2012  00670297  fc11/25    ---    DOWN   LR Rcvd B2B      

LR Rcvd B2B(或Link failure Link Reset failed nonempty recv queue)消息指示連線到埠的裝置將鏈路重置(LR)傳輸到MDS，但由於埠上的內部擁塞，MDS未使用鏈路重置響應(LRR)進行響應。埠有從連線裝置接收的資料包排入隊列，但MDS無法將它們傳送到相應的輸出埠。由於它們仍在入口埠排隊，MDS無法發回LRR，因此鏈路發生故障。

以下錯誤訊息會與先前的事件記錄一起出現：

%PORT-2-IF_DOWN_LINK_FAILURE: %$VSAN 93%$ 
  Interface fc11/25 is down (Link failure)

%PORT-5-IF_DOWN_LINK_FAILURE: %$VSAN 100%$ 
  Interface fc5/32 is down (Link failure Link Reset 
  failed nonempty recv queue)

注意：此場景假設以下情況提供：MDS向FC裝置授予的緩衝區信用數量為3，並且FC裝置的資料包切換到出口FC埠。

                MDS
    FC Port                FC Port
    (Egress)   Arbiter    (Ingress)      FC device
    --------   -------    ---------      ---------
  1)                           <------- FC packet 1
  2)             <--- Grant Request
  3)             Grant------------>
  4)    <---------------FC packet 1
  5)                            R_Rdy-------->       Tx B2B=3
  6)                           <------- FC packet 2  Tx B2B=2
  7)             <---- Grant Request
  8)                           <------- FC packet 3  Tx B2B=1
  9)             <---- Grant Request
 10)                           <------- FC packet 4  Tx B2B=0
 11)             <---- Grant Request
 12) Time lapses - Variable depending on attached HBA type
 13)                           <--------Link Reset(LR)
 14)          Start 90ms "LR Rcvd B2B" timer
 15)          "LR Rcvd B2B" timer expires
 16)                            <--------NOS-------->

說明

本節將說明先前的輸出：

1. FC裝置會以FC封包形式傳輸至輸入連線埠，目的地為輸出連線埠。
2. MDS輸入線路卡(LC)連線埠會判斷目的地索引(DI)，並將授權要求傳輸到作用中Supervisor上的仲裁器(Bellagio2)。
3. 仲裁器向入口埠傳送回Grant，允許它透過XBAR將FC資料包1傳輸到出口埠。
4. 輸入LC將FC資料包1透過XBAR傳輸到輸出埠。 如此一來，輸入緩衝區即可使用。
5. 入口埠將R_RDY傳輸回FC裝置，以便補充積分。
   
   

   注意：前五個步驟在不存在擁塞時是典型的。此時假設輸出埠隊列已滿，無法再接收任何資料包。

   
   
6. FC裝置將FC封包2傳輸到輸入連線埠，目的地為輸出連線埠。
7. MDS輸入LC埠確定DI，並將授權請求傳送到活動Supervisor上的仲裁器(Bellagio2)。
8. FC裝置將FC資料包3傳輸到入口埠，再傳輸到出口埠。
9. MDS輸入LC埠確定DI，並將授權請求傳送到活動Supervisor上的仲裁器(Bellagio2)。
10. FC裝置將FC資料包4傳輸到入口埠，再傳輸到出口埠。
11. MDS輸入LC埠確定DI，並將授權請求傳送到活動Supervisor上的仲裁器(Bellagio2)。
12. 時間間隔，根據連線的HBA型別而有所不同。
13. 在Tx B2B=0一段時間後，FC裝置啟動信用損失恢復，並傳輸鏈路重置(LR)。
14. 輸入連線埠收到LR時，會檢查其輸入緩衝區並確定至少有一個封包已排隊。然後啟動90毫秒LR Rcvd B2B計時器。
15. 如果接收到授予，並且三個FC資料包被傳輸到輸出埠，則LR Rcvd B2B計時器被取消，並且鏈路重置響應(LRR)被傳送回FC裝置。但是，在這種情況下，輸出連線埠仍然擁塞，三個FC封包仍在輸入連線埠上佇列。LR Rcvd B2B計時器超時，且LRR不會傳送回FC裝置。
16. 入口埠和FC裝置都透過傳輸非操作序列來啟動鏈路故障。

解決方案

如果鏈路失敗並顯示LR Rcvd B2B或Link failure Link Reset failed nonempty recv queue消息，則發生故障的埠不是瓶頸的原因，並且只受到緩慢/停滯埠的影響。要確定導致鏈路故障的慢/阻塞埠，請完成以下步驟：

1. 確定是否有多個鏈路由於上述問題而發生故障。 如果大約同時有多個連結失敗，則問題可能是因為所有連線埠都嘗試將封包傳輸到通用輸出連線埠所致。
2. 檢查VSAN分割槽資料庫，以檢視相鄰FC裝置使用哪些裝置進行分割槽。將這些埠對映到出口E或本地F埠。為了對映到出口E，埠使用show fspf internal route vsan <vsan> domain <dom>命令。要對映到本地F埠，請使用show flogi database vsan <vsan>命令。如果有多個鏈路出現故障並顯示LR Rcvd B2B消息，請組合找到的輸出E或本地F埠，並檢查是否有重疊。重疊可能是埠緩慢/停滯的原因。
3. 檢查步驟2中找到的埠是否有慢排的指示。範例如下：
   
   
   • 信用損失(AK_FCP_CNTR_CREDIT_LOSS / FCP_SW_CNTR_CREDIT_LOSS)
   • 100毫秒Tx B2B零(AK_FCP_CNTR_TX_WT_AVG_B2B_ZERO / FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO)
   • 逾時捨棄(AK_FCP_CNTR_LAF_TOTAL_TIMEOUT_FRAMES / THB_TMM_TOLB_TIMEOUT_DROP_CNT / F16_TMM_TOLB_TIMEOUT_DROP_CNT)
     
     
4. 如果確定慢速埠是出口E埠，則繼續執行FSPF下一跳介面所指示的相鄰交換機上的慢速漏極故障排除。
5. 如果確定緩慢/停滯的埠是FCIP鏈路或埠通道，請檢查FCIP鏈路是否存在IP重新傳輸訊號或其他問題（如鏈路故障）。輸入show ips stats all命令以檢查問題。

組態選項

以下是兩種可能的系統組態選項：

• 此計時器確定系統等待多長時間，才能使無法傳輸的幀超時。預設值為500毫秒。
  
  

  system timeout congestion-drop 
         
         
           mode E|F 
         

• 此計時器確定從零Tx信用點到開始幀丟棄之間的時間，直到收到信用點為止。
  
  

  system timeout no-credit-drop 
         
         
           mode E|F 
         

相關資訊

• 排水裝置慢速訓練4.2(7) - PDF下載
  
• 技術支援與文件 - Cisco Systems