排查ePDG中初始連線成功率下降的故障

簡介

本檔案將說明進化版封包資料閘道(ePDG)中與初始附加成功率(ASR)降低相關的問題。

概觀

初始ASR是指示會話設定嘗試總成功率的重要指標。

關鍵效能指示(KPI)的公式包含ePDG會話設定嘗試的總數和ePDG會話設定成功的總數。如果成功嘗試的次數減少，則整個KPI會降級。

基本預檢

對於ePDG功能，Internet協定安全(IPsec)是處理IPsec事務的過程。因此，對於任何ePDG情況，在您繼續排除故障之前，應先執行一些預檢查。

1. 檢查DPC卡的狀態，因為在這些卡上運行ipsecmgr。DPC卡必須處於活動狀態（備用卡除外）。

show card table

2. 檢查每個類似程式的資源狀態，sessmgr/ipsecmgr  以便根據每個卡的會話數檢查是否觀察到任何異常的流量模式，sessmgr/ipsecmgr  或者這些進程是否處於警告/超時狀態。 例如，在此輸出中，您看到ipsecmgr 處於over狀態，如下所示。

[local]abc# show task resources | grep -v good Thursday January 19 19:41:15 UTC 2023 task cputime memory files sessions cpu facility inst used allc used alloc used allc used allc S status ----------------------- ----------- ------------- --------- ------------- ------ 3/0 ipsecmgr 261 0.28% 75% 383.4M 300.0M 196 1500 30 6000 - over 3/0 ipsecmgr 262 0.23% 75% 378.0M 300.0M 185 1500 28 6000 - over 3/0 ipsecmgr 263 0.46% 75% 382.7M 300.0M 197 1500 30 6000 - over 3/0 ipsecmgr 264 0.22% 75% 383.7M 300.0M 212 1500 27 6000 - over ....

以下是在卡4和5上運行的sessmgrs示例，它們具有不均衡的會話分配：

[local]xyx# show task resources max | grep -i sess Monday February 17 21:52:38 UTC 2023 task cputime memory files sessions 4/0 sessmgr 45 12% 100% 429.9M 2.00G 129 500 4260 26000 I good 4/0 sessmgr 48 12% 100% 428.8M 2.00G 129 500 4267 26000 I good 4/0 sessmgr 49 12% 100% 428.5M 2.00G 129 500 4274 26000 I good 4/0 sessmgr 52 12% 100% 428.3M 2.00G 129 500 4258 26000 I good 5/0 sessmgr 5002 2.34% 50% 87.46M 190.0M 89 500 -- -- S good 5/0 sessmgr 2 12% 100% 458.5M 2.00G 107 500 9279 26000 I good 5/0 sessmgr 3 13% 100% 459.9M 2.00G 106 500 9281 26000 I good

3. 如果IPsec級別有任何丟包現象，請檢查加密統計資訊：

show crypto managers detail     ----------------- this command shows statistics per ipsec so we can check if any drops
show crypto statistics ikev2    ----------------- this command shows overall ikev2 statistics for EPDGs for different msg flows

注意：預檢查非常重要，因為有時會在卡級別發現問題，特定卡的IPsec/ssmgr無法接收使用者會話/流量，並且您在上面的統計資訊中能夠清楚地看到IPsec級別的丟棄。

需要日誌


要更好地解決此問題，需要注意的幾點：

• 從發現問題時（指問題開始的確切日期和時間）
• 網路中是否進行了任何更改或配置更改？
• 用於ePDG中ASR的公式
• 受影響圈中有多少個ePDG，其中之一就是所有ePDG或一個特定EPD中觀察到的問題

以下是要收集的日誌：

• 在問題開始之前、問題期間和問題之後（如果問題不再發生），顯示來自節點的支援詳細資訊(SSD)。
• 系統日誌在問題發生前1週（用於比較研究），涵蓋問題發生時和問題發生後（如果問題不再發生）。
• 簡易網路管理通訊協定(SNMP)設陷，涵蓋問題發生時間及問題發生後（如果問題不再發生）的1週時間（供比較研究使用）。
• 批次統計資料在問題發生前1週（用於比較研究），涵蓋問題發生時和問題發生後（如果問題不再發生）。
• 將根據以下選項收集monsub：

monitor subscriber with options S, X, A, Y, 19, 33, 34, 35, 26, 37, 40, 50, 88, 89. Collect traces at verbosity 5 for problematic and non-problematic number.

• 3個SSD，間隔30至45分鐘，找出拒絕的原因。

註：Disconnect-reason 519至533用於ePDG會話拒絕。

• 您需要比較有問題和無問題的節點的配置。

show configuration

show configuration verbose

• 需要調試日誌：

logging filter active facility sessmgr level <critical/error> logging filter active facility ipsec level <critical/error> logging filter active facility ikev2 level <critical/error> logging filter active facility epdg level <critical/error> logging filter active facility diameter level<critical/error> logging filter active facility egtpc level<critical/error> logging active ------------------- to enable debug logs no logging active --------------- to disable debug logs Note :: Above mentioned debug logs are taken considering debug logs at the level of critical/error but we can capture at debug level also as per need basis e.g logging filter active facility egtpc level debug

• 對故障排除有用的命令輸出：

show epdg-service all counters   
-> View ePDG service information and statistics

show epdg-service statistics     
-> View ePDG service statistics

show epdg-service session all    
-> View ePDG service session information

show egtpc statistics interface edpg-egress debug-info    
-> View egtpc statistics for  ePD-egress

show session [ disconnect-reasons | duration | progress | setuptime | subsystem ] 
-> iew additional session statistics.

show crypto statistics ikev2     
-> View IKEv2 statistics

show diameter aaa-statistics all 
->View Diameter AAA server statistics.

show subscribers epdg-only [ [ all ] | [ callid call_id ]]   
-> View a list of ePDG subscribers currently accessing the system.

show subscribers epdg-service service_name [ [ all ] | [ callid call_id ]] 
 ->View a list of ePDG subscribers currently accessing the system per ePDG service.

show crypto managers summary ipsec-sa-stats 
---Need to collect with some iterations to check ipsec associations stats

警告：當要求您收集調試日誌、日誌記錄監控器、mon-sub和mon pro等日誌時，請始終在維護窗口中收集，並始終監控CPU上的負載。

分析 

以下是ePDG初始配售會話成功率的公式示例：

Initial Attach Sessions Success Rate ==((totsetupsuccess / totsetupattempt )*100)

從Statistics and Counters Reference - Bulkstatistics Descriptions，您可以找到公式中使用的計數器，以瞭解其含義。

epdg totsetup-attempt- Total number of epdg session setup attempts. Increments upon receiving IKE_AUTH (CFG_REQ) for ePDG session creation.

epdg totsetup-success Total number of epdg session setup success. Increments upon successful IPv4/IPv6/Dual Stack ePDG session call setup.                

從SSD中，您可以看到show crash list輸出，以檢視是否存在任何持續/大量的崩潰導致KPI下降。

從SSD，您可以檢查show license info和show resource輸出，以檢視許可證是否已過期或會話計數是否在限制內。

******** show resources ******* Wednesday December 07 16:58:25 IST 2022 EPDG Service: In Use : 1118147 Max Used : 1450339 ( Tuesday November 29 00:06:00 IST 2022 ) Limit : 1600000 License Status : Within Acceptable Limits >>>>>

從show epdg-service statistics命令的輸出中，可以檢查遞增的故障原因。

******** show epdg-service statistics ******* Session Disconnect reason: Remote disconnect: 580994781 Admin disconnect: 168301 Idle timeout: 0 Absolute timeout: 0 Long duration timeout: 0 Session setup timeout: 169445470 No resource: 185148 Auth failure: 7634409 Flow add failure: 0 Invalid dest-context: 0 Source address violation: 42803 LMA Revocations(non-HO): 0 Duplicate Request: 19973167 Addr assign failure: 0 LTE/Other handoff: 1310701444 Miscellaneous reasons: 456928065 MIP-reg-timeout : 0 Invalid-APN : 0 ICSR Procedure : 0 Local PGW Res. Failed : 10424 Invalid QCI : 0 UE Redirected : 0 Roaming Mandatory : 0 Invalid IMEI : 3 

從有問題的跟蹤中可以找到拒絕的原因，並可以與無問題的跟蹤進行比較，以找出任何差異。

可以從跟蹤獲得的某些場景：

在Case-1(diameter-no-subscription)中，分析跟蹤資料後可發現Diameter EAP請求已傳送到AAA伺服器。但是，收到的響應指示故障，原因代碼為 DIAMETER_ERROR_USER_NO_APN_SUBSCRIPTION. 此，服務資料包資料網關(SPGW)會以斷開原因註冊同一故障。diameter-no-subscription. 對於沒有訂閱的使用者來說，此行為被視為是正常的，因為在進行此過程時，身份驗證、授權和記帳(AAA)伺服器拒絕了該行為。

注意：在AAA/HSS處為測試編號檢查APN訂用，如果可能，為相同的編號安排線上測試。

在案例2 (Session-setup-timeout)中，透過分析跟蹤，可發現會話設定因斷開原因而被拒絕。Session-setup-timeout. 進一步調查發現ePDG正在向SPGW傳送EGTP_CREATE_SESSION_REQUEST請求，但它沒有收到相同請求的任何響應。可以觀察到，傳送三個連續請求時未收到任何響應。

Solution : In such cases mostly need to check why SPGW is not sending any response towards EPDG because EPDG maintains this setup timer within which it needs to have the response

在案例3中，具有特定存取點名稱(APN)的請求被傳送到PGW，但被拒絕的原因代碼為  EGTP_CAUSE_USER_AUTHENTICATION_FAILED.

Solution : Here the issue can be either at HSS or EPDG itself need to check the authentication parameters being exchanged between EPDG/HSS/AAA          

為了調查所有提及的案例，有必要捕獲調試日誌以進行更詳細的分析。這些日誌會根據3GPP標準進行檢查，並根據結果確定適當的行動計畫或解決方法。必須注意的是，根據具體情況，行動方針可能有所不同。