この製品のドキュメントセットは、偏向のない言語を使用するように配慮されています。このドキュメントセットでの偏向のない言語とは、年齢、障害、性別、人種的アイデンティティ、民族的アイデンティティ、性的指向、社会経済的地位、およびインターセクショナリティに基づく差別を意味しない言語として定義されています。製品ソフトウェアのユーザインターフェイスにハードコードされている言語、RFP のドキュメントに基づいて使用されている言語、または参照されているサードパーティ製品で使用されている言語によりドキュメントに例外が存在する場合があります。シスコのインクルーシブ ランゲージの取り組みの詳細は、こちらをご覧ください。
シスコは世界中のユーザにそれぞれの言語でサポート コンテンツを提供するために、機械と人による翻訳を組み合わせて、本ドキュメントを翻訳しています。ただし、最高度の機械翻訳であっても、専門家による翻訳のような正確性は確保されません。シスコは、これら翻訳の正確性について法的責任を負いません。原典である英語版(リンクからアクセス可能)もあわせて参照することを推奨します。
RADIUSサーバのステータスを判別し、障害が発生した場合に別のサーバを試行するタイミングを決定するために、次の2つの異なるモデル/アルゴリズム/アプローチを選択します。
元のアプローチとオペレータが頻繁に使用するアプローチでは、特定のaamgrプロセスで連続して発生した障害の数を追跡します。aaamgrプロセスは、すべてのradiusメッセージ処理とradiusサーバとの交換を担当し、多くのaaamgrプロセスはシャーシ内に存在し、それぞれがsessmgrプロセス(コール制御を担当するメインプロセス)とペアになります。(すべてのaaamgrプロセスを「show task resources」コマンドで表示)特定のaaamgrプロセスは、1つのコールではなく多数のコールのradiusメッセージを処理します。このアルゴリズムでは、特定のaaamgrプロセスが再送に失敗した回数を追跡します。
これが発生すると、「show radius counters」の各カウンタ「Access-Request Current Consecutive Failures in a mgr」も増加し、「show radius accounting (or authentication) servers detail」コマンドは、RADIUS状態がActiveからNot Respondingに変更されたタイムスタンプを示します(ただし、1つの障害に対SNMPは生成なし)。 RADIUSアカウンティングの例を次に示します。
[source]PDSN> show radius accounting servers detail Friday November 28 23:23:34 UTC 2008 +-----Type: (A) - Authentication (a) - Accounting | (C) - Charging (c) - Charging Accounting | (M) - Mediation (m) - Mediation Accounting | |+----Preference: (P) - Primary (S) - Secondary || ||+---State: (A) - Active (N) - Not Responding ||| (D) - Down (W) - Waiting Accounting-On ||| (I) - Initializing (w) - Waiting Accounting-Off ||| (a) - Active Pending (U) - Unknown ||| |||+--Admin (E) - Enabled (D) - Disabled |||| Status: |||| ||||+-Admin ||||| status (O) - Overridden (.) - Not Overridden ||||| Overridden: ||||| vvvvv IP PORT GROUP ------ ------------- ----- ----------------------- PNE. 198.51.100.1 1813 default Event History: 2008-Nov-28+23:18:36 Active 2008-Nov-28+23:18:57 Not Responding 2008-Nov-28+23:19:12 Active 2008-Nov-28+23:19:30 Not Responding 2008-Nov-28+23:19:36 Active 2008-Nov-28+23:20:57 Not Responding 2008-Nov-28+23:21:12 Active 2008-Nov-28+23:22:31 Not Responding 2008-Nov-28+23:22:36 Active 2008-Nov-28+23:23:30 Not Responding
このカウンタがリセットされずに設定された値(デフォルト= 4)に達した場合は、設定可能な値に従います。(カッコ[ ]はオプションの修飾子を示すために使用され、この場合はトラブルシューティングのアカウンティングをキャプチャします(アカウンティングが指定されていない場合は認証がデフォルトです)。
radius [accounting] detect-dead-server consecutive-failures 4
次に、このサーバは、設定された期間(分)の「ダウン」とマークされます。
radius [accounting] deadtime 10
SNMPトラップとログもトリガーされます。たとえば、認証とアカウンティングの場合は次のようになります。
Fri Jan 30 06:17:19 2009 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 172.28.221.178 Fri Jan 30 06:22:19 2009 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 172.28.221.178 Fri Nov 28 21:59:12 2008 Internal trap notification 42 (AAAAccSvrUnreachable) server 6 ip address 172.28.221.178 Fri Nov 28 22:28:29 2008 Internal trap notification 43 (AAAAccSvrReachable) server 6 ip address 172.28.221.178 2008-Nov-28+21:59:12.899 [radius-acct 24006 warning] [8/0/518 <aaamgr:231> aaamgr_config.c:1060] [context: source, contextID: 2] [software internal security config user critical-info] Server 172.28.221.178:1813 unreachable 2008-Nov-28+22:28:29.280 [radius-acct 24007 info] [8/0/518 <aaamgr:231> aaamgr_config.c:1068] [context: source, contextID: 2] [software internal security config user critical-info] Server 172.28.221.178:1813 reachable
トラップは、到達不能なサーバを示します。パターンに注意してください。たとえば、あるサーバまたは別のサーバまたはすべてのサーバで発生しているか、またバウンスの頻度は何か、頻繁に発生しているか、それとも頻繁に発生しているか。
また、このトラップがトリガーされるために必要なのは1つのaamgrが失敗することだけなので、このトラップに関する注意すべき部分は、問題の範囲を示さないことです。これは非常に広範囲または非常に小さい可能性があります。これはオペレータが判断し、それを理解するためのアプローチがこの記事で説明されています。
show snmp trap statisticsは、古いトラップが削除されてから長い時間が経過しても、ブートアップ後にトリガーされた回数を報告します。次の例は、到達不能なアカウンティングの問題を示しています。
[source]PDSN> show snmp trap statistics | grep -i aaa Wednesday September 10 08:38:19 UTC 2014 Trap Name #Gen #Disc Disable Last Generated ----------------------------------- ----- ----- ------- -------------------- AAAAccSvrUnreachable 833 0 0 2014:09:10:08:36:54 AAAAccSvrReachable 839 0 0 2014:09:10:08:37:00
上記の例で報告されているaaamgrは#231です。これは、システム管理カード(SMC)上にあるASR 5000上の管理aaamgrです。 この出力で欺かれているのは、個々のaaamgrまたはaaamgrsで到達可能性の問題が発生した場合、ログで報告されるインスタンス番号が管理aaamgrインスタンスであり、問題が発生した特定のインスタンスではないということです。これは、多くのインスタンスで到達可能性の問題が発生している場合は、ロギングが即座に完了するため、管理インスタンスで一般的に報告されています。この情報を知らなかった場合は、騙されます。トラブルシューティングのセクションでは、障害が発生しているaamgrを判別する方法について詳しく説明します。 一部のバージョンのStarOS 17およびv18+以降では、接続に問題がある対応するaamgrインスタンス番号(SNMPトラップで報告)が特定のID(Cisco CDETS CSCum84773)のログに報告されるように、この動作がが変更されていますこの現象が報告されます。
管理aaamgrは最大sessmgrインスタンス番号+ 1なので、ASR 5500ではデータ処理カード(DPC)が385、またはDPC 2が1153になります。
同様に、管理aaamgrは、オペレータ/管理者ログインの処理と、RADIUSサーバ自体から開始される許可要求の変更の処理を担当します。
続けて、「show radius accounting(またはauthentication) servers detail」コマンドは、トラップ/ログに対応する状態変更のタイムスタンプを「Down」に示します(注意:Not Responding defined earlyはタイムアウトを取得する単一のaaamgrですが、Downは設定ごとに十分な連続タイムアウトを取得してDownをトリガーする単一のaaamgrです)
vvvvv IP PORT GROUP ----- --------------- ----- ----------------------- aSDE. 172.28.221.178 1813 default Event History: 2008-Nov-28+21:59:12 Down 2008-Nov-28+22:28:29 Active 2008-Nov-28+22:28:57 Not Responding 2008-Nov-28+22:32:12 Down 2008-Nov-28+23:01:57 Active 2008-Nov-28+23:02:12 Not Responding 2008-Nov-28+23:05:12 Down 2008-Nov-28+23:19:29 Active 2008-Nov-28+23:19:57 Not Responding 2008-Nov-28+23:22:12 Down
設定されているサーバが1つだけの場合は、マークダウンされません。これは、コールセットアップを正常に行うには重要です。
注意すべき点は、detect-dead-server config行に「response-timeout」という別のパラメータを設定できることです。指定した場合、サーバは、連続する障害と応答タイムアウトの条件の両方が満たされている場合にのみマークダウンされます。response-timeoutは、特定のサーバに送信されたすべての要求に対してNO応答が受信される時間を指定します。(このタイマーは、応答を受信すると継続的にリセットされることに注意してください)。 この状態は、サーバまたはネットワーク接続が完全にダウンした場合に発生し、部分的に侵害または低下した場合に発生します。
この使用例は、トラフィックのバーストによって連続した障害がトリガーされますが、その結果としてサーバが即座にダウンするようにマークするというシナリオではありません。むしろ、サーバは、応答が受信されない特定の時間が経過した後にのみマークダウンされ、実際のサーバの到達不能を表します。
radiusステートマシンの変更を制御する方法は、すべてのaaamgrプロセスを調べ、失敗した再試行の状態をトリガーする方法を見つけることに依存します。この方法は、ある程度の障害のランダム性に左右されるため、障害を検出するための理想的なアルゴリズムではない可能性があります。しかし、他のすべての人が正常に動作している間に壊れているaaamgrを見つけるのは特に良いです。
RADIUSサーバの到達可能性を検出するもう1つの方法は、ダミーキープアライブテストメッセージを使用することです。これには、ライブトラフィックを監視する代わりに、偽のRADIUSメッセージを絶えず送信することが含まれます。この方法のもう1つの利点は、常にアクティブであることです。AAAAMGRアプローチで連続した障害が発生した場合は、RADIUSトラフィックが送信されない時間帯があるため、その時間帯に問題が存在するかどうかを知る方法がないため、試行が開始されると検出が遅延されます。また、サーバがマークダウンされると、これらのキープアライブは送信され続け、サーバをできる限り早くマークアップできます。このアプローチの欠点は、テストメッセージに管理aaamgrインスタンスを使用するため、問題が発生している可能性がある特定のaaamgrインスタンスに関連する問題が欠落することです。
このアプローチに関連するさまざまな設定を次に示します。
radius (accounting) detect-dead-server keepalive radius (accounting) keepalive interval 30 radius (accounting) keepalive retries 3 radius (accounting) keepalive timeout 3 radius (accounting) keepalive consecutive-response 1 radius (accounting) keepalive username Test-Username radius keepalive encrypted password 2ec59b3188f07d9b49f5ea4cc44d9586 radius (accounting) keepalive calling-station-id 000000000000000 radius keepalive valid-response access-accept
コマンド「radius (accounting) detect-dead-server keepalive」は、aamgrアプローチで連続した障害が発生する代わりに、キープアライブアプローチをオンにします。上記の例では、システムはユーザ名Test-UsernameとパスワードTest-Usernameを30秒ごとにテストメッセージを送信し、応答がない場合は3秒ごとに再試行し、最大3回の再試行を行った後にサーバがダウンします。最初の応答を受け取ると、再びバックアップをマークします。
上記の設定の認証要求/応答の例を次に示します。
<<<<OUTBOUND 17:50:12:657 Eventid:23901(6) RADIUS AUTHENTICATION Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1812 (142) PDU-dict=starent-vsa1 Code: 1 (Access-Request) Id: 16 Length: 142 Authenticator: 51 6D B2 7D 6A C6 9A 96 0C AB 44 19 66 2C 12 0A User-Name = Test-Username User-Password = B7 23 1F D1 86 46 4D 7F 8F E0 2A EF 17 A1 F3 BF Calling-Station-Id = 000000000000000 Service-Type = Framed Framed-Protocol = PPP NAS-IP-Address = 192.168.50.151 Acct-Session-Id = 00000000 NAS-Port-Type = HRPD 3GPP2-MIP-HA-Address = 255.255.255.255 3GPP2-Correlation-Id = 00000000 NAS-Port = 4294967295 Called-Station-ID = 00 INBOUND>>>>> 17:50:12:676 Eventid:23900(6) RADIUS AUTHENTICATION Rx PDU, from 192.168.50.200:1812 to 192.168.50.151:32783 (34) PDU-dict=starent-vsa1 Code: 2 (Access-Accept) Id: 16 Length: 34 Authenticator: 21 99 F4 4C F8 5D F8 28 99 C6 B8 D9 F9 9F 42 70 User-Password = testpassword
同じSNMPトラップを使用して、aaamgrアプローチの連続した障害と同様に、unreachable/downおよびreachable/up radiusの状態を示します。
Fri Feb 27 17:54:55 2009 Internal trap notification 39 (AAAAuthSvrUnreachable) server 1 ip address 192.168.50.200 Fri Feb 27 17:57:04 2009 Internal trap notification 40 (AAAAuthSvrReachable) server 1 ip address 192.168.50.200
「show radius counters all」には、認証およびアカウンティングのキープアライブ要求を追跡するためのセクションがあります。認証カウンタは次のとおりです。
Server-specific Keepalive Auth Counters --------------------------------------- Keepalive Access-Request Sent: 33 Keepalive Access-Request Retried: 3 Keepalive Access-Request Timeouts: 4 Keepalive Access-Accept Received: 29 Keepalive Access-Reject Received: 0 Keepalive Access-Response Bad Authenticator Received: 0 Keepalive Access-Response Malformed Received: 0 Keepalive Access-Response Malformed Attribute Received: 0 Keepalive Access-Response Unknown Type Received: 0 Keepalive Access-Response Dropped: 0
[local]CSE2# config [local]CSE2(config)# context aaa_ctx [aaa_ctx]ASR5000(config-ctx)# aaa group default [aaa_ctx]ASR5000(config-aaa-group)#
特定の名前付きaaaグループが使用されている場合、たとえば、次のような文がサブスクライバプロファイルまたはアプリケーションポイント名(APN)で設定されています。
subscriber name <subscriber name> aaa group <group name>
注:システムは最初に、サブスクライバに割り当てられている特定のaaaグループをチェックし、次にaaa group defaultをチェックして、特定のグループで定義されていない追加の設定を確認します。
さまざまなaaaグループ設定のすべての設定テーブルに割り当てられたすべての値を集約する便利なコマンドを次に示します。これにより、デフォルト値を含むすべての設定を手動で確認しなくても簡単に確認でき、特定の設定を想定する際に間違いを犯さないように役立つ場合があります。次のコマンドは、すべてのコンテキストでレポートされます。
show aaa group all show aaa group name <group name>
最も重要な設定は、radiusアクセスサーバとアカウンティングサーバ自体です。以下が一例です。
radius server 209.165.201.1 key testtesttesttest port 1645 priority 1 max-rate 5 radius server 209.165.201.2 key testtesttesttest port 1645 priority 2 max-rate 5 radius accounting server 209.165.201.1 key testtesttesttest port 1646 priority 1 radius accounting server 209.165.201.2 key testtesttesttest port 1646 priority 2
1秒あたりのサーバに送信される要求の数を制限するmax-rate機能に注意してください
また、NASのIPアドレスも定義する必要があります。NASのIPアドレスは、RADIUS要求の送信元のインターフェイス上のIPアドレスであり、応答を受信します。定義されていない場合、要求は送信されず、サブスクライバトレースをモニタしても明らかなエラーが発生しない可能性があります(RADIUS要求が送信されず、理由が表示されない)。
radius attribute nas-ip-address address 10.211.41.129
認証とアカウンティングの両方が同じサーバで処理されることが多いため、RADIUSサーバの認証トラフィックとアカウンティングトラフィックを区別するために異なるポート番号が使用されることに注意してください。ASR5K側では、UDP送信元ポート番号が指定されておらず、シャーシによってaamgrベースで選択されます(詳細は後述)。通常、冗長性を確保するために、複数のアクセスサーバとアカウンティングサーバが指定されます。ラウンドロビンまたは優先順位付けされた順序を設定できます。
radius [accounting] algorithm {first-server | round-robin}
first-serverオプションを指定すると、すべての要求が最も低い番号の優先度でサーバに送信されます。再試行の失敗が発生した場合、またはさらに悪い場合にのみ、サーバがマークダウンされ、次の優先度が試行されたサーバになります。詳細は以下をご覧ください。
RADIUS(アカウンティングまたはアクセス)要求が送信されると、応答が必要です。タイムアウト期間内(秒)に応答が受信されなかった場合:
radius [accounting] timeout 3
要求は指定された回数までに再送信されます。
radius [accounting] max-retries 5
つまり、要求は、試行されている特定のRADIUSサーバで放棄されるまで、max-retries + 1回の合計を送信できます。この時点で、次のRADIUSサーバに同じシーケンスを順に試行します。各サーバが応答なしでmax-retries + 1回試行された場合、その時点までに他に失敗の理由がないと仮定して、コールは拒否されます。
同様に、すべてのサーバにタイムアウトが発生して認証とアカウンティングが失敗した場合でも、ユーザがアクセスできる設定は可能ですが、商用の導入では実現できない可能性があります。
radius allow [accounting] authentication-down
また、設定されたすべてのサーバ間の特定の要求の送信総数を制限できる構成モジュールがあり、これらはデフォルトで無効になっています。
radius [accounting] max-transmissions 256
たとえば、これが設定されている場合は= 1です。セカンダリサーバが存在する場合でも、特定のサブスクライバセットアップに対して1回しか試行されないため、試行されることはありません。
各aaamgrプロセスは、関連するsessmgrプロセス(コール全体の処理を担当)とペアになり、「機能」します。また、異なるPacket Services Card(PSC)またはData Processing Card(DPC)に配置されますが、同じインスタンスIDを使用します。また、この出力例では、ASR 5000用のシステム管理カード(SMC)で実行されている特別なaaamgrインスタンス231(またはASR 5500用の管理入力出力カード)は、加入者要求を処理しませんが、radius testコマンドに使用されます(後述)。 CLIログイン処理。
このスニペットでは、PSC 13にあるaaamgr 107が、PSC 1にあるペアのsessmgr 107のすべてのRADIUS処理を処理します。aamgr 107の到達可能性の問題は、sessmgr 107のコールに影響します。
task cputime memory files sessions cpu facility inst used allc used alloc used allc used allc S status ----------------------- --------- ------------- --------- ------------- ----- 1/0 sessmgr 107 1.6% 100% 119.6M 155.0M 26 500 83 6600 I good 13/1 aaamgr 107 0.3% 94% 30.8M 77.0M 18 500 -- -- - good 8/0 aaamgr 231 0.1% 30% 11.6M 25.0M 19 500 -- -- - good
task cputime memory files sessions cpu facility inst used allc used alloc used allc used allc S status ----------------------- --------- ------------- --------- ------------- ------ 12/0 sessmgr 92 1.2% 100% 451.5M 1220M 43 500 643 21120 I good 16/0 aaamgr 92 0.0% 95% 119.0M 315.0M 20 500 -- -- - good 12/0 sessmgr 95 6.9% 100% 477.3M 1220M 41 500 2626 21120 I good 12/0 sessmgr 105 7.7% 100% 600.5M 1220M 45 500 2626 21120 I good 12/0 sessmgr 126 3.4% 100% 483.0M 1220M 44 500 2625 21120 I good 12/0 sessmgr 131 8.1% 100% 491.7M 1220M 45 500 2627 21120 I good
よく知られているコマンドの数は、「show radius counters」の種類です
radius max-retries 3 radius server 192.168.50.200 encrypted key 01abd002c82b4a2c port 1812 priority 1 radius server 192.168.50.250 encrypted key 01abd002c82b4a2c port 1812 priority 2 [destination]CSE2# show radius counters all Server-specific Authentication Counters --------------------------------------- Authentication server address 192.168.50.200, port 1812: Access-Request Sent: 1 Access-Request with DMU Attributes Sent: 0 Access-Request Pending: 0 Access-Request Retried: 3 Access-Request with DMU Attributes Retried: 0 Access-Challenge Received: 0 Access-Accept Received: 0 Access-Reject Received: 0 Access-Reject Received with DMU Attributes: 0 Access-Request Timeouts: 1 Access-Request Current Consecutive Failures in a mgr: 1 Access-Request Response Bad Authenticator Received: 0 Access-Request Response Malformed Received: 0 Access-Request Response Malformed Attribute Received: 0 Access-Request Response Unknown Type Received: 0 Access-Request Response Dropped: 0 Access-Request Response Last Round Trip Time: 0.0 ms Access-Request Response Average Round Trip Time: 0.0 ms
Current Access-Request Queued: 0 ... Authentication server address 192.168.50.250, port 1812: Access-Request Sent: 1 Access-Request with DMU Attributes Sent: 0 Access-Request Pending: 0 Access-Request Retried: 3 Access-Request with DMU Attributes Retried: 0 Access-Challenge Received: 0 Access-Accept Received: 0 Access-Reject Received: 0 Access-Reject Received with DMU Attributes: 0 Access-Request Timeouts: 1 Access-Request Current Consecutive Failures in a mgr: 1 Access-Request Response Bad Authenticator Received: 0 Access-Request Response Malformed Received: 0 Access-Request Response Malformed Attribute Received: 0 Access-Request Response Unknown Type Received: 0 Access-Request Response Dropped: 0 Access-Request Response Last Round Trip Time: 0.0 ms Access-Request Response Average Round Trip Time: 0.0 ms
Current Access-Request Queued: 0
タイムアウトは失敗としてカウントされないことに注意してください。タイムアウトが発生した場合、受信したAccess-Acceptと受信したAccess-Rejectの数は、Access-Request Sentに加算されません。
これらのカウンタの分析は、完全に単純ではない可能性があります。 たとえば、モバイルIP(MIP)プロトコルの場合、認証に失敗するため、MIP登録応答(RRP)は送信されず、モバイルはMIP RRPを受信していないため、新しいMIP登録要求(RRQ)を開始し続ける可能性があります。新しいMIP RRQが発行されるたびに、PDSNは新しい認証要求を送信します。この要求は、それ自体が一連の再試行を行うことができます。これは、パケットトレースの先頭にあるIdフィールドで確認できます。これは、一連の再試行ごとに一意です。その結果、Sent、Retried、およびTimeoutのカウンタは、受信したコールの数に対して予想をはるかに上回る可能性があります。これらの余分な再試行を最小限に抑えるために有効にできるオプションがあり、外部エージェント(FA)(ただしホームエージェント(HA)サービスでは設定できません。"authentication mn-aaa <6選択肢はこちら> optimize-retries"
AAA Unreachableが報告される最も一般的なシナリオは、アクセスタイムアウトや応答ドロップが発生しているのに、アクセスレスポンスが要求に対応していないことです。
専用技術サポートモードにアクセスできる場合は、aaamgrインスタンスレベルでさらに調査を行い、特定のaaamgrsが全体の「悪い」カウントの増加の原因であるかどうかを判断できます。たとえば、特定のPSC/DPCに配置されているaaamgrsや、問題のある単一のaaamgrやランダムなaaamgrsを探します – パターンを探します。すべてまたはほとんどのaaamgrsに問題がある場合、根本原因がシャーシの外部にあるか、またはシャーシ上で大規模であることを示す可能性が高くなります。その場合、一般的なヘルスチェックを行う必要があります。
アカウンティング用の特定のaaamgrに関する問題を示す出力例を次に示します。(この問題は、特定のaamgrインスタンス(114)ポートからのトラフィックをブロックしていたASR5KとRADIUSサーバ間のファイアウォールの不具合であることが判明しました)。 3週間の間に受信された応答はわずか48個ですが、10万件以上のタイムアウトが発生しています(再送信は含まれません)。
[source]PDSN> show radius counters server 209.165.201.1 instance 114 | grep -E "Accounting-Request Sent|Accounting-Response Received|Accounting-Request Timeouts" Wednesday October 01 18:12:24 UTC 2014 Accounting-Request Sent: 14306189 Accounting-Response Received: 14299843 Accounting-Request Timeouts: 6342 [source]PDSN> show radius counters server 209.165.201.1 instance 114 | grep -E "Accounting server address|Accounting-Request Sent|Accounting-Response Received|Accounting-Request Timeouts" Wednesday October 22 20:26:35 UTC 2014 Accounting server address 209.165.201.1, port 1646: Accounting-Request Sent: 15105872 Accounting-Response Received: 14299891 Accounting-Request Timeouts: 158989 [source]PDSN> show radius counters server 209.165.201.1 instance 114 | grep Accounting Wednesday October 22 20:33:09 UTC 2014 Per-Context RADIUS Accounting Counters Accounting Response Server-specific Accounting Counters Accounting server address 209.165.201.1, port 1646: Accounting-Request Sent: 15106321 Accounting-Start Sent: 7950140 Accounting-Stop Sent: 7156129 Accounting-Interim Sent: 52 Accounting-On Sent: 0 Accounting-Off Sent: 0 Accounting-Request Pending: 3 Accounting-Request Retried: 283713 Accounting-Start Retried: 279341 Accounting-Stop Retried: 4372 Accounting-Interim Retried: 0 Accounting-On Retried: 0 Accounting-Off Retried: 0 Accounting-Response Received: 14299891 Accounting-Request Timeouts: 159000 Accounting-Request Current Consecutive Failures in a mgr: 11 Accounting-Response Bad Response Received: 0 Accounting-Response Malformed Received: 0 Accounting-Response Unknown Type Received: 0 Accounting-Response Dropped: 21 Accounting-Response Last Round Trip Time: 52.5 ms Accounting-Response Average Round Trip Time: 49.0 ms Accounting Total G1 (Acct-Output-Octets): 4870358614798 Accounting Total G2 (Acct-Input-Octets): 714140547011 Current Accounting-Request Queued: 17821
[source]PDSN> show session subsystem facility aaamgr instance 36 Wednesday September 10 08:51:18 UTC 2014 AAAMgr: Instance 36 39947440 Total aaa requests 17985 Current aaa requests 24614090 Total aaa auth requests 0 Current aaa auth requests 0 Total aaa auth probes 0 Current aaa auth probes 0 Total aaa aggregation requests 0 Current aaa aggregation requests 0 Total aaa auth keepalive 0 Current aaa auth keepalive 15171628 Total aaa acct requests 17985 Current aaa acct requests 0 Total aaa acct keepalive 0 Current aaa acct keepalive 20689536 Total aaa auth success 1322489 Total aaa auth failure 86719 Total aaa auth purged 1016 Total aaa auth cancelled 0 Total auth keepalive success 0 Total auth keepalive failure 0 Total auth keepalive purged 0 Total aaa aggregation success requests 0 Total aaa aggregation failure requests 0 Total aaa aggregation purged requests 15237 Total aaa auth DMU challenged 17985/70600 aaa request (used/max) 14 Total diameter auth responses dropped 6960270 Total Diameter auth requests 0 Current Diameter auth requests 23995 Total Diameter auth requests retried 52 Total Diameter auth requests dropped 9306676 Total radius auth requests 0 Current radius auth requests 0 Total radius auth requests retried 988 Total radius auth responses dropped 13 Total local auth requests 0 Current local auth requests 8500275 Total pseudo auth requests 0 Current pseudo auth requests 8578 Total null-username auth requests (rejected) 0 Total aggregation responses dropped 15073834 Total aaa acct completed 79763 Total aaa acct purged <== If issue started recently, this may not have yet started incrementing 0 Total acct keepalive success 0 Total acct keepalive timeout 0 Total acct keepalive purged 4 CLI Test aaa acct purged 0 IP Interface down aaa acct purged 0 No Radius Server found aaa acct purged 0 No Response aaa acct purged 14441090 Total acct sess alloc 14422811 Total acct sess delete 18279 Current acct sessions 0 Auth No Wait Suppressed 0 Aggr No Wait Suppressed 0 Disc No Wait Suppressed 0 Start No Wait Suppressed 0 Interim No Wait Suppressed 0 Stop No Wait Suppressed 0 Acct OnOff Custom14 0 Acct OnOff Custom67 0 Acct OnOff 0 Recovery Str Suppressed 0 Recovery Stop Suppressed 0 Med Chrg Gtpp Suppressed 0 Med Chrg Radius Suppressed 0 Radius Probe Trigger 0 Recovery Stop Acct Session Suppressed 46 Total aaa acct cancelled 0 Total Diameter acct requests 0 Current Diameter acct requests 0 Total Diameter acct requests retried 0 Total diameter acct requests dropped 0 Total diameter acct responses dropped 0 Total diameter acct cancelled 0 Total diameter acct purged 15171628 Total radius acct requests 17985 Current radius acct requests 46 Total radius acct cancelled 79763 Total radius acct purged 11173 Total radius acct requests retried 49 Total radius acct responses dropped 0 Total radius sec acct requests 0 Current radius sec acct requests 0 Total radius sec acct cancelled 0 Total radius sec acct purged 0 Total radius sec acct requests retried 0 Total gtpp acct requests 0 Current gtpp acct requests 0 Total gtpp acct cancelled 0 Total gtpp acct purged 0 Total gtpp sec acct requests 0 Total gtpp sec acct purged 0 Total null acct requests 0 Current null acct requests 16218236 Total aaa acct sessions 21473 Current aaa acct sessions 8439 Total aaa acct archived 2 Current aaa acct archived 21473 Current recovery archives 4724 Current valid recovery records 1 Total aaa sockets opened 1 Current aaa sockets opened 1 Total aaa requests pend socket opened 0 Current aaa requests pend socket open 133227 Total radius requests pend server max-outstanding 17982 Current radius requests pend server max-outstanding 0 Total radius auth req queued server max-rate 0 Max radius auth req queued server max-rate 0 Current radius auth req queued server max-rate 0 Total radius acct req queued server max-rate 0 Max radius acct req queued server max-rate 0 Current radius acct req queued server max-rate 0 Total radius charg auth req queued server max-rate 0 Max radius charg auth req queued server max-rate 0 Current radius charg auth req queued server max-rate 0 Total radius charg acct req queued server max-rate 0 Max radius charg acct req queued server max-rate 0 Current radius charg acct req queued server max-rate 0 Total aaa radius coa requests 0 Total aaa radius dm requests 0 Total aaa radius coa acks 0 Total aaa radius dm acks 0 Total aaa radius coa naks 0 Total aaa radius dm naks 0 Total radius charg auth 0 Current radius charg auth 0 Total radius charg auth success 0 Total radius charg auth failure 0 Total radius charg auth purged 0 Total radius charg auth cancelled 0 Total radius charg acct 0 Current radius charg acct 0 Total radius charg acct success 0 Total radius charg acct purged 0 Total radius charg acct cancelled 0 Total gtpp charg 0 Current gtpp charg 0 Total gtpp charg success 0 Total gtpp charg failure 0 Total gtpp charg cancelled 0 Total gtpp charg purged 0 Total gtpp sec charg 0 Total gtpp sec charg purged 161722 Total prepaid online requests 0 Current prepaid online requests 141220 Total prepaid online success 20392 Current prepaid online failure 0 Total prepaid online retried 102 Total prepaid online cancelled 8 Current prepaid online purged ... [source]PDSN> show session subsystem facility aaamgr instance 37 Wednesday September 10 08:51:28 UTC 2014 AAAMgr: Instance 37 39571859 Total aaa requests 0 Current aaa requests 24368622 Total aaa auth requests 0 Current aaa auth requests 0 Total aaa auth probes 0 Current aaa auth probes 0 Total aaa aggregation requests 0 Current aaa aggregation requests 0 Total aaa auth keepalive 0 Current aaa auth keepalive 15043217 Total aaa acct requests 0 Current aaa acct requests 0 Total aaa acct keepalive 0 Current aaa acct keepalive 20482618 Total aaa auth success 1309507 Total aaa auth failure 85331 Total aaa auth purged 968 Total aaa auth cancelled 0 Total auth keepalive success 0 Total auth keepalive failure 0 Total auth keepalive purged 0 Total aaa aggregation success requests 0 Total aaa aggregation failure requests 0 Total aaa aggregation purged requests 15167 Total aaa auth DMU challenged 1/70600 aaa request (used/max) 41 Total diameter auth responses dropped 6883765 Total Diameter auth requests 0 Current Diameter auth requests 23761 Total Diameter auth requests retried 37 Total Diameter auth requests dropped 9216203 Total radius auth requests 0 Current radius auth requests 0 Total radius auth requests retried 927 Total radius auth responses dropped 15 Total local auth requests 0 Current local auth requests 8420022 Total pseudo auth requests 0 Current pseudo auth requests 8637 Total null-username auth requests (rejected) 0 Total aggregation responses dropped 15043177 Total aaa acct completed 0 Total aaa acct purged 0 Total acct keepalive success 0 Total acct keepalive timeout 0 Total acct keepalive purged 0 CLI Test aaa acct purged 0 IP Interface down aaa acct purged 0 No Radius Server found aaa acct purged 0 No Response aaa acct purged 14358245 Total acct sess alloc 14356293 Total acct sess delete 1952 Current acct sessions 0 Auth No Wait Suppressed 0 Aggr No Wait Suppressed 0 Disc No Wait Suppressed 0 Start No Wait Suppressed 0 Interim No Wait Suppressed 0 Stop No Wait Suppressed 0 Acct OnOff Custom14 0 Acct OnOff Custom67 0 Acct OnOff 0 Recovery Str Suppressed 0 Recovery Stop Suppressed 0 Med Chrg Gtpp Suppressed 0 Med Chrg Radius Suppressed 0 Radius Probe Trigger 0 Recovery Stop Acct Session Suppressed 40 Total aaa acct cancelled 0 Total Diameter acct requests 0 Current Diameter acct requests 0 Total Diameter acct requests retried 0 Total diameter acct requests dropped 0 Total diameter acct responses dropped 0 Total diameter acct cancelled 0 Total diameter acct purged 15043217 Total radius acct requests 0 Current radius acct requests 40 Total radius acct cancelled 0 Total radius acct purged 476 Total radius acct requests retried 37 Total radius acct responses dropped 0 Total radius sec acct requests 0 Current radius sec acct requests 0 Total radius sec acct cancelled 0 Total radius sec acct purged 0 Total radius sec acct requests retried 0 Total gtpp acct requests 0 Current gtpp acct requests 0 Total gtpp acct cancelled 0 Total gtpp acct purged 0 Total gtpp sec acct requests 0 Total gtpp sec acct purged 0 Total null acct requests 0 Current null acct requests 16057760 Total aaa acct sessions 4253 Current aaa acct sessions 14 Total aaa acct archived 0 Current aaa acct archived 4253 Current recovery archives 4249 Current valid recovery records 1 Total aaa sockets opened 1 Current aaa sockets opened 1 Total aaa requests pend socket opened 0 Current aaa requests pend socket open 29266 Total radius requests pend server max-outstanding 0 Current radius requests pend server max-outstanding 0 Total radius auth req queued server max-rate 0 Max radius auth req queued server max-rate 0 Current radius auth req queued server max-rate 0 Total radius acct req queued server max-rate 0 Max radius acct req queued server max-rate 0 Current radius acct req queued server max-rate 0 Total radius charg auth req queued server max-rate 0 Max radius charg auth req queued server max-rate 0 Current radius charg auth req queued server max-rate 0 Total radius charg acct req queued server max-rate 0 Max radius charg acct req queued server max-rate 0 Current radius charg acct req queued server max-rate 0 Total aaa radius coa requests 0 Total aaa radius dm requests 0 Total aaa radius coa acks 0 Total aaa radius dm acks 0 Total aaa radius coa naks 0 Total aaa radius dm naks 0 Total radius charg auth 0 Current radius charg auth 0 Total radius charg auth success 0 Total radius charg auth failure 0 Total radius charg auth purged 0 Total radius charg auth cancelled 0 Total radius charg acct 0 Current radius charg acct 0 Total radius charg acct success 0 Total radius charg acct purged 0 Total radius charg acct cancelled 0 Total gtpp charg 0 Current gtpp charg 0 Total gtpp charg success 0 Total gtpp charg failure 0 Total gtpp charg cancelled 0 Total gtpp charg purged 0 Total gtpp sec charg 0 Total gtpp sec charg purged 160020 Total prepaid online requests 0 Current prepaid online requests 139352 Total prepaid online success 20551 Current prepaid online failure ... [source]PDSN> show session subsystem facility aaamgr instance 36 Wednesday September 10 09:12:13 UTC 2014 AAAMgr: Instance 36 39949892 Total aaa requests 17980 Current aaa requests 24615615 Total aaa auth requests 0 Current aaa auth requests 0 Total aaa auth probes 0 Current aaa auth probes 0 Total aaa aggregation requests 0 Current aaa aggregation requests 0 Total aaa auth keepalive 0 Current aaa auth keepalive 15172543 Total aaa acct requests 17980 Current aaa acct requests 0 Total aaa acct keepalive 0 Current aaa acct keepalive 20690768 Total aaa auth success 1322655 Total aaa auth failure 86728 Total aaa auth purged 1016 Total aaa auth cancelled 0 Total auth keepalive success 0 Total auth keepalive failure 0 Total auth keepalive purged 0 Total aaa aggregation success requests 0 Total aaa aggregation failure requests 0 Total aaa aggregation purged requests 15242 Total aaa auth DMU challenged 17981/70600 aaa request (used/max) 14 Total diameter auth responses dropped 6960574 Total Diameter auth requests 0 Current Diameter auth requests 23999 Total Diameter auth requests retried 52 Total Diameter auth requests dropped 9307349 Total radius auth requests 0 Current radius auth requests 0 Total radius auth requests retried 988 Total radius auth responses dropped 13 Total local auth requests 0 Current local auth requests 8500835 Total pseudo auth requests 0 Current pseudo auth requests 8578 Total null-username auth requests (rejected) 0 Total aggregation responses dropped 15074358 Total aaa acct completed 80159 Total aaa acct purged 0 Total acct keepalive success 0 Total acct keepalive timeout 0 Total acct keepalive purged 4 CLI Test aaa acct purged 0 IP Interface down aaa acct purged 0 No Radius Server found aaa acct purged 0 No Response aaa acct purged 14441768 Total acct sess alloc 14423455 Total acct sess delete 18313 Current acct sessions 0 Auth No Wait Suppressed 0 Aggr No Wait Suppressed 0 Disc No Wait Suppressed 0 Start No Wait Suppressed 0 Interim No Wait Suppressed 0 Stop No Wait Suppressed 0 Acct OnOff Custom14 0 Acct OnOff Custom67 0 Acct OnOff 0 Recovery Str Suppressed 0 Recovery Stop Suppressed 0 Med Chrg Gtpp Suppressed 0 Med Chrg Radius Suppressed 0 Radius Probe Trigger 0 Recovery Stop Acct Session Suppressed 46 Total aaa acct cancelled 0 Total Diameter acct requests 0 Current Diameter acct requests 0 Total Diameter acct requests retried 0 Total diameter acct requests dropped 0 Total diameter acct responses dropped 0 Total diameter acct cancelled 0 Total diameter acct purged 15172543 Total radius acct requests 17980 Current radius acct requests 46 Total radius acct cancelled 80159 Total radius acct purged 11317 Total radius acct requests retried 49 Total radius acct responses dropped 0 Total radius sec acct requests 0 Current radius sec acct requests 0 Total radius sec acct cancelled 0 Total radius sec acct purged 0 Total radius sec acct requests retried 0 Total gtpp acct requests 0 Current gtpp acct requests 0 Total gtpp acct cancelled 0 Total gtpp acct purged 0 Total gtpp sec acct requests 0 Total gtpp sec acct purged 0 Total null acct requests 0 Current null acct requests 16219251 Total aaa acct sessions 21515 Current aaa acct sessions 8496 Total aaa acct archived 0 Current aaa acct archived 21515 Current recovery archives 4785 Current valid recovery records 1 Total aaa sockets opened 1 Current aaa sockets opened 1 Total aaa requests pend socket opened 0 Current aaa requests pend socket open 133639 Total radius requests pend server max-outstanding 17977 Current radius requests pend server max-outstanding ...
[Ingress]PGW# show session subsystem facility aaamgr all Tuesday January 10 04:42:29 UTC 2012 4695 Total aaa auth purged 4673 Total radius auth requests 16 Current radius auth requests 4167 Total radius requests pend server max-outstanding 76 Current radius requests pend server max-outstanding [Ingress]PGW# show session subsystem facility aaamgr all | grep "max-outstanding" Tuesday January 10 04:51:00 UTC 2012 4773 Total radius requests pend server max-outstanding 67 Current radius requests pend server max-outstanding [Ingress]PGW# show session subsystem facility aaamgr all | grep "max-outstanding" Tuesday January 10 04:56:10 UTC 2012 5124 Total radius requests pend server max-outstanding 81 Current radius requests pend server max-outstanding [Ingress]PGW# show session subsystem facility aaamgr instance 92 Tuesday January 10 04:57:03 UTC 2012 5869 Total aaa auth purged 5843 Total radius auth requests 12 Current radius auth requests 5170 Total radius requests pend server max-outstanding 71 Current radius requests pend server max-outstanding [Ingress]PGW# show session subsystem facility aaamgr instance 92 Tuesday January 10 05:10:05 UTC 2012 6849 Total aaa auth purged 6819 Total radius auth requests 6 Current radius auth requests 5981 Total radius requests pend server max-outstanding 68 Current radius requests pend server max-outstanding [Ingress]PGW# show session subsystem facility aaamgr all | grep "max-outstanding" Tuesday January 10 05:44:22 UTC 2012 71 Total radius requests pend server max-outstanding 0 Current radius requests pend server max-outstanding 61 Total radius requests pend server max-outstanding 0 Current radius requests pend server max-outstanding 7364 Total radius requests pend server max-outstanding <== instance #92 68 Current radius requests pend server max-outstanding 89 Total radius requests pend server max-outstanding 0 Current radius requests pend server max-outstanding 74 Total radius requests pend server max-outstanding 0 Current radius requests pend server max-outstanding [Ingress]PGW#radius test instance 92 auth server 65.175.1.10 port 1645 test test Tuesday January 10 06:13:38 UTC 2012 Authentication from authentication server 65.175.1.10, port 1645 Communication Failure: No response received
ICMP pingは、基本的な接続をテストして、AAAサーバに到達できるかどうかを確認します。ネットワークによってはsrcキーワードを使用してpingを送信する必要があり、値を持つためにはAAAコンテキストからpingを実行する必要があります。サーバへのpingが失敗した場合は、コンテキスト内のネクストホップアドレスを含む中間要素にpingを実行し、pingが失敗した場合にネクストホップアドレスへのARPエントリがあることを確認します。tracerouteは、ルーティングの問題にも役立ちます。
[source]CSE2# ping 192.168.50.200 PING 192.168.50.200 (192.168.50.200) 56(84) bytes of data. 64 bytes from 192.168.50.200: icmp_seq=1 ttl=64 time=0.411 ms 64 bytes from 192.168.50.200: icmp_seq=2 ttl=64 time=0.350 ms 64 bytes from 192.168.50.200: icmp_seq=3 ttl=64 time=0.353 ms 64 bytes from 192.168.50.200: icmp_seq=4 ttl=64 time=0.321 ms 64 bytes from 192.168.50.200: icmp_seq=5 ttl=64 time=0.354 ms --- 192.168.50.200 ping statistics --- 5 packets transmitted, 5 received, 0% packet loss, time 4000ms rtt min/avg/max/mdev = 0.321/0.357/0.411/0.037 ms
このコマンドは、基本的な認証要求またはアカウンティングの開始要求と停止要求を送信し、応答を待ちます。認証には、任意のユーザ名とパスワードを使用します。この場合は、reject応答が必要で、RADIUSが設計どおりに動作していることを確認します。あるいは、既知の動作ユーザ名とパスワードを使用して、accept応答を受信します
次に、モニタプロトコルからの出力例を示し、ラボシャーシでコマンドの認証バージョンを実行します。[source]CSE2# radius test authentication server 192.168.50.200 port 1812 test test Authentication from authentication server 192.168.50.200, port 1812 Authentication Success: Access-Accept received Round-trip time for response was 12.3 ms <<<<OUTBOUND 14:53:49:202 Eventid:23901(6) RADIUS AUTHENTICATION Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1812 (58) PDU-dict=starent-vsa1 Code: 1 (Access-Request) Id: 5 Length: 58 Authenticator: 56 97 57 9C 51 EF A4 08 20 E1 14 89 40 DE 0B 62 User-Name = test User-Password = 49 B0 92 4D DC 64 49 BA B0 0E 18 36 3F B6 1B 37 NAS-IP-Address = 192.168.50.151 NAS-Identifier = source INBOUND>>>>> 14:53:49:214 Eventid:23900(6) RADIUS AUTHENTICATION Rx PDU, from 192.168.50.200:1812 to 192.168.50.151:32783 (34) PDU-dict=starent-vsa1 Code: 2 (Access-Accept) Id: 5 Length: 34 Authenticator: D7 94 1F 18 CA FE B4 27 17 75 5C 99 9F A8 61 78 User-Password = testpasswordライブシャーシの例を次に示します。
<<<<OUTBOUND 12:45:49:869 Eventid:23901(6) RADIUS AUTHENTICATION Tx PDU, from 10.209.28.200:33156 to 209.165.201.1:1645 (72) PDU-dict=custom150 Code: 1 (Access-Request) Id: 6 Length: 72 Authenticator: 67 C2 2B 3E 29 5E A5 28 2D FB 85 CA 0E 9F A4 17 User-Name = test User-Password = 8D 95 3B 31 99 E2 6A 24 1F 81 13 00 3C 73 BC 53 NAS-IP-Address = 10.209.28.200 NAS-Identifier = source 3GPP2-Session-Term-Capability = Both_Dynamic_Auth_And_Reg_Revocation_in_MIP INBOUND>>>>> 12:45:49:968 Eventid:23900(6) RADIUS AUTHENTICATION Rx PDU, from 209.165.201.1:1645 to 10.209.28.200:33156 (50) PDU-dict=custom150 Code: 3 (Access-Reject) Id: 6 Length: 50 Authenticator: 99 2E EC DA ED AD 18 A9 86 D4 93 52 57 4C 2F 84 Reply-Message = Invalid username or password
次に、コマンドのアカウンティングバージョンを実行した場合の出力例を示します。パスワードは不要です。
[source]CSE2# radius test accounting server 192.168.50.200 port 1813 test RADIUS Start to accounting server 192.168.50.200, port 1813 Accounting Success: response received Round-trip time for response was 7.9 ms RADIUS Stop to accounting server 192.168.50.200, port 1813 Accounting Success: response received Round-trip time for response was 15.4 ms <<<<OUTBOUND 15:23:14:974 Eventid:24901(6) RADIUS ACCOUNTING Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1813 (62) PDU-dict=starent-vsa1 Code: 4 (Accounting-Request) Id: 8 Length: 62 Authenticator: DA 0F A8 11 7B FE 4B 1A 56 EB 0D 49 8C 17 BD F6 User-Name = test NAS-IP-Address = 192.168.50.151 Acct-Status-Type = Start Acct-Session-Id = 00000000 NAS-Identifier = source Acct-Session-Time = 0
INBOUND>>>>> 15:23:14:981 Eventid:24900(6) RADIUS ACCOUNTING Rx PDU, from 192.168.50.200:1813 to 192.168.50.151:32783 (20) PDU-dict=starent-vsa1 Code: 5 (Accounting-Response) Id: 8 Length: 20 Authenticator: 05 E2 82 29 45 FC BC D6 6C 48 63 AA 14 9D 47 5B <<<<OUTBOUND 15:23:14:983 Eventid:24901(6) RADIUS ACCOUNTING Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1813 (62) PDU-dict=starent-vsa1 Code: 4 (Accounting-Request) Id: 9 Length: 62 Authenticator: 29 DB F1 0B EC CE 68 DB C7 4D 60 E4 7F A2 D0 3A User-Name = test NAS-IP-Address = 192.168.50.151 Acct-Status-Type = Stop Acct-Session-Id = 00000000 NAS-Identifier = source Acct-Session-Time = 0 INBOUND>>>>> 15:23:14:998 Eventid:24900(6) RADIUS ACCOUNTING Rx PDU, from 192.168.50.200:1813 to 192.168.50.151:32783 (20) PDU-dict=starent-vsa1 Code: 5 (Accounting-Response) Id: 9 Length: 20 Authenticator: D8 3D EF 67 EA 75 E0 31 A5 31 7F E8 7E 69 73 DC
次の出力は、特定のRADIUSアカウンティングサーバへの接続が切断されている前述の同じaamgrインスタンス36に対するものです。
[source]PDSN> radius test instance 36 accounting all test Wednesday September 10 10:06:29 UTC 2014 RADIUS Start to accounting server 209.165.201.1, port 1646 Accounting Success: response received Round-trip time for response was 51.2 ms RADIUS Stop to accounting server 209.165.201.1, port 1646 Accounting Success: response received Round-trip time for response was 46.2 ms RADIUS Start to accounting server 209.165.201.2, port 1646 Accounting Success: response received Round-trip time for response was 89.3 ms RADIUS Stop to accounting server 209.165.201.2, port 1646 Accounting Success: response received Round-trip time for response was 87.8 ms RADIUS Start to accounting server 209.165.201.3, port 1646 Communication Failure: no response received RADIUS Stop to accounting server 209.165.201.3, port 1646 Communication Failure: no response received RADIUS Start to accounting server 209.165.201.4, port 1646 Accounting Success: response received Round-trip time for response was 81.6 ms RADIUS Stop to accounting server 209.165.201.4, port 1646 Accounting Success: response received Round-trip time for response was 77.1 ms RADIUS Start to accounting server 209.165.201.5, port 1646 Accounting Success: response received Round-trip time for response was 46.7 ms RADIUS Stop to accounting server 209.165.201.5, port 1646 Accounting Success: response received Round-trip time for response was 46.7 ms RADIUS Start to accounting server 209.165.201.6, port 1646 Accounting Success: response received Round-trip time for response was 79.6 ms RADIUS Stop to accounting server 209.165.201.6, port 1646 Accounting Success: response received Round-trip time for response was 10113.0 ms
[source]PDSN> show radius info radius group all instance 114 Wednesday October 01 11:39:15 UTC 2014 Context source: --------------------------------------------- AAAMGR instance 114: cb-list-en: 1 AAA Group: aaa-roamingprovider.com --------------------------------------------- Authentication servers: --------------------------------------------- Primary authentication server address 209.165.201.1, port 1645 state Active priority 1 requests outstanding 0 max requests outstanding 3 consecutive failures 0 Secondary authentication server address 209.165.201.2, port 1645 state Active priority 2 requests outstanding 0 max requests outstanding 3 consecutive failures 0 Accounting servers: --------------------------------------------- Primary accounting server address 209.165.201.1, port 1646 state Active priority 1 requests outstanding 0 max requests outstanding 3 consecutive failures 0 Secondary accounting server address 209.165.201.2, port 1646 state Active priority 2 requests outstanding 0 max requests outstanding 3 consecutive failures 0 AAAMGR instance 114: cb-list-en: 1 AAA Group: aaa-maingroup.com --------------------------------------------- Authentication servers: --------------------------------------------- Primary authentication server address 209.165.201.3, port 1645 state Active priority 1 requests outstanding 0 max requests outstanding 3 consecutive failures 0 Secondary authentication server address 209.165.201.4, port 1645 state Active priority 2 requests outstanding 0 max requests outstanding 3 consecutive failures 0 Accounting servers: --------------------------------------------- Primary accounting server address 209.165.201.3, port 1646 state Down priority 1 requests outstanding 3 max requests outstanding 3 consecutive failures 7 dead time expires in 146 seconds Secondary accounting server address 209.165.201.4, port 1646 state Active priority 2 requests outstanding 0 max requests outstanding 3 consecutive failures 0 AAAMGR instance 114: cb-list-en: 1 AAA Group: default --------------------------------------------- socket number: 388550648 socket state: ready local ip address: 10.210.21.234 local udp port: 25808 flow id: 20425379 use med interface: yes VRF context ID: 2 Authentication servers: --------------------------------------------- Primary authentication server address 209.165.201.5, port 1645 state Active priority 1 requests outstanding 0 max requests outstanding 3 consecutive failures 0 Secondary authentication server address 209.165.201.6, port 1645 state Not Responding priority 2 requests outstanding 0 max requests outstanding 3 consecutive failures 0 Accounting servers: --------------------------------------------- Primary accounting server address 209.165.201.5, port 1646 state Active priority 1 requests outstanding 0 max requests outstanding 3 consecutive failures 0 Secondary accounting server address 209.165.201.6, port 1646 state Active priority 2 requests outstanding 0 max requests outstanding 3 consecutive failures 0 [source]PDSN>
Incoming Call: ---------------------------------------------------------------------- MSID/IMSI : Callid : 2719afb2 IMEI : n/a MSISDN : n/a Username : 6667067222@cisco.com SessionType : ha-mobile-ip Status : Active Service Name: HAService Src Context : source ---------------------------------------------------------------------- *** Sender Info (ON ) *** Thursday June 11 2015 INBOUND>>>>> From sessmgr:132 sessmgr_ha.c:861 (Callid 2719afb2) 15:42:35:742 Eventid:26000(3) MIP Rx PDU, from 203.0.113.11:434 to 203.0.113.1:434 (190) Message Type: 0x01 (Registration Request) Flags: 0x02 Lifetime: 0x1C20 Home Address: 0.0.0.0 Home Agent Address: 255.255.255.255 Thursday June 11 2015 <<<<OUTBOUND From aaamgr:132 aaamgr_radius.c:367 (Callid 2719afb2) 15:42:35:743 Eventid:23901(6) RADIUS AUTHENTICATION Tx PDU, from 203.0.113.1:59933 to 209.165.201.3:1645 (301) PDU-dict=custom9 Code: 1 (Access-Request) Id: 12 Length: 301 Thursday June 11 2015 INBOUND>>>>> From aaamgr:132 aaamgr_radius.c:1999 (Callid 2719afb2) 15:42:35:915 Eventid:23900(6) RADIUS AUTHENTICATION Rx PDU, from 209.165.201.3:1645 to 203.0.113.1:59933 (156) PDU-dict=custom9 Code: 2 (Access-Accept) Id: 12 Thursday June 11 2015 <<<<OUTBOUND From sessmgr:132 mipha_fsm.c:6617 (Callid 2719afb2) 15:42:36:265 Eventid:26001(3) MIP Tx PDU, from 203.0.113.1:434 to 203.0.113.11:434 (112) Message Type: 0x03 (Registration Reply) Code: 0x00 (Accepted) Lifetime: 0x1C20 Home Address: 10.229.6.167
接続の問題ではなく、アカウンティングトラフィックの増加の問題である場合があります。これはRADIUSパーシーの問題ではなく、より多くのアカウンティングの開始と停止を引き起こすppp再ネゴシエーションの増加などの別のエリアを指します。したがって、RADIUS以外のトラブルシューティングを行って、観察されている症状の原因またはトリガーを見つける必要がある場合があります。
トラブルシューティングプロセス中に、何らかの理由でRADIUS認証サーバまたはアカウンティングサーバをライブサーバのリストから削除すると決定された場合は、サービスを再開する必要があるまでサーバを無期限に停止する(non-config)コマンドがあります。これは、手動で設定から削除する方法よりも明確な方法です。
{無効化 | enable} radius [accounting] server x.x.x.x
[source]CSE2# show radius authentication servers detail +-----Type: (A) - Authentication (a) - Accounting | (C) - Charging (c) - Charging Accounting | (M) - Mediation (m) - Mediation Accounting | |+----Preference: (P) - Primary (S) - Secondary || ||+---State: (A) - Active (N) - Not Responding ||| (D) - Down (W) - Waiting Accounting-On ||| (I) - Initializing (w) - Waiting Accounting-Off ||| (a) - Active Pending (U) - Unknown ||| |||+--Admin (E) - Enabled (D) - Disabled |||| Status: |||| ||||+-Admin ||||| status (O) - Overridden (.) - Not Overridden ||||| Overridden: ||||| vvvvv IP PORT GROUP ----- --------------- ----- ----------------------- APNDO 192.168.50.200 1812 default
PSCまたはDPCの移行またはラインカードの切り替えにより、NPUフローに関する問題の原因であるnpumgrを含め、移行によりカード上のプロセスが再起動されるため、問題が解決される場合があります。
しかし、前述のaaamgr 92の例を使用した興味深い展開では、PSCの移行が行われた時点でAAA Unreachable障害が実際に開始されています。これは、PSC移行が完了してPSC 11をスタンバイにしたときにNPUフローが失われたためにトリガーされました。1時間後にアクティブ化された時点で、フローの損失の実際の影響がaamgr 92に対して開始されました。このような問題は、テクニカルサポートの支援を受けずにトラブルシューティングするのが非常に困難です。
[Ingressc]PGW# show rct stat RCT stats Details (Last 6 Actions) Action Type From To Start Time Duration ----------------- --------- ---- ---- ------------------------ ---------- Migration Planned 11 16 2012-Jan-09+16:27:38.135 36.048 sec Migration Planned 3 11 2012-Jan-09+17:28:57.413 48.739 sec Mon Jan 09 17:31:11 2012 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.3 Mon Jan 09 17:31:16 2012 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.3
この問題は、ポートの切り替えによって一時的に解決され、aamgr 92のNPUフローが欠落しているPSCカードがアクティブなラインカードに接続されなくなります。
Tue Jan 10 06:52:17 2012 Internal trap notification 93 (CardStandby) card 27 Tue Jan 10 06:52:17 2012 Internal trap notification 1024 (PortDown) card 27 port 1 ifindex 453050375port type 10G Ethernet Tue Jan 10 06:52:17 2012 Internal trap notification 55 (CardActive) card 28 Tue Jan 10 06:52:17 2012 Internal trap notification 1025 (PortUp) card 28 port 1 ifindex 469827588port type 10G Ethernet
最後の障害トラップ:
Tue Jan 10 06:53:11 2012 Internal trap notification 43 (AAAAccSvrReachable) server 5 ip address 209.165.201.3 [Ingress]PGW# radius test instance 93 authen server 209.165.201.3 port 1645 test test Tuesday January 10 07:18:22 UTC 2012 Authentication from authentication server 209.165.201.3, port 1645 Authentication Failure: Access-Reject received Round-trip time for response was 38.0 ms [Ingress]PGW# show session subsystem facility aaamgr instance 92 Tuesday January 10 07:39:47 UTC 2012 12294 Total aaa auth purged 14209 Total radius auth requests 0 Current radius auth requests 9494 Total radius requests pend server max-outstanding 0 Current radius requests pend server max-outstanding
同様に、「スタック」した特定のaamgrsを再起動すると、問題が解決する場合があります。ただし、これはテクニカルサポートが制限付きテクニカルサポートコマンドを含むため、テクニカルサポートが行うべき課題です。前述のshow task resourcesセクションで紹介したaamgr 92の例では、これは試行されましたが、これは助かりませんでした。これは、根本原因がaamgr 92ではなく、aamgr 92が必要とするNPUフローがないためです(aamgrの問題ではなくNPUの問題でした)。 次に、この試みの関連する出力を示します。プロセスidとタスクインスタンス番号92の関連付けを表示するには、「show task table」を実行します。
5 2012-Jan-10+06:20:53 aaamgr 16/0/04722 12.0(40466) PLB27085474/PLB38098237 [Ingress]PGW# show crash number 5 ********************* CRASH #05 *********************** Build: 12.0(40466) Fatal Signal 6: Aborted PC: [b7eb6b90/X] __poll() Note: User-initiated state dump w/core. ******** show task table ******* task parent cpu facility inst pid pri facility inst pid ---- ----------------------------- ------------------------- 16/0 aaamgr 92 4722 0 sessctrl 0 2887
ここでは、この記事で説明されているトラブルシューティングのコマンドとアプローチの多くを集約する、実際のネットワークの停止の最終的な例を示します。このノードは、3G MIP、4G Long Term Evolution(LTE)およびEvolved High Rate Packet Data(eHRPD)コールタイプを処理することに注意してください。
show snmp trap history
トラップだけで、開始点が顧客から19:25 UTCとして報告された値と一致していることを確認できます。別に、プライマリサーバ209.165.201.3のAAAAuthSvrUnreachableトラップは数時間が経過するまで発生しません(理由は不明ですが、注意が必要です。しかし、そのサーバに対するアカウンティングは即座に開始されました)
Sun Dec 29 19:28:13 2013 Internal trap notification 42 (AAAAccSvrUnreachable) server 5 ip address 209.165.201.3 Sun Dec 29 19:32:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.3 Sun Dec 29 19:33:05 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.3 Sun Dec 29 19:34:13 2013 Internal trap notification 43 (AAAAccSvrReachable) server 5 ip address 209.165.201.3 Sun Dec 29 19:34:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.3 Sun Dec 29 19:35:05 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.3 Sun Dec 29 19:38:13 2013 Internal trap notification 42 (AAAAccSvrUnreachable) server 6 ip address 209.165.201.8
...
Sun Dec 29 23:12:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3
Sun Dec 29 23:13:03 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3
Sun Dec 29 23:54:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3
Sun Dec 29 23:54:14 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3
Sun Dec 29 23:58:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3
Sun Dec 29 23:58:14 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3
show task resources
この出力は、DPC 8/1でのコールの数がはるかに少ないことを示しています。これ以上の分析がなければ、DPC 8に問題があることを示唆し、スタンバイDPCに移行するオプションを提案できます。ただし、実際のサブスクライバの影響を確認することが重要です。これらのシナリオでは、通常、サブスクライバは後続の試行で正常に接続するため、サブスクライバにとって影響が大きすぎず、ユーザプレーンの停止も発生していないとプロバイダーに報告しません(障害の内容によって可能)。
7/1 sessmgr 230 27% 100% 586.2M 2.49G 43 500 4123 35200 I good 7/1 aaamgr 237 0.9% 95% 143.9M 640.0M 22 500 -- -- - good 7/1 sessmgr 243 22% 100% 588.1M 2.49G 42 500 4118 35200 I good 7/1 sessmgr 258 19% 100% 592.8M 2.49G 43 500 4122 35200 I good 7/1 aaamgr 268 0.9% 95% 143.5M 640.0M 22 500 -- -- - good 7/1 sessmgr 269 23% 100% 586.7M 2.49G 43 500 4115 35200 I good 7/1 aaamgr 274 0.4% 95% 144.9M 640.0M 22 500 -- -- - good 7/1 sessmgr 276 30% 100% 587.9M 2.49G 43 500 4123 35200 I good 7/1 aaamgr 285 1.0% 95% 142.7M 640.0M 22 500 -- -- - good 7/1 aaamgr 286 0.8% 95% 143.8M 640.0M 22 500 -- -- - good 7/1 sessmgr 290 28% 100% 588.2M 2.49G 41 500 4115 35200 I good 8/0 sessmgr 177 23% 100% 588.7M 2.49G 48 500 4179 35200 I good 8/0 sessmgr 193 24% 100% 591.3M 2.49G 44 500 4173 35200 I good 8/0 aaamgr 208 0.9% 95% 143.8M 640.0M 22 500 -- -- - good 8/0 sessmgr 211 23% 100% 592.1M 2.49G 45 500 4173 35200 I good 8/0 sessmgr 221 27% 100% 589.2M 2.49G 44 500 4178 35200 I good 8/0 aaamgr 222 0.9% 95% 142.0M 640.0M 22 500 -- -- - good 8/0 sessmgr 225 25% 100% 592.0M 2.49G 43 500 4177 35200 I good 8/0 aaamgr 238 0.9% 95% 140.0M 640.0M 22 500 -- -- - good 8/0 aaamgr 243 1.0% 95% 144.9M 640.0M 22 500 -- -- - good 8/0 sessmgr 244 31% 100% 593.3M 2.49G 43 500 4177 35200 I good 8/0 aaamgr 246 0.9% 95% 138.5M 640.0M 22 500 -- -- - good 8/0 aaamgr 248 0.9% 95% 141.4M 640.0M 22 500 -- -- - good 8/0 aaamgr 258 0.9% 95% 138.3M 640.0M 22 500 -- -- - good 8/0 aaamgr 259 0.8% 95% 139.2M 640.0M 22 500 -- -- - good 8/0 aaamgr 260 0.8% 95% 142.9M 640.0M 22 500 -- -- - good 8/0 aaamgr 262 0.9% 95% 145.0M 640.0M 22 500 -- -- - good 8/0 aaamgr 264 0.9% 95% 143.4M 640.0M 22 500 -- -- - good 8/0 sessmgr 270 24% 100% 592.2M 2.49G 44 500 4171 35200 I good 8/0 sessmgr 277 20% 100% 593.7M 2.49G 43 500 4176 35200 I good 8/0 sessmgr 288 23% 100% 591.9M 2.49G 43 500 4177 35200 I good 8/0 sessmgr 296 24% 100% 593.0M 2.49G 42 500 4170 35200 I good 8/1 sessmgr 186 2.0% 100% 568.3M 2.49G 48 500 1701 35200 I good 8/1 sessmgr 192 2.0% 100% 571.1M 2.49G 46 500 1700 35200 I good 8/1 aaamgr 200 1.0% 95% 147.3M 640.0M 22 500 -- -- - good 8/1 sessmgr 210 2.1% 100% 567.1M 2.49G 46 500 1707 35200 I good 8/1 aaamgr 216 0.9% 95% 144.6M 640.0M 22 500 -- -- - good 8/1 sessmgr 217 2.0% 100% 567.7M 2.49G 45 500 1697 35200 I good 8/1 sessmgr 231 2.2% 100% 565.7M 2.49G 45 500 1705 35200 I good 8/1 sessmgr 240 2.0% 100% 569.8M 2.49G 45 500 1702 35200 I good 8/1 aaamgr 242 0.9% 95% 148.5M 640.0M 22 500 -- -- - good 8/1 sessmgr 252 1.8% 100% 566.5M 2.49G 44 500 1704 35200 I good 8/1 aaamgr 261 0.9% 95% 142.0M 640.0M 22 500 -- -- - good 8/1 aaamgr 263 1.0% 95% 144.1M 640.0M 22 500 -- -- - good 8/1 aaamgr 265 1.0% 95% 146.4M 640.0M 22 500 -- -- - good 8/1 aaamgr 267 1.0% 95% 144.4M 640.0M 22 500 -- -- - good 8/1 aaamgr 269 1.0% 95% 143.8M 640.0M 22 500 -- -- - good 8/1 sessmgr 274 1.9% 100% 570.5M 2.49G 44 500 1704 35200 I good 8/1 sessmgr 283 2.0% 100% 570.0M 2.49G 44 500 1708 35200 I good 8/1 sessmgr 292 2.1% 100% 567.6M 2.49G 44 500 1703 35200 I good 9/0 sessmgr 1 30% 100% 587.2M 2.49G 48 500 4161 35200 I good 9/0 diamproxy 1 5.2% 90% 37.74M 250.0M 420 1000 -- -- - good 9/0 sessmgr 14 25% 100% 587.4M 2.49G 48 500 4156 35200 I good 9/0 sessmgr 21 20% 100% 591.5M 2.49G 47 500 4156 35200 I good 9/0 sessmgr 34 23% 100% 586.5M 2.49G 48 500 4155 35200 I good 9/0 aaamgr 44 0.9% 95% 145.1M 640.0M 21 500 -- -- - good 9/0 sessmgr 46 29% 100% 592.1M 2.49G 48 500 4157 35200 I good
monitor subscriber
DPC 9/1のsessmgr 242に対する認証要求に対する応答がないコールセットアップが捕捉されました。この場合、ペアのaaamgrがDPC 8/1に存在し、8/1のAAA到達不能による3G障害が確認されます。209.165.201.3この時点では、そのサーバの応答を処理する際に問題がないという意味ではありません(上に示すように、トラップは開始するが数時間後)。
8/1 aaamgr 242 0.9% 95% 148.5M 640.0M 22 500 -- -- - good 9/1 sessmgr 242 20% 100% 589.7M 2.49G 43 500 4167 35200 I good ---------------------------------------------------------------------- Incoming Call: ---------------------------------------------------------------------- MSID/IMSI : Callid : 4537287a IMEI : n/a MSISDN : n/a Username : 6664600074@cisco.com SessionType : ha-mobile-ip Status : Active Service Name: HAService Src Context : Ingress ---------------------------------------------------------------------- INBOUND>>>>> From sessmgr:242 sessmgr_ha.c:880 (Callid 4537287a) 23:18:19:099 Eventid:26000(3) MIP Rx PDU, from 203.0.113.1:434 to 203.0.113.3:434 (190) Message Type: 0x01 (Registration Request) <<<<OUTBOUND From aaamgr:242 aaamgr_radius.c:370 (Callid 4537287a) 23:18:19:100 Eventid:23901(6) RADIUS AUTHENTICATION Tx PDU, from 203.0.113.3:27856 to 209.165.201.3:1645 (301) PDU-dict=custom9 Code: 1 (Access-Request) Id: 195 Length: 301 Authenticator: CD 59 0C 6D 37 2C 5D 19 FB 60 F3 35 23 BB 61 6B User-Name = 6664600074@cisco.com INBOUND>>>>> From sessmgr:242 mipha_fsm.c:8438 (Callid 4537287a) 23:18:21:049 Eventid:26000(3) MIP Rx PDU, from 203.0.113.1:434 to 203.0.113.3:434 (140) Message Type: 0x01 (Registration Request) Flags: 0x02 Lifetime: 0x1C20 <<<<OUTBOUND From sessmgr:242 mipha_fsm.c:6594 (Callid 4537287a) 23:18:22:117 Eventid:26001(3) MIP Tx PDU, from 203.0.113.3:434 to 203.0.113.1:434 (104) Message Type: 0x03 (Registration Reply) Code: 0x83 (Mobile Node Failed Authentication) ***CONTROL*** From sessmgr:242 sessmgr_func.c:6746 (Callid 4537287a) 23:18:22:144 Eventid:10285 CALL STATS: <6664600074@cisco.com>, msid <>, Call-Duration(sec): 0 Disconnect Reason: MIP-auth-failure Last Progress State: Authenticating
show sub [summary] smgr-instance X
興味深いのは、sessmgr 242のセッション数が他の動作中のsessgrsと似ていることです。さらに詳しく調査したところ、このシャーシでもホストされている4Gコールが接続できたため、3G Mobile IPコールが接続できなかったことが判明しました。 停止が開始された後の8時間まで戻ると、このsessmgr 242に対するMIPコールが存在せず、停止が開始される9時間前に戻ると、接続されたコールが存在することが確認できます。
[local]PGW# show sub sum smgr-instance 242 connected-time less-than 28800 (8 hours) Monday December 30 03:38:23 UTC 2013 Total Subscribers: 1504 Active: 1504 Dormant: 0 hsgw-ipv4-ipv6: 0 pgw-pmip-ipv6: 98 pgw-pmip-ipv4: 0 pgw-pmip-ipv4-ipv6: 75 pgw-gtp-ipv6: 700 pgw-gtp-ipv4: 3 pgw-gtp-ipv4-ipv6: 628 sgw-gtp-ipv6: 0 .. ha-mobile-ip: 0 ggsn-pdp-type-ppp: 0 [local]PGW# show sub sum smgr-instance 242 connected-time less-than 32400 (9 hours)
Monday December 30 03:38:54 UTC 2013 ...
ha-mobile-ip: 63 ggsn-pdp-type-ppp: 0
LTEおよびeHRPDコールは、動作中および破損したaaamgrsに接続されているsessgrsを比較する場合、MIPコールに対する比率が高くなります。
[local]PGW# show sub sum smgr-instance 272
Monday December 30 03:57:51 UTC 2013
hsgw-ipv4-ipv6: 0 pgw-pmip-ipv6: 125 pgw-pmip-ipv4: 0 pgw-pmip-ipv4-ipv6: 85 pgw-gtp-ipv6: 1530
pgw-gtp-ipv4-ipv6: 1126
ha-mobile-ip: 1103
[local]PGW# show sub sum smgr-instance 242
Monday December 30 03:52:35 UTC 2013
hsgw-ipv4-ipv6: 0 pgw-pmip-ipv6: 172 pgw-pmip-ipv4: 0 pgw-pmip-ipv4-ipv6: 115
pgw-gtp-ipv6: 1899
pgw-gtp-ipv4-ipv6: 1348
ha-mobile-ip: 447
radiusテストインスタンスX認証サーバ
8/1上のすべてのaaamgrsが停止しています。これらのaaamgrsではradius test instanceコマンドは動作しませんが、8/0およびその他のカードではaaamgrsコマンドは動作します。
9/1 sessmgr 242 22% 100% 600.6M 2.49G 41 500 3989 35200 I good 4/1 sessmgr 20 27% 100% 605.1M 2.49G 47 500 3965 35200 I good 4/0 sessmgr 27 25% 100% 592.8M 2.49G 46 500 3901 35200 I good 8/1 aaamgr 242 0.9% 95% 150.6M 640.0M 22 500 -- -- - good 8/1 aaamgr 20 1.0% 95% 151.9M 640.0M 21 500 -- -- - good 8/0 aaamgr 27 1.0% 95% 146.4M 640.0M 21 500 -- -- - good [Ingress]PGW# radius test instance 242 auth server 209.165.201.3 port 1645 test test Monday December 30 01:03:08 UTC 2013 Authentication from authentication server 209.165.201.3, port 1645 Communication Failure: No response received [Ingress]PGW# radius test instance 20 auth server 209.165.201.3 port 1645 test test Monday December 30 01:08:45 UTC 2013 Authentication from authentication server 209.165.201.3, port 1645 Communication Failure: No response received [Ingress]PGW# radius test instance 27 auth server 209.165.201.3 port 1645 test test Monday December 30 01:11:40 UTC 2013 Authentication from authentication server 209.165.201.3, port 1645 Authentication Failure: Access-Reject received Round-trip time for response was 16.8 ms
show radius counters all
RADIUSのトラブルシューティングに使用するflagshipコマンドでは、タイムアウトが頻繁に発生し、急速に増加しています。
[Ingress]PGW> show radius counters all | grep -E "Authentication server address|Access-Request Timeouts" Monday December 30 00:42:24 UTC 2013 Authentication server address 209.165.201.3, port 1645, group default Access-Request Timeouts: 400058 Authentication server address 209.165.201.5, port 1645, group default Access-Request Timeouts: 26479 [Ingress]PGW> show radius counters all | grep -E "Authentication server address|Access-Request Timeouts" Monday December 30 00:45:23 UTC 2013 Authentication server address 209.165.201.3, port 1645, group default Access-Request Timeouts: 400614 Authentication server address 209.165.201.5, port 1645, group default Access-Request Timeouts: 26679 [Ingress]PGW> show radius counters all Monday December 30 00:39:15 UTC 2013 ... Authentication server address 209.165.201.3, port 1645, group default Access-Request Sent: 233262801 Access-Request with DMU Attributes Sent: 0 Access-Request Pending: 22 Access-Request Retried: 0 Access-Request with DMU Attributes Retried: 0 Access-Challenge Received: 0 Access-Accept Received: 213448486 Access-Reject Received: 19414836 Access-Reject Received with DMU Attributes: 0 Access-Request Timeouts: 399438 Access-Request Current Consecutive Failures in a mgr: 3 Access-Request Response Bad Authenticator Received: 16187 Access-Request Response Malformed Received: 1 Access-Request Response Malformed Attribute Received: 0 Access-Request Response Unknown Type Received: 0 Access-Request Response Dropped: 9039 Access-Request Response Last Round Trip Time: 267.6 ms Access-Request Response Average Round Trip Time: 201.9 ms Current Access-Request Queued: 2 Authentication server address 209.165.201.5, port 1645, group default Access-Request Sent: 27731 Access-Request with DMU Attributes Sent: 0 Access-Request Pending: 0 Access-Request Retried: 0 Access-Request with DMU Attributes Retried: 0 Access-Challenge Received: 0 Access-Accept Received: 1390 Access-Reject Received: 101 Access-Reject Received with DMU Attributes: 0 Access-Request Timeouts: 26240 Access-Request Current Consecutive Failures in a mgr: 13 Access-Request Response Bad Authenticator Received: 0 Access-Request Response Malformed Received: 0 Access-Request Response Malformed Attribute Received: 0 Access-Request Response Unknown Type Received: 0 Access-Request Response Dropped: 0 Access-Request Response Last Round Trip Time: 227.5 ms Access-Request Response Average Round Trip Time: 32.3 ms Current Access-Request Queued: 0
修復
メンテナンスウィンドウ中に、DPCの移行8から10で問題が解決し、AAAAuthSrvUnreachableトラップが停止し、DPC 8がRMA状態になり、根本原因はDPC 8のハードウェア障害であると判断されました(この記事では詳細はは不明)。
Mon Dec 30 05:58:14 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3 Mon Dec 30 05:58:14 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.5 Mon Dec 30 05:58:27 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.5 Mon Dec 30 05:58:27 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3 Mon Dec 30 05:59:14 2013 Internal trap notification 43 (AAAAccSvrReachable) server 5 ip address 209.165.201.5 Mon Dec 30 06:01:14 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3 Mon Dec 30 06:01:27 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3 Mon Dec 30 06:01:28 2013 Internal trap notification 16 (PACMigrateStart) from card 8 to card 10 Mon Dec 30 06:01:49 2013 Internal trap notification 60 (CardDown) card 8 type Data Processing Card Mon Dec 30 06:01:50 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 10 operational status changed to Active Mon Dec 30 06:01:50 2013 Internal trap notification 55 (CardActive) card 10 type Data Processing Card Mon Dec 30 06:01:50 2013 Internal trap notification 17 (PACMigrateComplete) from card 8 to card 10 Mon Dec 30 06:02:08 2013 Internal trap notification 5 (CardUp) card 8 type Data Processing Card Mon Dec 30 06:02:08 2013 Internal trap notification 1502 (EntStateOperEnabled) Card(8) Severity: Warning Mon Dec 30 06:02:08 2013 Internal trap notification 93 (CardStandby) card 8 type Data Processing Card Mon Dec 30 06:08:41 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Offline Mon Dec 30 06:08:41 2013 Internal trap notification 60 (CardDown) card 8 type Data Processing Card Mon Dec 30 06:08:41 2013 Internal trap notification 1503 (EntStateOperDisabled) Card(8) Severity: Critical Mon Dec 30 06:09:24 2013 Internal trap notification 1505 (CiscoFruPowerStatusChanged) FRU entity Card : 08 Power OFF Mon Dec 30 06:09:24 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Empty Mon Dec 30 06:09:24 2013 Internal trap notification 7 (CardRemoved) card 8 type Data Processing Card Mon Dec 30 06:09:24 2013 Internal trap notification 1507 (CiscoFruRemoved) FRU entity Card : 08 removed Mon Dec 30 06:09:24 2013 Internal trap notification 1505 (CiscoFruPowerStatusChanged) FRU entity Card : 08 Power OFF Mon Dec 30 06:09:50 2013 Internal trap notification 1505 (CiscoFruPowerStatusChanged) FRU entity Card : 08 Power ON Mon Dec 30 06:09:53 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Offline Mon Dec 30 06:09:53 2013 Internal trap notification 8 (CardInserted) card 8 type Data Processing Card Mon Dec 30 06:09:53 2013 Internal trap notification 1506 (CiscoFruInserted) FRU entity Card : 08 inserted Mon Dec 30 06:10:00 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Booting Mon Dec 30 06:11:59 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Standby Mon Dec 30 06:11:59 2013 Internal trap notification 5 (CardUp) card 8 type Data Processing Card Mon Dec 30 06:11:59 2013 Internal trap notification 93 (CardStandby) card 8 type Data Processing Card [local]PGW# show rct stat Wednesday January 01 16:47:21 UTC 2014 RCT stats Details (Last 2 Actions) Action Type From To Start Time Duration ----------------- --------- ---- ---- ------------------------ ---------- Migration Planned 8 10 2013-Dec-30+06:01:28.323 21.092 sec Shutdown N/A 8 0 2013-Dec-30+06:08:41.483 0.048 sec