WarnまたはOver状態のIPsecmgrのトラブルシューティング
はじめに
このドキュメントでは、警告状態のIPsecmgr機能について説明します。
概要
IPsecmgrはセッションコントローラによって作成されます。Evolved Packet Data Gateway(ePDG)でセキュアなIKEv1、IKEv2、およびIPSecデータトンネルを確立し、管理します。
前提条件
次のノードおよびStarOS機能に関する知識があることが推奨されます。
- ePDG
- IPSecmgr機能
必要なログ
注：このような問題に対処するには、分析のためにログを収集する必要があります。
1. 警告状態のIPsecmgrファシリティを特定し、2つの良好なIPsecmgrインスタンスのヒープダンプと、ピーク時と非ピーク時の2つの不良インスタンスを収集します。
Show task resources
show messenger proclet facility ipsecmgr instance <instance number> heap depth 9
show messenger proclet facility ipsecmgr instance <instance number> system heap depth 9
show messenger proclet facility ipsecmgr instance <instance number> heap
show messenger proclet facility ipsecmgr instance <instance number> system
show messenger proclet facility ipsecmgr instance <instance number> graphs heap
show session subsystem facility ipsecmgr instance <instance number> debug-info verbose
show task resources facility ipsecmgr instance <instance number>
注:2つの機能しているIPsecmgrインスタンスと2つの障害のあるIPsecmgrインスタンスのログを収集します。毎回、インスタンス番号をIPsecmgrインスタンス番号に置き換えます。
2. 前の手順で収集したのと同じIPsecmgrインスタンスのコアファイルを収集します。
Login to hidden mode
Cli test-commands password <>
Task core facility ipsecmgr instance <instance number>
注：ヒープ出力が収集された同じインスタンス番号のコアファイルを収集します。
3. Show Support Details(SSD)データ、Simple Network Management Protocol(SNMP)トラップ、およびシステムログ(syslog)を収集します。
4. 1日中複数回のshow task resourceコマンドの出力を収集します。
注：コール数を減らした場合に、メモリが継続的に増加しているか減少しているかを判断する必要があります。
5. ノードで現在実行されているサービスを判別します。
Show resources
6. ノードで実行されている各サービスの加入者トレンドデータを2ヵ月間にわたって提供します。
たとえば、ePDGサービスの場合は、ePDG加入者トレンドが必要です。Mme-serviceの場合、mmeサブスクライバの傾向が必要です。
7. ネットワーク内で同一の構成とサービスが実行されている他のノードのSSDデータを提供します。
注：問題がノードにあるのか、ソフトウェアのバージョンにあるのかを判断する必要があります。
8. アップグレード後、ファシリティIPsecmgrは警告状態になり、アップグレード前とアップグレード後の両方で、複数のソリッドステートDr(SSD)データセットを共有します。
実施したトラブルシューティング
1. IPsecmgrのヒープダンプの分析を行う必要があります。この分析から、これらの上位2つの機能が大量のメモリを消費していることが判明しました。
| プロセッサ |
集約 |
%▴ |
| ipm_databuf_alloc() |
60900436 |
42.19 |
| 参考service_recovery_add_dest_handle() |
17302140 |
11.99 |
| ikev2_encode_alloc_opacket() |
6319608 |
4.38 |
| demuxmgr_init_smgr_pacing_queue_and_cache() |
6258720 |
4.34 |
| ipm_sad_ikesa_alloc() |
6053856 |
4.19 |
注：ヒープ分析の出力から、関数がipm_databuf_alloc()に大量のメモリを消費していることが明らかです。
2. ePDGの1か月間の加入者トレンドは、トラフィックの増加が見られないため、トラフィックのトレンドは正常であることを示しています。
| 日付 |
測定レベル |
ノード |
ユーザ総数 |
| 2023-01-01 |
日レベル |
XXX-XX:SGSN-MME-03 |
308580 |
| 2023-01-02 |
日レベル |
XXX-XX:SGSN-MME-03 |
331166 |
| 2023-01-03 |
日レベル |
XXX-XX:SGSN-MME-03 |
332424 |
| 2023-01-04 |
日レベル |
XXX-XX:SGSN-MME-03 |
324741 |
| 2023-01-05 |
日レベル |
XXX-XX:SGSN-MME-03 |
329006 |
| 2023-01-06 |
日レベル |
XXX-XX:SGSN-MME-03 |
326667 |
| 2023-01-07 |
日レベル |
XXX-XX:SGSN-MME-03 |
327323 |
| 2023-01-08 |
日レベル |
XXX-XX:SGSN-MME-03 |
327922 |
| 2023-01-09 |
日レベル |
XXX-XX:SGSN-MME-03 |
331701 |
| 2023-01-10 |
日レベル |
XXX-XX:SGSN-MME-03 |
334258 |
| 2023-01-11 |
日レベル |
XXX-XX:SGSN-MME-03 |
331070 |
| 2023-01-12 |
日レベル |
XXX-XX:SGSN-MME-03 |
327105 |
| 2023-01-13 |
日レベル |
XXX-XX:SGSN-MME-03 |
310919 |
| 2023-01-14 |
日レベル |
XXX-XX:SGSN-MME-03 |
280490 |
| 2023-01-15 |
日レベル |
XXX-XX:SGSN-MME-03 |
299159 |
| 2023-01-16 |
日レベル |
XXX-XX:SGSN-MME-03 |
312329 |
| 2023-01-17 |
日レベル |
XXX-XX:SGSN-MME-03 |
318370 |
| 2023-01-18 |
日レベル |
XXX-XX:SGSN-MME-03 |
316067 |
| 2023-01-19 |
日レベル |
XXX-XX:SGSN-MME-03 |
314299 |
| 2023-01-20 |
日レベル |
XXX-XX:SGSN-MME-03 |
322221 |
| 2023-01-21 |
日レベル |
XXX-XX:SGSN-MME-03 |
317145 |
| 2023-01-22 |
日レベル |
XXX-XX:SGSN-MME-03 |
317951 |
| 2023-01-23 |
日レベル |
XXX-XX:SGSN-MME-03 |
320670 |
| 2023-01-24 |
日レベル |
XXX-XX:SGSN-MME-03 |
320466 |
| 2023-01-25 |
日レベル |
XXX-XX:SGSN-MME-03 |
304693 |
| 2023-01-26 |
日レベル |
XXX-XX:SGSN-MME-03 |
307049 |
| 2023-01-27 |
日レベル |
XXX-XX:SGSN-MME-03 |
304500 |
| 2023-01-28 |
日レベル |
XXX-XX:SGSN-MME-03 |
303082 |
| 2023-01-29 |
日レベル |
XXX-XX:SGSN-MME-03 |
309391 |
| 2023-01-30 |
日レベル |
XXX-XX:SGSN-MME-03 |
314559 |
| 2023-01-31 |
日レベル |
XXX-XX:SGSN-MME-03 |
318688 |
| 2023-02-01 |
日レベル |
XXX-XX:SGSN-MME-03 |
315274 |
| 2023-02-02 |
日レベル |
XXX-XX:SGSN-MME-03 |
320590 |
| 2023-02-03 |
日レベル |
XXX-XX:SGSN-MME-03 |
276683 |
| 2023-02-04 |
日レベル |
XXX-XX:SGSN-MME-03 |
288478 |
| 2023-02-05 |
日レベル |
XXX-XX:SGSN-MME-03 |
298212 |
| 2023-02-06 |
日レベル |
XXX-XX:SGSN-MME-03 |
300505 |
| 2023-02-07 |
日レベル |
XXX-XX:SGSN-MME-03 |
308763 |
| 2023-02-08 |
日レベル |
XXX-XX:SGSN-MME-03 |
303933 |
| 2023-02-09 |
日レベル |
XXX-XX:SGSN-MME-03 |
304191 |
| 2023-02-10 |
日レベル |
XXX-XX:SGSN-MME-03 |
296049 |
| 2023-02-11 |
日レベル |
XXX-XX:SGSN-MME-03 |
304243 |
| 2023-02-12 |
日レベル |
XXX-XX:SGSN-MME-03 |
398876 |
| 2023-02-13 |
日レベル |
XXX-XX:SGSN-MME-03 |
327081 |
| 2023-02-14 |
日レベル |
XXX-XX:SGSN-MME-03 |
318326 |
| 2023-02-15 |
日レベル |
XXX-XX:SGSN-MME-03 |
308936 |
| 2023-02-16 |
日レベル |
XXX-XX:SGSN-MME-03 |
307454 |
| 2023-02-17 |
日レベル |
XXX-XX:SGSN-MME-03 |
299155 |
| 2023-02-18 |
日レベル |
XXX-XX:SGSN-MME-03 |
310671 |
| 2023-02-19 |
日レベル |
XXX-XX:SGSN-MME-03 |
308271 |
| 2023-02-20 |
日レベル |
XXX-XX:SGSN-MME-03 |
313036 |
| 2023-02-21 |
日レベル |
XXX-XX:SGSN-MME-03 |
308364 |
| 2023-02-22 |
日レベル |
XXX-XX:SGSN-MME-03 |
297624 |
| 2023-02-23 |
日レベル |
XXX-XX:SGSN-MME-03 |
307631 |
| 2023-02-24 |
日レベル |
XXX-XX:SGSN-MME-03 |
303706 |
| 2023-02-25 |
日レベル |
XXX-XX:SGSN-MME-03 |
331917 |
| 2023-02-26 |
日レベル |
XXX-XX:SGSN-MME-03 |
304802 |
| 2023-02-27 |
日レベル |
XXX-XX:SGSN-MME-03 |
314204 |
| 2023-02-28 |
日レベル |
XXX-XX:SGSN-MME-03 |
312129 |
| 2023-03-01 |
日レベル |
XXX-XX:SGSN-MME-03 |
318518 |
| 2023-03-02 |
日レベル |
XXX-XX:SGSN-MME-03 |
400818 |
| 2023-03-03 |
日レベル |
XXX-XX:SGSN-MME-03 |
298952 |
| 2023-03-04 |
日レベル |
XXX-XX:SGSN-MME-03 |
286058 |
| 2023-03-05 |
日レベル |
XXX-XX:SGSN-MME-03 |
283346 |
| 2023-03-06 |
日レベル |
XXX-XX:SGSN-MME-03 |
280037 |
| 2023-03-07 |
日レベル |
XXX-XX:SGSN-MME-03 |
275515 |
| 2023-03-08 |
日レベル |
XXX-XX:SGSN-MME-03 |
290489 |
| 2023-03-09 |
日レベル |
XXX-XX:SGSN-MME-03 |
291972 |
| 2023-03-10 |
日レベル |
XXX-XX-SGSN-MME-03 |
289658 |
| 2023-03-11 |
日レベル |
XXX-XX:SGSN-MME-03 |
284311 |
| 2023-03-12 |
日レベル |
XXX-XX:SGSN-MME-03 |
293878 |
| 2023-03-13 |
日レベル |
XXX-XX:SGSN-MME-03 |
298662 |
| 2023-03-14 |
日レベル |
XXX-XX:SGSN-MME-03 |
299430 |
| 2023-03-15 |
日レベル |
XXX-XX:SGSN-MME-03 |
297959 |
| 2023-03-16 |
日レベル |
XXX-XX:SGSN-MME-03 |
299208 |
| 2023-03-17 |
日レベル |
XXX-XX:SGSN-MME-03 |
293534 |
| 2023-03-18 |
日レベル |
XXX-XX:SGSN-MME-03 |
292673 |
| 2023-03-19 |
日レベル |
XXX-XX:SGSN-MME-03 |
296111 |
| 2023-03-20 |
日レベル |
XXX-XX-SGSN-MME-03 |
301181 |
| 2023-03-21 |
日レベル |
XXX-XX:SGSN-MME-03 |
297604 |
| 2023-03-22 |
日レベル |
XXX-XX:SGSN-MME-03 |
309897 |
| 2023-03-23 |
日レベル |
XXX-XX:SGSN-MME-03 |
304351 |
| 2023-03-24 |
日レベル |
XXX-XX:SGSN-MME-03 |
305605 |
| 2023-03-25 |
日レベル |
XXX-XX:SGSN-MME-03 |
295694 |
| 2023-03-26 |
日レベル |
XXX-XX:SGSN-MME-03 |
300188 |
| 2023-03-27 |
日レベル |
XXX-XX:SGSN-MME-03 |
302467 |
| 2023-03-28 |
日レベル |
XXX-XX:SGSN-MME-03 |
303965 |
| 2023-03-29 |
日レベル |
XXX-XX:SGSN-MME-03 |
270432 |
| 2023-03-30 |
日レベル |
XXX-XX:SGSN-MME-03 |
289729 |
| 2023-03-31 |
日レベル |
XXX-XX:SGSN-MME-03 |
249336 |
| 2023-04-01 |
日レベル |
XXX-XX:SGSN-MME-03 |
269109 |
| 2023-04-02 |
日レベル |
XXX-XX:SGSN-MME-03 |
283437 |
| 2023-04-03 |
日レベル |
XXX-XX:SGSN-MME-03 |
298453 |
| 2023-04-04 |
日レベル |
XXX-XX:SGSN-MME-03 |
301649 |
| 2023-04-05 |
日レベル |
XXX-XX:SGSN-MME-03 |
298797 |
| 2023-04-06 |
日レベル |
XXX-XX:SGSN-MME-03 |
306610 |
| 2023-04-07 |
日レベル |
XXX-XX:SGSN-MME-03 |
298449 |
| 2023-04-08 |
日レベル |
XXX-XX:SGSN-MME-03 |
294205 |
| 2023-04-09 |
日レベル |
XXX-XX:SGSN-MME-03 |
306048 |
| 2023-04-10 |
日レベル |
XXX-XX:SGSN-MME-03 |
316718 |
| 2023-04-11 |
日レベル |
XXX-XX:SGSN-MME-03 |
315327 |
| 2023-04-12 |
日レベル |
XXX-XX-SGSN-MME-03 |
313059 |
3. 複数のソリッドステートドライブ(SSD)からshow task resourcesを収集しました。SSDデータに基づいて、これらのIPsecmgrインスタンスが警告状態であることが確認できます。
8/1 ipsecmgr 296 2.64% 50% 193.3M 191.0M 978 1500 1331 4700 - warn
8/2 ipsecmgr 363 2.51% 50% 194.1M 191.0M 854 1500 1304 4700 - warn
9/0 ipsecmgr 231 2.85% 50% 129.0M 191.0M 271 1500 1323 4700 - good
9/1 ipsecmgr 303 2.61% 50% 161.5M 191.0M 1141 1500 1322 4700 - good
9/2 ipsecmgr 381 2.46% 50% 192.9M 191.0M 839 1500 1312 4700 - warn
Note: This output is collected on 12th April at 8:40 PM
This output collected on the 13th April 8 PM.
8/1 ipsecmgr 296 2.61% 50% 193.3M 191.0M 985 1500 1221 4700 - warn
8/2 ipsecmgr 363 2.38% 50% 193.7M 191.0M 828 1500 1222 4700 - warn
9/0 ipsecmgr 231 2.40% 50% 129.0M 191.0M 1116 1500 1237 4700 - good
9/1 ipsecmgr 303 2.43% 50% 161.5M 191.0M 1120 1500 1220 4700 - good
9/2 ipsecmgr 381 2.23% 50% 192.9M 191.0M 829 1500 1228 4700 - warn
各インスタンスのコール数を減らしても、メモリの低下は見られません。たとえば、警告状態にあるIPsecmgrインスタンス296を調べると、4月13日にコール数は減少しましたが、メモリは減少しませんでした
4.show task resources一日を通じて収集されたデータは、コール数が減少した場合でもメモリが減少していないことを確認します。
5. アップグレード前のSSDデータから、メモリの増加がないことがわかります。これは、新しいソフトウェアに問題がある可能性を示唆しています。
分析に基づいて、IPsecmgrファシリティレベルでメモリリークが発生している可能性があります。サービスリクエスト(SR)を作成して、詳細な調査を行い、問題に対処します。
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
4.0 |
15-Dec-2023 |
初版リリース |
1.0 |
14-Dec-2023 |
初版 |
フィードバック