المحتويات

المقدمة

المتطلبات الأساسية

المتطلبات

المكونات المستخدمة

معلومات أساسية

محرك الأتمتة والمراقبة Ultra Automation and Monitoring Engine (UAME)

وحدة التحكم المرنة في الخدمات (ESC)

المشكلة

إجراء إسترداد الأجهزة الافتراضية

الخطوة 1. تحقق من حالة الجهاز الظاهري من UAME.

الخطوة 2. إستردت ال VMs من ESC.

الخطوة 3. تحقق مما إذا كان الاسترداد ناجحا.

إسترداد ناجح

فشل الاسترداد

تحقق من سياسة الاسترداد الخاصة ب ESC

الخطوة 4. قم بإعادة نشر الأجهزة الافتراضية.

إعادة نشر الأجهزة الافتراضية من UAME

فحص سجلات إعادة النشر

المقدمة

يصف هذا المستند المعلومات عالية المستوى حول كيفية إستعادة الأجهزة الافتراضية من نوع CNAT وأجهزة CUPS الافتراضية الافتراضية وأجهزة 5G-UPF الافتراضية.

المتطلبات الأساسية

المتطلبات

توصي Cisco بأن تكون لديك معرفة بالمواضيع التالية:

- مكونات حلول Cisco Ultra Virtual Packet Core

- محرك أتمتة ومراقبة Ultra (UAME)

- وحدات التحكم المرنة في الخدمة (ESC)

- OpenStack

المكونات المستخدمة

تستند المعلومات الواردة في هذا المستند إلى إصدارات البرامج والمكونات المادية التالية:

- USP 6.9.0

- أوام

- ESC: 4.5.0(112)

- نظام التشغيل StarOS: 21.15.28 (74825)

- السحابة - OpenStack 13 (Queens)

تم إنشاء المعلومات الواردة في هذا المستند من الأجهزة الموجودة في بيئة معملية خاصة. بدأت جميع الأجهزة المُستخدمة في هذا المستند بتكوين ممسوح (افتراضي). إذا كانت شبكتك قيد التشغيل، فتأكد من فهمك للتأثير المحتمل لأي أمر.

معلومات أساسية

محرك الأتمتة والمراقبة Ultra Automation and Monitoring Engine (UAME)

UAME عبارة عن وحدة برمجية جديدة لخدمات أتمتة Ultra Automation Services (UAS) تم تقديمها إلى:

- دعم النشر المدمج لوظائف الشبكة الافتراضية (VNF) من الجيل الرابع أو الجيل الخامس ووظائف الشبكة الأصلية (CNF) من الجيل الخامس.

- تقليل عدد الأجهزة الافتراضية (VMs) التي يتطلبها عادة كل من USP و UAS، وذلك باستبدال مكونات UEM و AutoIT و AutoDeployment و AutoVNF.

تقوم وحدة إدارة الاتصالات (UAME) بتنسيق عملية النشر لما يلي:

- 4GVNFs :

- VNFs المستندة إلى CUPS: تعمل UAME مع مدير وظيفة الشبكة الظاهرية (VNFM) لنشر مستوى التحكم القائم على VPC (CP) ومستوى المستخدم (UP) VNFs لدعم بنية التحكم وفصل مستوى المستخدم (CUPS).

- الشبكات الافتراضية الخاصة (VNF) غير المستندة إلى CUPS: تتوافق وحدة إدارة الشبكة (UAME) مع الإصدارات السابقة، حيث تعمل مع VNFM لتوفير دعم النشر للبوابات من الجيل الرابع غير CUPS (استنادا إلى VPC-DI) ووظيفة سياسة الجيل الرابع وقواعد الشحن (PCRF).

- 5 جيجا NF:

- وحدات الشبكة (NF) المستندة إلى VNF: تعمل وحدة الإدارة اللاسلكية (UAME) مع وحدة الشبكة الافتراضية الخاصة (VNFM) لنشر وظائف الشبكة (NF) المستندة إلى بروتوكول VPC-SI.

- وحدات NF المستندة إلى السحابة: تتفاعل UAME مع VNFM لنشر البنية الأساسية للخدمات الدقيقة للمشترك في السحابة الفائقة (SMI). وبعد ذلك تعمل SMI مع VNFM لنشر NFs في مجموعة Kubernetes (المعروفة أيضا باسم K8s) المستندة إلى VM.

وحدة التحكم المرنة في الخدمات (ESC)

إن ESC هو VNFM المذكور في هذه المقالة وهو النظام الأساسي المدعوم الوحيد حاليا.

المشكلة

الأجهزة الافتراضية (VMs) المضيفة للسحابة-الأصلية 5G SMI في حالة الخطأ في ESC.

crucs502-cnat-cn_oam1_0_d7f90c1e-4401-4be9-87f6-f39ecf04ea3a   VM_ERROR_STATE

crucs502-cnat-cn_master_0_05487525-c86f-47e1-a07e-fd33720d114f VM_ERROR_STATE

crucs502-4g-CRPC_CRPCF5_0_ee07bf60-a8f8-405f-9a0d-cfa7363e32e7 VM_ERROR_STATE

إجراء إسترداد الأجهزة الافتراضية

التحقق من حالة الجهاز الظاهري في UAME و ESC. بدء عملية الاسترداد من ESC. إذا تعذر على ESC إسترداد VM، فقم بالمتابعة مع إعادة النشر من UAME.

الخطوة 1. تحقق من حالة الجهاز الظاهري من UAME.

قم بتسجيل الدخول إلى UAME، والانتقال إلى واجهة سطر الأوامر CONFD، وتحقق من الحالة كما هو موضح هنا.

ubuntu@crucs502-uame-1:~$ /opt/cisco/usp/uas/confd-6.3.8/bin/confd_cli -u admin -C

Enter Password for 'admin':

elcome to the ConfD CLI

admin connected from 10.249.80.137 using ssh on crucs502-uame-1

crucs502-uame-1#

crucs502-uame-1#show vnfr state

VNFR ID STATE

---------------------------------

crucs502-4g-CRPCF504 alive

crucs502-4g-CRPCF505 alive

crucs502-4g-CRPCF506 alive

crucs502-4g-CRPCF507 error

crucs502-4g-CRPCF604 alive

crucs502-cnat-cnat error

الخطوة 2. إستردت ال VMs من ESC.

حاول الاسترداد من ESC يدويا.

مفسد (إبراز إلى القراءة)

ملاحظة: قد يستغرق اكتمال الاسترداد ما يصل إلى 900 (15 دقيقة).

bootup_time 300

recovery_wait_time 600

ملاحظة: قد يستغرق الاسترداد ما يصل إلى 900 (15 دقيقة) للاكتمال. bootup_time 300recovery_wait_time 600

سجل الدخول إلى ESC الرئيسي، وتحقق من الصحة، ثم قم بتنفيذ أوامر الاسترداد كما هو موضح هنا.

Last login: Wed May 13 02:07:42 2020 from 10.x.x.x

####################################################################

# ESC on crucs502-esc-vnf-esc-core-esc-1 is in MASTER state.

####################################################################

[admin@crucs502-esc-vnf-esc-core-esc-1 ~]$ health.sh

============== ESC HA (MASTER) with DRBD =================

vimmanager (pgid 14643) is running

monitor (pgid 14712) is running

mona (pgid 14768) is running

drbd (pgid 0) is master

snmp is disabled at startup

etsi is disabled at startup

pgsql (pgid 15119) is running

keepalived (pgid 14070) is running

portal is disabled at startup

confd (pgid 15016) is running

filesystem (pgid 0) is running

escmanager (pgid 15254) is running

=======================================

ESC HEALTH PASSED

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli recovery-vm-action DO crucs502-cnat-cn_oam1_0_d7f90c1e-4401-4be9-87f6-f39ecf04ea3a

tail -50f /var/log/esc/yangesc.log

2020-05-05 02:29:01.534 WARN ===== SEND NOTIFICATION STARTS =====

2020-05-05 02:29:01.534 WARN Type: VM_RECOVERY_COMPLETE

2020-05-05 02:29:01.534 WARN Status: SUCCESS

2020-05-05 02:29:01.534 WARN Status Code: 200

2020-05-05 02:29:01.534 WARN Status Msg: Recovery: Successfully recovered VM [crucs502-cnat-cn_oam1_0_d7f90c1e-4401-4be9-87f6-f39ecf04ea3a].

2020-05-05 02:29:01.534 WARN Tenant: core

2020-05-05 02:29:01.534 WARN Deployment name: crucs502-cnat-cnat-core

2020-05-05 02:29:01.534 WARN VM group name: oam1

<output trimmed>

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli recovery-vm-action DO crucs502-cnat-cn_master_0_05487525-c86f-47e1-a07e-fd33720d114f

tail -50f /var/log/esc/yangesc.log

2020-05-05 02:12:51.512 WARN ===== SEND NOTIFICATION STARTS =====

2020-05-05 02:12:51.512 WARN Type: VM_RECOVERY_COMPLETE

2020-05-05 02:12:51.512 WARN Status: SUCCESS

2020-05-05 02:12:51.512 WARN Status Code: 200

2020-05-05 02:12:51.512 WARN Status Msg: Recovery: Successfully recovered VM [crucs502-cnat-cn_master_0_05487525-c86f-47e1-a07e-fd33720d114f].

2020-05-05 02:12:51.512 WARN Tenant: core

2020-05-05 02:12:51.512 WARN Deployment name: crucs502-cnat-cnat-core

<output trimmed>

الخطوة 3. تحقق مما إذا كان الاسترداد ناجحا.

تحقق من سجلات Yangesc (tail -50f /var/log/esc/yangesc.log) وابحث عن الحالة والاسترداد كما هو موضح أعلاه. إذا نجح، انتقل إلى واجهة سطر الأوامر (CONFD) وقم بالتحقق.

[admin@crucs502-esc-vnf-esc-core-esc-1 ~]$ /opt/cisco/esc/confd/bin/confd_cli -u admin -C

admin connected from 10.249.80.137 using ssh on crucs502-esc-vnf-esc-core-esc-1

crucs502-esc-vnf-esc-core-esc-1# show esc_datamodel opdata tenants tenant | select deployments state_machine

NAME DEPLOYMENT NAME STATE VM NAME STATE

-------------------------------------------------------------------------------------------------------------------------------------------

<trucated output>

crucs502-cnat-cn_etcd2_0_7263c87c-ee62-4b81-8e1e-a0f5c463a5b5 VM_ALIVE_STATE

crucs502-cnat-cn_etcd3_0_512ef3c0-96a2-4a10-83b0-4c7d13805856 VM_ALIVE_STATE

crucs502-cnat-cn_master_0_05487525-c86f-47e1-a07e-fd33720d114f VM_ALIVE_STATE

crucs502-cnat-cn_master_0_8cf66daa-9dfe-4c7e-817e-36624f9c98c2 VM_ALIVE_STATE

crucs502-cnat-cn_master_0_dff4ad36-7982-4131-a737-ccb6c8eae348 VM_ALIVE_STATE

crucs502-cnat-cn_oam1_0_d7f90c1e-4401-4be9-87f6-f39ecf04ea3a VM_ALIVE_STATE

إسترداد ناجح

When ESC shows VM_ALIVE_STATE, verify the status in UAME

crucs502-uame-1#show vnfr state

VNFR ID STATE

---------------------------------

crucs502-4g-CRPCF504 alive

crucs502-4g-CRPCF505 alive

crucs502-4g-CRPCF506 alive

crucs502-4g-CRPCF507 alive

crucs502-4g-CRPCF604 alive

crucs502-4g-CRPCF605 alive

crucs502-4g-CRPCF606 alive

crucs502-4g-CRPCF607 alive

crucs502-4g-CRPGW502 alive

crucs502-4g-CRPGW503 alive

crucs502-4g-CRPGW608 alive

crucs502-4g-CRPGW609 alive

crucs502-4g-CRPGW610 alive

crucs502-4g-CRPGW611 alive

crucs502-4g-CRPGW612 alive

crucs502-4g-CRPGW613 alive

crucs502-4g-CRPGW614 alive

crucs502-4g-CRPGW615 alive

crucs502-4g-CRSGW606 alive

crucs502-4g-CRSGW607 alive

crucs502-4g-CRSGW608 alive

crucs502-4g-CRSGW609 alive

crucs502-4g-CRSGW610 alive

crucs502-4g-CRSGW611 alive

crucs502-5g-upf-CRUPF014 alive

crucs502-5g-upf-CRUPF015 alive

crucs502-5g-upf-CRUPF016 alive

crucs502-5g-upf-CRUPF017 alive

crucs502-5g-upf-CRUPF018 alive

crucs502-5g-upf-CRUPF019 alive

crucs502-5g-upf-CRUPF020 alive

crucs502-5g-upf-CRUPF021 alive

crucs502-5g-upf-CRUPF022 alive

crucs502-5g-upf-CRUPF023 alive

crucs502-5g-upf-CRUPF024 alive

crucs502-5g-upf-CRUPF025 alive

crucs502-5g-upf-CRUPF026 alive

crucs502-5g-upf-CRUPF027 alive

crucs502-cnat-cnat alive

crucs502-cnat-smi-cm alive

crucs502-esc-vnf-esc alive

verify the same in openstack (source the correct overcloud rc file)

(crucs502) [stack@crucs502-ospd ~]$ nova list --fields name,status,host |egrep "CRPCF507|cnat"

<truncated output>

| 3eb43fe7-9f41-42d8-afe4-80f6fd62c385 | crucs502-4g-CRPCF507-core-CRPCF5071 | ACTIVE | crucs502-compute-11.localdomain |

| cc678283-2967-4404-a714-e4dd78000e82 | crucs502-cnat-cnat-core-etcd1 | ACTIVE | crucs502-osd-compute-0.localdomain |

| 711d6fcd-b816-49d4-a702-e993765757b0 | crucs502-cnat-cnat-core-master3 | ACTIVE | crucs502-osd-compute-3.localdomain |

| 46f64bde-a8db-48f2-bf3d-fe3b01295f2f | crucs502-cnat-cnat-core-oam1 | ACTIVE | crucs502-osd-compute-3.localdomain |

| f470ba3d-813e-434b-aac8-78bc646fda22 | crucs502-cnat-cnat-core-oam2 | ACTIVE | crucs502-osd-compute-2.localdomain |

فشل الاسترداد

يوضح هذا المثال حالة فشل الاسترداد من ESC. وفي هذه الحالة، تتم إعادة نشر الجهاز الظاهري من شركة UAME.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli recovery-vm-action DO crucs502-4g-CRPC_CRPCF5_0_ee07bf60-a8f8-405f-9a0d-cfa7363e32e7

يظهر هذا الناتج رسالة الفشل في winesc.log

tail -50f /var/log/esc/yangesc.log

2020-05-05 02:57:21.143 WARN ===== SEND NOTIFICATION STARTS =====

2020-05-05 02:57:21.143 WARN Type: VM_RECOVERY_INIT

2020-05-05 02:57:21.143 WARN Status: SUCCESS

2020-05-05 02:57:21.143 WARN Status Code: 200

2020-05-05 02:57:21.143 WARN Status Msg: Recovery event for VM Generated ID [crucs502-4g-CRPC_CRPCF5_0_ee07bf60-a8f8-405f-9a0d-cfa7363e32e7] triggered.

2020-05-05 02:57:21.143 WARN Tenant: core

2020-05-05 02:57:21.143 WARN Deployment name: crucs502-4g-CRPCF507-core

2020-05-05 02:57:21.143 WARN VM group name: CRPCF5071

<output trimmed>

2020-05-05 02:57:21.144 WARN ===== SEND NOTIFICATION ENDS =====

2020-05-05 03:09:21.655 WARN

2020-05-05 03:09:21.655 WARN ===== SEND NOTIFICATION STARTS =====

2020-05-05 03:09:21.655 WARN Type: VM_RECOVERY_REBOOT

2020-05-05 03:09:21.655 WARN Status: SUCCESS

2020-05-05 03:09:21.655 WARN Status Code: 200

2020-05-05 03:09:21.655 WARN Status Msg: VM Generated ID [crucs502-4g-CRPC_CRPCF5_0_ee07bf60-a8f8-405f-9a0d-cfa7363e32e7] is rebooted.

2020-05-05 03:09:21.655 WARN Tenant: core

2020-05-05 03:09:21.655 WARN Deployment name: crucs502-4g-CRPCF507-core

2020-05-05 03:09:21.655 WARN VM group name: CRPCF5071

<output trimmed>

2020-05-05 03:09:21.656 WARN ===== SEND NOTIFICATION ENDS =====

2020-05-05 03:14:22.079 WARN

2020-05-05 03:14:22.079 WARN ===== SEND NOTIFICATION STARTS =====

2020-05-05 03:14:22.079 WARN Type: VM_RECOVERY_COMPLETE

2020-05-05 03:14:22.079 WARN Status: FAILURE

2020-05-05 03:14:22.079 WARN Status Code: 500

2020-05-05 03:14:22.079 WARN Status Msg: Recovery: Recovery completed with errors for VM: [crucs502-4g-CRPC_CRPCF5_0_ee07bf60-a8f8-405f-9a0d-cfa7363e32e7]

2020-05-05 03:14:22.079 WARN Tenant: core

2020-05-05 03:14:22.079 WARN Deployment name: crucs502-4g-CRPCF507-core

2020-05-05 03:14:22.079 WARN VM group name: CRPCF5071

<output trimmed>

تحقق من سياسة الاسترداد الخاصة ب ESC

في ESC، تتم إعادة تمهيد طريقة الاسترداد فقط. وهذا يوضح أنه تعذر إعادة الجهاز الظاهري مع إعادة التشغيل، يلزم إعادة النشر.

crucs502-esc-vnf-esc-core-esc-1# show running-config | include recovery_policy

recovery_policy recovery_type AUTO

recovery_policy action_on_recovery REBOOT_ONLY

recovery_policy max_retries 1

إعادة تأكيد حالة الجهاز الظاهري في UAME

مفسد (إبراز إلى القراءة)

ملاحظة هامة: تأتي إعادة النشر مع تكوين اليوم0. يلزم تحميل تكوين اليوم 1 بشكل منفصل.

ملاحظة هامة: تأتي إعادة النشر مع تكوين يوم0. يلزم تحميل تكوين اليوم 1 بشكل منفصل.

ubuntu@crucs502-uame-1:~$ /opt/cisco/usp/uas/confd-6.3.8/bin/confd_cli -u admin -C

Enter Password for 'admin':

elcome to the ConfD CLI

admin connected from 10.249.80.137 using ssh on crucs502-uame-1

crucs502-uame-1#

crucs502-uame-1#

crucs502-uame-1#show vnfr state

VNFR ID STATE

---------------------------------

crucs502-4g-CRPCF504 alive

crucs502-4g-CRPCF505 alive

crucs502-4g-CRPCF506 alive

crucs502-4g-CRPCF507 error

crucs502-4g-CRPCF604 alive

الخطوة 4. قم بإعادة نشر الأجهزة الافتراضية.

إعادة نشر الأجهزة الافتراضية من UAME

crucs502-uame-1# recover nsd-id crucs502-4g vnfd CRPCF507 recovery-action redeploy

فحص سجلات إعادة النشر

عرض سجلات UAME بالإضافة إلى سجلات ESC، قد تستغرق هذه العملية بأكملها ما يصل إلى 15 دقيقة.

سجلات UAME:

tail -50f /var/log/upstart /uame/log

<truncated output>

2020-05-06 08:57:22,252 - | VM_RECOVERY_DEPLOYED | CRPCF5071 | SUCCESS | Waiting for: VM_RECOVERY_COMPLETE|

2020-05-06 08:57:22,255 - Timing out in 143 seconds

2020-05-06 08:57:48,227 - | VM_RECOVERY_COMPLETE | crucs502-4g-CRPC_CRPCF5_0_ee07bf60-a8f8-405f-9a0d-cfa7363e32e7 | SUCCESS | (1/1)

2020-05-06 08:57:48,229 - NETCONF transaction completed successfully!

2020-05-06 08:57:48,231 - Released lock: esc_vnf_req

2020-05-06 08:57:48,347 - Deployment recover-vnf-deployment: crucs502-4g succeeded

2020-05-06 08:57:48,354 - Send Deployment notification for: crucs502-4g-CRPCF507

سجلات ESC:

tail -50f /var/log/esc/yangesc.log

2020-05-06 08:58:01.454 WARN Type: VM_RECOVERY_COMPLETE

2020-05-06 08:58:01.454 WARN Status: SUCCESS

2020-05-06 08:58:01.454 WARN Status Code: 200

2020-05-06 08:58:01.454 WARN Status Msg: Recovery: Successfully recovered VM [crucs502-4g-CRPC_CRPCF5_0_ee07bf60-a8f8-405f-9a0d-cfa7363e32e7].

2020-05-06 08:58:01.454 WARN Tenant: core

2020-05-06 08:58:01.454 WARN Deployment ID: 4f958c43-dfa4-45d4-a69d-76289620c337

2020-05-06 08:58:01.454 WARN Deployment name: crucs502-4g-CRPCF507-core

2020-05-06 08:58:01.454 WARN VM group name: CRPCF5071

<output trimmed>

تحقق من حالة الجهاز الظاهري. اتبع الإجراء في الخطوة 3.