DCNMを使用したNexus 9000 VXLAN共有ボーダーマルチサイト展開の構築

概要

このドキュメントでは、DCNM 11.2バージョンを使用して、共有ボーダーモデルを使用してCisco Nexus 9000 VXLANマルチサイト導入を導入する方法について説明します。 

トポロジ

トポロジの詳細

DC1とDC2は、vxlanを実行する2つのデータセンターの場所です。 

DC1およびDC2ボーダーゲートウェイは、共有ボーダーに物理接続されています。

共有境界には外部接続(例：インターネット);そのため、VRF Lite接続は共有ボーダーで終端され、デフォルトルートは共有ボーダーによって各サイトのボーダーゲートウェイに注入されます

共有ボーダーはvPCで設定されます（これは、ファブリックがDCNMを使用して展開される場合の要件です）。

ボーダーゲートウェイはエニーキャストモードで設定されます

使用するコンポーネント：

9.3(2)を実行するNexus 9ks

11.2バージョンを実行するDCNM

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。対象のネットワークが実稼働中である場合には、どのようなコマンドについても、その潜在的な影響について確実に理解しておく必要があります。

手順の概要

1)このドキュメントは、vxlanマルチサイト機能を使用する2台のデータセンターに基づいていると考えると、2つのEasy Fabricを作成する必要があります

2)共有ボーダー用の別の簡単なファブリックの作成

3) MSDを作成し、DC1とDC2を移動する

4)外部ファブリックの作成

5)マルチサイトアンダーレイとオーバーレイを作成（東/西）

6)共有境界でのVRF拡張アタッチメントの作成

ステップ 1：DC1向けEasy Fabricの作成

• DCNMにログインし、ダッシュボードからオプション – > [Fabric Builder]を選択します

• [create fabric]オプションを選択します

• 次に、ファブリック名、テンプレートを指定し、複数のタブを開きます。このタブには、ASN、ファブリックインターフェイスの番号付け、Any Cast Gateway MAC(AGM)などの詳細が必要です

#ファブリックインターフェイス（スパイン/リーフインターフェイス）は、「アンナンバード」またはポイントツーポイントにすることができます。unnumberedを使用すると、必要なIPアドレスは少なくなります（IPアドレスはunnumberedループバックのIPアドレスであるため）

# AGMは、デフォルトゲートウェイのMACアドレスとしてファブリック内のホストによって使用されます。これは、デフォルトゲートウェイであるすべてのリーフスイッチで同じです

• 次に、レプリケーションモードを設定します

#ここで選択するレプリケーションモードは、マルチキャストまたはIR-Ingress Replicationのいずれかです。IRはvxlan vlan内の着信BUMトラフィックをユニキャストで他のVTEPに複製します。これはヘッドエンドレプリケーションとも呼ばれ、マルチキャストモードは、スパインとスパインまでの各ネットワークに定義されたマルチキャストグループのBUMトラフィックを送信しますVTEP

# Multicast Group subnet->BUMトラフィック（ホストからのARP要求など）の複製に必要

# TRMを有効にする必要がある場合は、同じチェックボックスをオンにし、TRM VRFのMDTアドレスを指定します。 

• 「vPC」のタブはデフォルトのままになっています。バックアップSVI/VLANに変更が必要な場合は、ここで定義できます
• [詳細設定]タブは[次のセクション]です

#ここに記載されているサイトIDは、このDCNMバージョンに自動入力されます。このバージョンは、[General]タブで定義されたASNから取得されます

#関連するその他のフィールドに入力/変更します

• [Resources]タブは、ループバック、アンダーレイのIPアドレッシング方式を必要とする次のタブです

# Layer 2 VXLAN VNI Range->これらは後でVlanにマッピングされるVNIDです（さらに下に表示されます）

# Layer 3 VXLAN VNI Range->これらは、後でレイヤ3 VNI VlanからVn-segmentにマッピングされるレイヤ3 VNIDです

• その他のタブは、ここでは表示されません。必要に応じて、他のタブに入力します。 

• 保存すると、Fabric BuilderページにFabric(From DCNM-> Control-> Fabric Builder)が表示されます

#このセクションでは、各ファブリックのファブリック、ASN、レプリケーション・モードの完全なリストを示します

• 次の手順は、DC1ファブリックにスイッチを追加することです

ステップ 2：DC1ファブリックへのスイッチの追加

上の図のDC1をクリックすると、スイッチを追加するオプションが表示されます。

• DC1ファブリックへのインポートが必要なスイッチのIPアドレスとクレデンシャルを提供します（このドキュメントの最初に記載されているトポロジに従って、DC1-VTEP、DC1-SPINE、DC1-BGW1 & DC1-BGW2は1）

#これはグリーンフィールドの導入であるため、「preserve config」オプションが「NO」として選択されていることに注意してください。インポート中にボックスのすべての設定が削除され、スイッチもリロードされます

# [Start discovery]を選択して、DCNMが[seed IP]列に表示されたIPアドレスに基づいてスイッチの検出を開始するようにします

• DCNMがスイッチの検出を完了すると、IPアドレスとホスト名がインベントリ管理にリストされます

#関連するスイッチを選択し、[Import into fabric]をクリックします

#インポートが完了すると、Fabric Builderの下のトポロジは次のようになります。

#スイッチは、1台のスイッチをクリックして、図内の適切な位置に配置することで移動できます

#レイアウトが必要な順序でスイッチを並べ替えた後、「レイアウトの保存」セクションを選択します

• すべてのスイッチのロールの設定

#各スイッチを右クリックし、適切な役割を設定します。ここで、DC1-BGW1とDC1-BGW2はボーダーゲートウェイです

# DC1-SPINE->ロールに設定 – Spine、DC1-VTEP->ロール – リーフに設定

• 次のステップは、保存して導入することです

# DCNMではスイッチがリストされ、DCNMがすべてのスイッチにプッシュする設定のプレビューも表示されます。

#成功すると、ステータスが反映され、スイッチも緑色で表示されます

ステップ 3：ネットワーク/VRFの設定

• ネットワーク/VRFの設定

# DC1 Fabric（右上のドロップダウンから）、Control > VRFsの順に選択します

#次にVRFの作成を行います

# 11.2 DCNMバージョンはVRF IDを自動入力しています。[Different]の場合は、必要なVRFを入力し、[Create VRF]を選択します

#ここで、使用されるレイヤ3 VNIDは1001445です

• 次に、ネットワークを作成します

#ネットワークID(レイヤ2 Vlanの対応するVNID

# SVIが属するVRFを指定します。デフォルトでは、DCNM 11.2によってVRF名が以前に作成されたものに設定されます。必要に応じて変更

# Vlan IDは、この特定のVNIDにマッピングされたレイヤ2 VLanになります

# IPv4 Gateway->これはエニーキャストゲートウェイIPアドレスで、SVIで設定され、ファブリック内のすべてのVTEPで同じです

• [詳細設定]タブには、たとえば、DHCPリレーが使用している。

#フィールドに入力したら、[Create Network]をクリックします。

#このファブリックの一部として必要な他のネットワークを作成します。 

• この時点で、VRFとネットワークはDCNMで定義されています。DCNMからファブリック内のスイッチにはプッシュされません。これは次の方法で確認できます

#ステータスは、スイッチに導入されていない場合は「NA」になります。これはマルチサイトであり、ボーダーゲートウェイが関与するため、ネットワーク/VRFの導入については詳細に説明します。

ステップ 4：DC2についても同じ手順を繰り返します

• これでDC1が完全に定義されたので、DC2についても同じ手順を実行します
• DC2が完全に定義されると、次のようになります

ステップ 5：共有境界のための簡単なファブリックの作成

• ここでも、vPC内の共有境界を含む簡単なファブリックが作成されます
• DCNMを介して展開する際の共有境界は、vPCとして設定する必要があります。そうでない場合は、DCNMで「再同期」操作が実行された後に、スイッチ間リンクがシャットダウンされます
• 共有境界のスイッチは、「境界」の役割で設定します

# VRFは、DC1およびDC2ファブリックと同様に作成されます

#共有ボーダーにはレイヤ2 Vlan/VNIDがないため、共有ボーダーではネットワークは必要ありません。共有境界は、DC1からDC2への東/西トラフィックのトンネル終端ではありません。East/West DC1<>DC2トラフィックのvxlanカプセル化/カプセル化解除に関しては、ボーダーゲートウェイだけが役割を果たします

手順6:MSDの作成とDC1およびDC2ファブリックの移動

Fabric Builderに移動し、新しいファブリックを作成し、テンプレート – > MSD_Fabric_11_1を使用します

#マルチサイトオーバーレイIFC展開方法は「centralized_To_Route_Server」である必要があります。ここでは、共有境界はルートサーバと見なされるため、このオプションはドロップダウンから使用します

# "Multisite Route Server List";次に、共有境界のLoopback0（ルーティングループバック）のループバックIPアドレスを見つけ、記入します

# ASNは共有ボーダー上の1つです（詳細については、このドキュメントの上の図を参照してください）。このドキュメントでは、両方の共有境界を同じASNで設定します。それに応じて記入してください

• 次のタブでは、マルチサイトループバックIPの範囲を次のように指定します

#すべてのフィールドに入力したら、[save]ボタンをクリックします。テンプレート – > MSDで新しいファブリックが作成されます

#次に、DC1およびDC2ファブリックをこのMSDに移動します

#ファブリックの移動後、次のようになります

#完了したら、[save&Deploy]ボタンをクリックします。このボタンをクリックすると、マルチサイトがボーダーゲートウェイに関する限り、必要な設定がプッシュされます

手順 7：外部ファブリックの作成

#外部ファブリックを作成し、次のように外部ルータを追加します。

#ファブリックに名前を付け、テンプレートを使用します – > "External_Fabric_11_1"; 

# ASNを入力します。

#最後に、さまざまなファブリックは次のようになります

ステップ 8：BGW間のループバック到達可能性のためのeBGPアンダーレイ（共有境界間のiBGPも同様）

#共有境界は、外部ルータへのボーダーゲートウェイおよびVRF-LITE接続を使用してeBGP l2vpn evpnを実行します

#ループバックでeBGP l2vpn evpnを形成する前に、ループバックが何らかの方法で到達可能であることを確認する必要があります。この例では、BGWから共有ボーダーへのeBGP IPv4 AFを使用し、ループバックをアドバタイズしてl2vpn evpnネイバーシップをさらに形成します。

# MSDファブリックを選択したら、「表形式」に切り替えます。

# 「インターファブリック」を選択し、「Multisite_UNDERLAY」を使用します

#ここでは、共有ボーダルータとのIPv4 BGPネイバーシップを形成しようとしています。スイッチとインターフェイスを適宜選択します。

# CDPがDC1-BGW1からSB1へのネイバーを検出している場合は、このセクションでIPアドレスを指定するだけで、「save & Deploy」を実行した後に関連するインターフェイスのIPアドレスを効果的に設定できます

# [Save and deploy]を選択すると、DC1-BGW1に必要な設定行が伝播されます。「共有ボーダー」ファブリックを選択した後も、同じ手順を実行する必要があります。 

# CLIから、次のコマンドを使用して同じことを確認できます。

DC1-BGW1# show ip bgp sum
BGP summary information for VRF default, address family IPv4 Unicast
BGP router identifier 10.10.10.1, local AS number 65000
BGP table version is 11, IPv4 Unicast config peers 1, capable peers 1
2 network entries and 2 paths using 480 bytes of memory
BGP attribute entries [1/164], BGP AS path entries [0/0]
BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.4.10.2       4 65001       6       7       11    0    0 00:00:52 0 

# 「save&Deploy」はDC1ファブリックでも実行する必要があります（DC1のドロップダウンを選択し、同じ操作を行います）。これにより、関連IPアドレッシング、BGP設定がDC1（ボーダーゲートウェイ）のスイッチに伝播されます。

#マルチサイトアンダーレイは、DC1-BGW、DC2-BGWから共有境界に作成する必要があります。したがって、上記と同じ手順で同じ手順を実行する必要があります。

#最後に、共有ボーダーには、次のようにDC1およびDC2のすべてのBGWとのeBGP IPv4 AFネイバーシップが設定されます。

SHARED-BORDER1# sh ip bgp sum
BGP summary information for VRF default, address family IPv4 Unicast
BGP router identifier 10.10.100.1, local AS number 65001
BGP table version is 38, IPv4 Unicast config peers 4, capable peers 4
18 network entries and 20 paths using 4560 bytes of memory
BGP attribute entries [2/328], BGP AS path entries [2/12]
BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.4.10.1       4 65000    1715    1708       38    0    0    1d03h 5         
10.4.10.6       4 65000    1461    1458       38    0    0    1d00h 5         
10.4.10.18      4 65002    1459    1457       38    0    0    1d00h 5         
10.4.10.22      4 65002    1459    1457       38    0    0    1d00h 5    

SHARED-BORDER2# sh ip bgp sum
BGP summary information for VRF default, address family IPv4 Unicast
BGP router identifier 10.10.100.2, local AS number 65001
BGP table version is 26, IPv4 Unicast config peers 4, capable peers 4
18 network entries and 20 paths using 4560 bytes of memory
BGP attribute entries [2/328], BGP AS path entries [2/12]
BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.4.10.10      4 65000    1459    1458       26    0    0    1d00h 5         
10.4.10.14      4 65000    1461    1458       26    0    0    1d00h 5         
10.4.10.26      4 65002    1459    1457       26    0    0    1d00h 5         
10.4.10.30      4 65002    1459    1457       26    0    0    1d00h 5 

#上記は、BGWから共有ボーダーへのl2vpn evpnネイバーシップを構築する前の前提条件です(BGPを使用する場合は必須ではないことに注意してください。ループバックプレフィックスを交換するその他のメカニズムは行います)。最後に、基本的な要件は、すべてのループバック（共有ボーダーのBGW）がすべてのBGWから到達可能であるということです

#共有境界間でiBGP IPv4 AFネイバーシップを確立する必要があることに注意してください。現在、DCNMには、テンプレート/ドロップダウンを使用して共有境界間でiBGPを構築するオプションはありません。そのためには、次に示すフリーフォーム設定を行う必要があります。

#共有境界のバックアップSVIに設定されているIPアドレスを見つけます。上記のように、freeformがShared-border1スイッチに追加され、iBGPネイバーがShared-border2(10.100.100.2)のネイバーとして指定されます

# DCNMのフリーフォーム内で設定を行う際には、各コマンドの後に正しい間隔を指定します(スペースは偶数のままにします。つまり、router bgp 65001の後に2つのスペースを指定し、neighbor <>コマンドなどを指定します)

#また、BGPまたはループバックをアドバタイズする他の形式の直接ルート（ループバックルート）に対してredistribute directを実行してください。上記の例では、すべての直接ルートに一致するルートマップダイレクトが作成され、その後でIPv4 AF BGP内で直接の再配布が行われます

# DCNMから設定を「保存して導入」すると、次のようにiBGPネイバーシップが形成されます。

SHARED-BORDER1# sh ip bgp sum
BGP summary information for VRF default, address family IPv4 Unicast
BGP router identifier 10.10.100.1, local AS number 65001
BGP table version is 57, IPv4 Unicast config peers 5, capable peers 5
18 network entries and 38 paths using 6720 bytes of memory
BGP attribute entries [4/656], BGP AS path entries [2/12]
BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.4.10.1       4 65000    1745    1739       57    0    0    1d04h 5         
10.4.10.6       4 65000    1491    1489       57    0    0    1d00h 5         
10.4.10.18      4 65002    1490    1487       57    0    0    1d00h 5         
10.4.10.22      4 65002    1490    1487       57    0    0    1d00h 5         
10.100.100.2    4 65001      14       6       57    0    0 00:00:16 18 # iBGP neighborship from shared border1 to shared border2

#上記の手順では、マルチサイトアンダーレイが完全に設定されています。

#次に、マルチサイトオーバーレイを構築します。

手順 9：BGWから共有境界へのマルチサイトオーバーレイの構築

#ここで、共有境界はルートサーバでもあります

# MSDを選択し、「表形式」ビューに移動して、新しいリンクを作成できます。そこから、新しいマルチサイトオーバーレイリンクを作成する必要があり、関連するIPアドレスに正しいASNを指定する必要があります。この手順は、すべてのl2vpn evpnネイバー（すべてのBGWから各共有ボーダーへ）に対して実行する必要があります

#上記は一例です。他のすべてのマルチサイトオーバーレイリンクについても同じ手順を実行し、最後にCLIは次のようになります。

SHARED-BORDER1# sh bgp l2vpn evpn summary 
BGP summary information for VRF default, address family L2VPN EVPN
BGP router identifier 10.10.100.1, local AS number 65001
BGP table version is 8, L2VPN EVPN config peers 4, capable peers 4
1 network entries and 1 paths using 240 bytes of memory
BGP attribute entries [1/164], BGP AS path entries [0/0]
BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.10.10.1      4 65000      21      19        8    0    0 00:13:52 0         
10.10.10.2      4 65000      22      20        8    0    0 00:14:14 0         
10.10.20.1      4 65002      21      19        8    0    0 00:13:56 0         
10.10.20.2      4 65002      21      19        8    0    0 00:13:39 0         

SHARED-BORDER2# sh bgp l2vpn evpn summary 
BGP summary information for VRF default, address family L2VPN EVPN
BGP router identifier 10.10.100.2, local AS number 65001
BGP table version is 8, L2VPN EVPN config peers 4, capable peers 4
1 network entries and 1 paths using 240 bytes of memory
BGP attribute entries [1/164], BGP AS path entries [0/0]
BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.10.10.1      4 65000      22      20        8    0    0 00:14:11 0         
10.10.10.2      4 65000      21      19        8    0    0 00:13:42 0         
10.10.20.1      4 65002      21      19        8    0    0 00:13:45 0         
10.10.20.2      4 65002      22      20        8    0    0 00:14:15 0

手順 10：ネットワーク/VRFの両方のサイトへの展開

#マルチサイトのアンダーレイとオーバーレイを終了したら、次にネットワーク/VRFをすべてのデバイスに導入します。

#ファブリック上のVRF-> DC1、DC2、および共有ボーダーから始まります。

# VRFビューを選択したら、[continue]をクリックします。これにより、トポロジ内のデバイスが一覧表示されます

# VRFは複数のスイッチ（ボーダーゲートウェイおよびリーフを含む）に展開する必要があるため、右端のチェックボックスをオンにし、一度に同じロールを持つスイッチを選択します。例：DC1-BGW1とDC1-BGW2を一度に選択し、両方のスイッチを保存できます。この後、適用可能なリーフスイッチを選択します（ここではDC1-VTEPになります）

#上記のように、「Deploy」オプションを選択すると、以前に選択したすべてのスイッチが導入を開始し、導入が成功すると最終的に緑色に変わります。

#ネットワークの導入にも同じ手順を実行する必要があります。

#複数のネットワークが作成されている場合は、展開する前に後続のタブに移動してネットワークを選択してください

#ステータスは「NA」から「DEPLOYED」に変わり、次のスイッチのCLIを使用して導入を確認できます

DC1-VTEP# sh nve vni
Codes: CP - Control Plane        DP - Data Plane          
       UC - Unconfigured         SA - Suppress ARP        
       SU - Suppress Unknown Unicast 
       Xconn - Crossconnect      
       MS-IR - Multisite Ingress Replication
 
Interface VNI      Multicast-group   State Mode Type [BD/VRF]      Flags
--------- -------- ----------------- ----- ---- ------------------ -----
nve1      100144   239.1.1.144       Up    CP   L2 [144]                # Network1 which is VLan 144 mapped to VNID 100144
nve1      100145   239.1.1.145       Up    CP   L2 [145]                # Network2 Which is Vlan 145 mapped to VNID 100145
nve1      1001445  239.100.100.100   Up    CP   L3 [tenant-1]           # VRF- tenant1 which is mapped to VNID 1001445

DC1-BGW1# sh nve vni
Codes: CP - Control Plane        DP - Data Plane          
       UC - Unconfigured         SA - Suppress ARP        
       SU - Suppress Unknown Unicast 
       Xconn - Crossconnect      
       MS-IR - Multisite Ingress Replication
 
Interface VNI      Multicast-group   State Mode Type [BD/VRF]      Flags
--------- -------- ----------------- ----- ---- ------------------ -----
nve1      100144   239.1.1.144       Up    CP   L2 [144]           MS-IR 
nve1      100145   239.1.1.145       Up    CP   L2 [145]           MS-IR 
nve1      1001445  239.100.100.100   Up    CP   L3 [tenant-1]  

#上記はBGWからのものでもあります。つまり、先ほど手順で選択したスイッチはすべて、ネットワークとVRFとともに導入されます

#ファブリックDC2、共有ボーダーにも同じ手順を実行する必要があります。共有境界には、ネットワークやレイヤ2 VNIDは必要ないことに注意してください。L3 VRFだけが必要です。

ステップ 11：リーフスイッチ/VTEPでのダウンストリームトランク/アクセスポートの作成

#このトポロジでは、DC1-VTEPおよびDC2-VTEPからのポートEth1/2およびEth1/1がそれぞれホストに接続されています。DCNM GUIでトランクポートとして次のように移動します

#関連するインターフェイスを選択し、「許可されるvlan」を「none」から「all」（または許可が必要なvlanのみ）に変更します

ステップ 12：共有ボーダーに自由形式が必要

#共有ボーダースイッチはルートサーバであるため、BGP l2vpn evpnネイバーシップに関して変更を加える必要があります

#サイト間BUMトラフィックはユニキャストを使用して複製されます。つまり、BGWに到達した後にVlan 144（例）内のすべてのBUMトラフィックを意味します。BGWが指定フォワーダ(DF)であるかに応じて、DFはリモートサイトへのユニキャストレプリケーションを実行します。この複製は、BGWがリモートBGWからタイプ3ルートを受信した後に行われます。ここでは、BGWは共有ボーダーを使用したl2vpn evpnピアリングのみを形成しています。共有ボーダーにはレイヤ2 VNIDを設定しないでください（作成すると、East/Westトラフィックがブラックホール化します）。 レイヤ2 VNIDが欠落しており、ルートタイプ3はVNIDごとにBGWによって生成されるため、共有境界はBGWから着信するBGPアップデートを受け入れません。これを修正するには、AF l2vpn evpnの下の「retain route-target all」を使用します

#もう1つのポイントは、共有ボーダーがネクストホップを変更しないようにすることです（BGP BYデフォルトではeBGPネイバーシップのネクストホップが変更されます）。ここでは、サイト1から2へのユニキャストトラフィック用のサイト間トンネルおよびサイト1から2へのユニキャストトラフィック用のサイト間トンネルは、BGWからBGW（dc1からdc2へ、またはその逆）である必要があります。これを実現するには、共有ボーダーから各BGWへのすべてのl2vpn evpnネイバーシップに対して、ルートマップを作成して適用する必要があります

#上記の両方の点では、以下のような共有ボーダーにフリーフォームを使用する必要があります

route-map direct
route-map unchanged
  set ip next-hop unchanged  
router bgp 65001
  address-family ipv4 unicast
    redistribute direct route-map direct
  address-family l2vpn evpn
    retain route-target all
  neighbor 10.100.100.2
    remote-as 65001
    address-family ipv4 unicast
      next-hop-self
  neighbor 10.10.10.1
    address-family l2vpn evpn
      route-map unchanged out
  neighbor 10.10.10.2
    address-family l2vpn evpn
      route-map unchanged out
  neighbor 10.10.20.1
    address-family l2vpn evpn
      route-map unchanged out
  neighbor 10.10.20.2
    address-family l2vpn evpn
      route-map unchanged out

ステップ 13：BGW上のテナントVRF内のループバック

#リーフスイッチ内に接続されたホストからの北/南トラフィックの場合、BGWはNVE Loopback1 IPアドレスの外部SRC IPを使用します。共有境界は、BGWのマルチサイトループバックIPアドレスを使用したNVEピアリングをデフォルトでのみ形成します。そのため、vxlanパケットがBGW Loopback1の外部SRC IPアドレスを持つ共有境界に到達すると、SRCTEP Missが原因でパケットがドロップされます。これを回避するには、テナントVRF内のループバックを各BGWスイッチで作成し、次にBGPにアドバタイズして、共有境界がこのアップデートを受信し、BGW Loopback1 IPアドレスを使用してNVEピアリングを形成するする必要があります。

#最初は、NVEピアリングは共有境界で次のようになります

SHARED-BORDER1# sh nve pee
Interface Peer-IP                                 State LearnType Uptime   Router-Mac       
--------- --------------------------------------  ----- --------- -------- -----------------
nve1      10.222.222.1                            Up    CP        01:20:09 0200.0ade.de01   # Multisite Loopback 100 IP address of DC1-BGWs
nve1      10.222.222.2                            Up    CP        01:17:43 0200.0ade.de02   # Multisite Loopback 100 IP address of DC2-BGWs

#上に示すように、loopback2はDCNMから作成され、テナント1 VRFで設定されます。これは、ルートマップがアドバタイズメントを作成する際にループバックと一致させるために使用するタグであるため、12345のタグが付与されます

DC1-BGW1# sh run vrf tenant-1 

!Command: show running-config vrf tenant-1
!Running configuration last done at: Tue Dec 10 17:21:29 2019
!Time: Tue Dec 10 17:24:53 2019

version 9.3(2) Bios:version 07.66 

interface Vlan1445
  vrf member tenant-1

interface loopback2
  vrf member tenant-1
vrf context tenant-1
  vni 1001445
  ip pim rp-address 10.49.3.100 group-list 224.0.0.0/4
  ip pim ssm range 232.0.0.0/8
  rd auto
  address-family ipv4 unicast
    route-target both auto
    route-target both auto mvpn
    route-target both auto evpn
  address-family ipv6 unicast
    route-target both auto
    route-target both auto evpn
router bgp 65000
 vrf tenant-1
    address-family ipv4 unicast
      advertise l2vpn evpn
 redistribute direct route-map fabric-rmap-redist-subnet
      maximum-paths ibgp 2
    address-family ipv6 unicast
      advertise l2vpn evpn
      redistribute direct route-map fabric-rmap-redist-subnet
      maximum-paths ibgp 2


DC1-BGW1# sh route-map fabric-rmap-redist-subnet 
route-map fabric-rmap-redist-subnet, permit, sequence 10 
  Match clauses:
 tag: 12345 
  Set clauses:

#この手順の後、NVEピアリングは、マルチサイトループバックIPアドレスとともに、すべてのLoopback1 IPアドレスについて表示されます。

SHARED-BORDER1# sh nve pee
Interface Peer-IP                                 State LearnType Uptime   Router-Mac       
--------- --------------------------------------  ----- --------- -------- -----------------
nve1      192.168.20.1                            Up    CP        00:00:01 b08b.cfdc.2fd7   
nve1      10.222.222.1                            Up    CP        01:27:44 0200.0ade.de01   
nve1      192.168.10.2                            Up    CP        00:01:00 e00e.daa2.f7d9   
nve1      10.222.222.2                            Up    CP        01:25:19 0200.0ade.de02   
nve1      192.168.10.3                            Up    CP        00:01:43 6cb2.aeee.0187   
nve1      192.168.20.3                            Up    CP        00:00:28 005d.7307.8767   

#この段階では、East/Westトラフィックを正しく転送する必要があります

ステップ 14：共有境界から外部ルータへのVRFLITE拡張

#ファブリック外のホストがファブリック内のホストと通信する必要がある状況が発生します。この例では、共有境界でも同じことが可能です。 

# DC1またはDC2に存在するすべてのホストは、共有ボーダースイッチを介して外部ホストと通信できます。

#そのためには、共有ボーダーがVRF Liteを終端します。この例では、最初の図に示すように、eBGPが共有境界から外部ルータに実行されています。

# DCNMからこれを設定するには、vrf拡張の添付ファイルを追加する必要があります。次の手順は、同じことを実現するためのものです。

a)共有境界から外部ルータへのファブリック間リンクの追加

# Fabric Builderのスコープを「共有ボーダー」に選択し、表形式ビューに変更

#リンクを選択し、次に示すように「Inter-Fabric」リンクを追加します

# VRF LITEサブタイプをドロップダウンから選択する必要があります

#送信元ファブリックは共有境界であり、宛先ファブリックは外部です。これはSBから外部へのVRF LITEになります

#外部ルータに向かう関連インターフェイスを選択します

# IPアドレスとマスク、およびネイバーIPアドレスを指定します

# ASNは自動入力されます。

#これを行ったら、[Save]をクリックします

#共有境界とVRFLITE内のすべての外部レイヤ3接続の両方で同じことを実行します

b) VRF拡張の追加

# [Shared Border VRF]セクションに移動します

#VRFは導入済みステータスになります。複数のスイッチを選択できるように、右側のチェックボックスをオンにします

#共有境界を選択すると、[VRF EXtension attachment]ウィンドウが開きます

# [extend]の下で、[None]から[VRFLITE]に変更します

#共有境界の両方で同じことを行います

#これが完了すると、「Extension Details」が上記の手順a)で指定したVRF LITEインターフェイスに入力されます。

# DOT1Q IDは自動的に2に入力されます

#その他のフィールドも自動入力

# IPv6ネイバーシップをVRFLITE経由で確立する必要がある場合は、手順a)をIPv6に対して実行する必要があります

#ここで、[Save]をクリックします

#最後に、Webページの右上にある「Deploy」を実行します。

#導入が成功すると、それらのサブインターフェイスのIPアドレスの設定や、外部ルータとのBGP IPv4ネイバーシップの確立など、設定が共有境界にプッシュされます

#この場合、外部ルータの設定（サブインターフェイスのIPアドレスの設定とBGPネイバーシップステートメント）は、CLIによって手動で行われることに注意してください。

# CLIの検証は、次のコマンドを両方の共有境界で実行できます。

SHARED-BORDER1# sh ip bgp sum vr tenant-1 
BGP summary information for VRF tenant-1, address family IPv4 Unicast
BGP router identifier 172.16.22.1, local AS number 65001
BGP table version is 18, IPv4 Unicast config peers 1, capable peers 1
9 network entries and 11 paths using 1320 bytes of memory
BGP attribute entries [9/1476], BGP AS path entries [3/18]
BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
172.16.22.2     4 65100      20      20       18    0    0 00:07:59 1  

SHARED-BORDER2# sh ip bgp sum vr tenant-1 
BGP summary information for VRF tenant-1, address family IPv4 Unicast
BGP router identifier 172.16.222.1, local AS number 65001
BGP table version is 20, IPv4 Unicast config peers 1, capable peers 1
9 network entries and 11 paths using 1320 bytes of memory
BGP attribute entries [9/1476], BGP AS path entries [3/18]
BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
172.16.222.2    4 65100      21      21       20    0    0 00:08:02 1    

#上記のすべての設定で、次に示すようにNorth/South到達可能性も確立されます（外部ルータからファブリック内のホストへのping）

EXT_RTR# ping 172.16.144.1                                   # 172.16.144.1 is Host in DC1 Fabric
PING 172.16.144.1 (172.16.144.1): 56 data bytes
64 bytes from 172.16.144.1: icmp_seq=0 ttl=251 time=0.95 ms
64 bytes from 172.16.144.1: icmp_seq=1 ttl=251 time=0.605 ms
64 bytes from 172.16.144.1: icmp_seq=2 ttl=251 time=0.598 ms
64 bytes from 172.16.144.1: icmp_seq=3 ttl=251 time=0.568 ms
64 bytes from 172.16.144.1: icmp_seq=4 ttl=251 time=0.66 ms
^[[A^[[A
--- 172.16.144.1 ping statistics ---
5 packets transmitted, 5 packets received, 0.00% packet loss
round-trip min/avg/max = 0.568/0.676/0.95 ms

EXT_RTR# ping 172.16.144.2                                  # 172.16.144.2 is Host in DC2 Fabric                
PING 172.16.144.2 (172.16.144.2): 56 data bytes
64 bytes from 172.16.144.2: icmp_seq=0 ttl=251 time=1.043 ms
64 bytes from 172.16.144.2: icmp_seq=1 ttl=251 time=6.125 ms
64 bytes from 172.16.144.2: icmp_seq=2 ttl=251 time=0.716 ms
64 bytes from 172.16.144.2: icmp_seq=3 ttl=251 time=3.45 ms
64 bytes from 172.16.144.2: icmp_seq=4 ttl=251 time=1.785 ms

--- 172.16.144.2 ping statistics ---
5 packets transmitted, 5 packets received, 0.00% packet loss
round-trip min/avg/max = 0.716/2.623/6.125 ms

# tracerouteは、パケットのパス内の正しいデバイスを指します

EXT_RTR# traceroute 172.16.144.1 
traceroute to 172.16.144.1 (172.16.144.1), 30 hops max, 40 byte packets
 1  SHARED-BORDER1 (172.16.22.1)  0.914 ms  0.805 ms  0.685 ms
 2  DC1-BGW2 (172.17.10.2)  1.155 ms DC1-BGW1 (172.17.10.1)  1.06 ms  0.9 ms
 3  ANYCAST-VLAN144-IP (172.16.144.254) (AS 65000)  0.874 ms  0.712 ms  0.776 ms
 4  DC1-HOST (172.16.144.1) (AS 65000)  0.605 ms  0.578 ms  0.468 ms

EXT_RTR# traceroute 172.16.144.2
traceroute to 172.16.144.2 (172.16.144.2), 30 hops max, 40 byte packets
 1  SHARED-BORDER2 (172.16.222.1)  1.137 ms  0.68 ms  0.66 ms
 2  DC2-BGW2 (172.17.20.2)  1.196 ms DC2-BGW1 (172.17.20.1)  1.193 ms  0.903 ms
 3  ANYCAST-VLAN144-IP (172.16.144.254) (AS 65000)  1.186 ms  0.988 ms  0.966 ms
 4  172.16.144.2 (172.16.144.2) (AS 65000)  0.774 ms  0.563 ms  0.583 ms
EXT_RTR#