VMware Cloud Foundation（VCF）5.2.1 で、SDDC Manager から BGP を利用する NSX Edge クラスタを展開してみます。今回は、Management Workload Domain に Edge Cluster を追加します。
前回はこちら。
今回の内容です。
Edge Cluster を追加するウィザードのなかで、BGP の ASN などを指定します。
1. 事前準備
以前に投稿した、下記の BGP を使用しない NSX Edge Cluster の手順と同様に、物理 ネットワークと DNS レコードの準備が必要です。ただし、これらのネットワークに対応するポートグループの事前作成は不要です。
- Edge ノードの TEP ネットワーク
- ネットワーク： 192.168.75.0/24
- VLAN： 75
- Tier-0 ゲートウェイ（NSX Edge）のアップリンク ネットワーク #1
- ネットワーク： 192.168.76.0/24
- VLAN： 76
- Tier-0 ゲートウェイ（NSX Edge）のアップリンク ネットワーク #2
- ネットワーク： 192.168.77.0/24
- VLAN： 77
Edge ノードの管理ネットワークの FQDN として、DNS サーバに下記の正引き（A）と逆引き（PTR）レコードを登録しておきます。
- vcf-m01-edge-01.c.go-lab.jp → 192.168.70.16
- vcf-m01-edge-02.c.go-lab.jp → 192.168.70.17
2. NSX Edge Cluster の追加
Management Domain に Edge Cluster をデプロイします。
SDDC Manager にログインして、「インベントリ」→「ワークロード ドメイン」を開き、Management Domain（ここでは vcf-m01）の画面を開きます。
「アクション」→「Edge クラスタの追加」をクリックします。
「Edge クラスタの前提条件」が表示されるので、すべてのチェックを ON にして、「開始」ボタンをクリックします。
「一般情報」では、下記を入力して「次へ」をクリックします。
- Edge クラスタ名：vcf-m01-edge-cluster
- MTU：1700
- Tier-0 ルーター名：vcf-m01-t0
- Tier-1 ルーター名：vcf-m01-t1
- Edge クラスタ プロファイルのタイプ：デフォルト
- パスワードの作成
- Edge root パスワード
- Edge 管理者パスワード（admin ユーザのパスワード）
- 監査パスワード（audit ユーザのパスワード）
「Edge クラスタの設定」では、下記のパラメータを入力して「次へ」をクリックします。
- この Edge クラスタを何に使用しますか？：カスタム
- Edge フォーム ファクタ：中規模
- Tier-0 サービスの高可用性：アクティブ/アクティブ
- Tier-0 ルーティング タイプ：EBGP
- ASN：65002
「Edge ノード」画面で、1台目の Edge ノードを追加します。下記のパラメータを入力して、画面をスクロールします。
- Edge ノード名 (FQDN)： vcf-m01-edge-01.c.go-lab.jp
- vSphere クラスタの詳細
- クラスタ： vcf-m01-cl01
- クラスタ タイプ： L2 同型
Edge ノードの詳細を入力して、下にスクロールします。
- Edge ノードの詳細
- 管理 IP アドレス (CIDR)：192.168.70.16/24
- 管理ゲートウェイ：192.168.70.1
- 仮想マシン管理ポートグループ VLAN：70 ※自動入力で固定値
- 仮想マシン管理ポートグループ名：（これも自動入力で固定値）
- Edge TEP 1 の IP アドレス (CIDR)：192.168.75.16/24
- Edge TEP 2 の IP アドレス (CIDR)：192.168.75.18/24
- Edge TEP ゲートウェイ：192.168.75.1
- Edge TEP VLAN：75
ひきつづき、Edge ノードのパラメータを入力します。
- 1番目の Tier-0 アップリンク
- Tier-0 アップリンク VLAN： 76
- Tier-0 アップリンク インターフェイスの IP アドレス (CIDR)： 192.168.76.16/24
- 1番目の Tier-0 アップリンクの BGP ピア設定
- BGP ピアの IP アドレス (CIDR)：192.168.76.1/24
- BGP ピア ASN：65001
- BGP ピア パスワード：空欄のまま
残りの Edge ノードのパラメータを入力して、「EDGE ノードの追加」ボタンをクリックします。
- 1番目の Tier-0 アップリンク
- Tier-0 アップリンク VLAN： 77
- Tier-0 アップリンク インターフェイスの IP アドレス (CIDR)： 192.168.77.16/24
- 1番目の Tier-0 アップリンクの BGP ピア設定
- BGP ピアの IP アドレス (CIDR)：192.168.77.1/24
- BGP ピア ASN：65001
- BGP ピア パスワード：空欄のまま
1台目の Edge ノードが追加されたので、最後にある「EDGE ノードの追加」リンクをクリックして、ページの上部に移動します。
2台目の Edge ノードのパラメータに合わせて、1台目の入力値を修正します。差分は赤字にしてあります。
- Edge ノード名 (FQDN)： vcf-m01-edge-02.c.go-lab.jp
- vSphere クラスタの詳細
- クラスタ： vcf-m01-cl01
- クラスタ タイプ： L2 同型
Edge ノードの詳細を入力して、下にスクロールします。
- Edge ノードの詳細
- 管理 IP アドレス (CIDR)：192.168.70.17/24
- 管理ゲートウェイ：192.168.70.1
- 仮想マシン管理ポートグループ VLAN：70 ※自動入力で固定値
- 仮想マシン管理ポートグループ名：（これも自動入力で固定値）
- Edge TEP 1 の IP アドレス (CIDR)：192.168.75.17/24
- Edge TEP 2 の IP アドレス (CIDR)：192.168.75.19/24
- Edge TEP ゲートウェイ：192.168.75.1
- Edge TEP VLAN：75
ひきつづき、Edge ノードのパラメータを入力します。
- 1番目の Tier-0 アップリンク
- Tier-0 アップリンク VLAN： 76
- Tier-0 アップリンク インターフェイスの IP アドレス (CIDR)： 192.168.76.17/24
- 1番目の Tier-0 アップリンクの BGP ピア設定
- BGP ピアの IP アドレス (CIDR)：192.168.76.1/24
- BGP ピア ASN：65001
- BGP ピア パスワード：空欄のまま
残りの Edge ノードのパラメータを入力して、「EDGE ノードの追加」ボタンをクリックします。
- 1番目の Tier-0 アップリンク
- Tier-0 アップリンク VLAN： 77
- Tier-0 アップリンク インターフェイスの IP アドレス (CIDR)： 192.168.77.17/24
- 1番目の Tier-0 アップリンクの BGP ピア設定
- BGP ピアの IP アドレス (CIDR)：192.168.77.1/24
- BGP ピア ASN：65001
- BGP ピア パスワード：空欄のまま
2台目の Edge ノードが追加されたことを確認して、「次へ」をクリックします。
「サマリ」画面で入力値を確認して、「次へ」をクリックします。
Edge Cluster をデプロイするまえの事前検証が実施されます。ここで、BGP 設定の整合性も確認されます。
すべてが「SUCCEEDED」になるのを待ち、「完了」をクリックすると、デプロイ処理が開始されます。
タスクが開始されます。
しばらく待ってタスクが完了すると、Workload Domain の「Edge クラスタ」タブに Edge Cluster が表示され、ステータスが「アクティブ」になります。
3. 追加された NSX Edge の様子
展開された NSX Edge と、その BGP の状態を確認してみます。
vSphere Client
vSphere Client で確認すると、2台の NSX Edge 仮想マシンが起動されています。
NSX Manager
NSX Manager でも、Edge ノードと Edge クラスタが作成されたことが確認できます。
「ネットワーク トポロジ」を開いて、Tier-0 ゲートウェイのアイコンをクリックすると、右側に詳細情報へのリンクが表示されます。BGP ネイバーの情報も表示されているので、リンクを開いてみます。
BGP ネイバーが2つ表示され、状態が「成功」になっています。
「192.168.76.1」を開き、詳細表示も開くと、送信元アドレスが2つ（NSX Edge のアップリンクが2つなので）表示されています。さらに「BGP の接続状態」を開いてみます。
Edge ノードを選択すると、BGP の接続状態を確認できます。
（つづきです）
「192.168.77.1」でも、同様に状態を確認できます。
「ネットワーク」タブ →「接続」→「Tier-0 ゲートウェイ」を開き、作成されている Tier-0 ゲートウェイを展開します。
ここでも、Tier-0 ゲートウェイで BGP が有効になっていることが確認できます。
BGP 画面を開くと BGP ネイバーのリンクがあります。ここからでも、さきほどの「BGP ネイバー」画面を開けます。
NSX Edge
NSX Edge は、デフォルトでは SSH が無効化されています。コマンド実行をしやすいように、VM コンソールから admin ユーザーでログインし、SSH サービスを起動します。
start service ssh
NSX Edge #1 に、admin ユーザーで SSH ログインして確認します。
Tier-0 ゲートウェイでは、Service Router（SR-vcf-m01-t0）が BGP ピアになります。
Mon Nov 04 2024 UTC 10:29:04.630 Logical Router UUID VRF LR-ID Name Type Ports Neighbors 736a80e3-23f6-5a2d-81d6-bbefb2786666 0 0 TUNNEL 4 4/5000 9bd5df51-e54d-4b62-adac-3be42da0e91a 1 2 SR-vcf-m01-t0 SERVICE_ROUTER_TIER0 7 3/50000 226a60b7-6b3e-47a3-babf-df4d6affc53e 3 1 DR-vcf-m01-t0 DISTRIBUTED_ROUTER_TIER0 5 0/50000 46062e4c-c12d-49b9-8f45-e04ef309d52b 5 9 SR-vcf-m01-t1 SERVICE_ROUTER_TIER1 5 2/50000
VRF を SR-vcf-m01-t0 に切り替えます。
vcf-m01-edge-01> vrf SR-vcf-m01-t0 vcf-m01-edge-01(tier0_sr[1])>
BGP ネイバーのサマリ情報です。
vcf-m01-edge-01(tier0_sr[1])> get bgp neighbor summary
BFD States: NC - Not configured, DC - Disconnected
DW - Down, IN - Init, UP - Up
BGP summary information for VRF default for address-family: ipv4Unicast
Router ID: 192.168.77.16 Local AS: 65002
Neighbor AS State Up/DownTime BFD InMsgs OutMsgs InPfx OutPfx
192.168.76.1 65001 Estab 00:19:27 NC 1852 1853 3 2
192.168.77.1 65001 Estab 00:19:27 NC 1852 1853 3 1
Mon Nov 04 2024 UTC 10:29:29.142
BGP でルート情報を受け取れています。
vcf-m01-edge-01(tier0_sr[1])> get route bgp ipv4 Flags: t0c - Tier0-Connected, t0s - Tier0-Static, b - BGP, o - OSPF t0n - Tier0-NAT, t1s - Tier1-Static, t1c - Tier1-Connected, t1n: Tier1-NAT, t1l: Tier1-LB VIP, t1ls: Tier1-LB SNAT, t1d: Tier1-DNS FORWARDER, t1ipsec: Tier1-IPSec, isr: Inter-SR, ivs: Inter-VRF-Static, > - selected route, * - FIB route Total number of routes: 3 b > * 0.0.0.0/0 [20/0] via 192.168.76.1, uplink-291, 00:19:37 b > * 0.0.0.0/0 [20/0] via 192.168.77.1, uplink-289, 00:19:37 isr> * 192.168.76.17/32 [200/0] via 169.254.0.131, inter-sr-295, 02:02:59 isr> * 192.168.77.17/32 [200/0] via 169.254.0.131, inter-sr-295, 02:02:59 Mon Nov 04 2024 UTC 10:29:40.310 vcf-m01-edge-01(tier0_sr[1])>
NSX Edge #2 でも admin ユーザーで SSH ログインして、様子を確認しておきます。VRF を SR（SR-vcf-m01-t0）に切り替えます。
vcf-m01-edge-02> get logical-routers Mon Nov 04 2024 UTC 10:24:55.645 Logical Router UUID VRF LR-ID Name Type Ports Neighbors 736a80e3-23f6-5a2d-81d6-bbefb2786666 0 0 TUNNEL 4 4/5000 b6dc700c-de35-4f0b-a1f7-b20d57c2ae24 1 3 SR-vcf-m01-t0 SERVICE_ROUTER_TIER0 7 3/50000 226a60b7-6b3e-47a3-babf-df4d6affc53e 3 1 DR-vcf-m01-t0 DISTRIBUTED_ROUTER_TIER0 5 2/50000 46062e4c-c12d-49b9-8f45-e04ef309d52b 5 9 SR-vcf-m01-t1 SERVICE_ROUTER_TIER1 5 2/50000 vcf-m01-edge-02> vrf SR-vcf-m01-t0 vcf-m01-edge-02(tier0_sr[1])>
BGP のサマリ情報です。
vcf-m01-edge-02(tier0_sr[1])> get bgp neighbor summary
BFD States: NC - Not configured, DC - Disconnected
DW - Down, IN - Init, UP - Up
BGP summary information for VRF default for address-family: ipv4Unicast
Router ID: 192.168.76.17 Local AS: 65002
Neighbor AS State Up/DownTime BFD InMsgs OutMsgs InPfx OutPfx
192.168.76.1 65001 Estab 00:17:12 NC 1818 1819 3 2
192.168.77.1 65001 Estab 00:17:12 NC 1818 1819 3 1
Mon Nov 04 2024 UTC 10:27:14.102
こちらでも、BGP でルート情報を受け取れています。
vcf-m01-edge-02(tier0_sr[1])> get route bgp ipv4 Flags: t0c - Tier0-Connected, t0s - Tier0-Static, b - BGP, o - OSPF t0n - Tier0-NAT, t1s - Tier1-Static, t1c - Tier1-Connected, t1n: Tier1-NAT, t1l: Tier1-LB VIP, t1ls: Tier1-LB SNAT, t1d: Tier1-DNS FORWARDER, t1ipsec: Tier1-IPSec, isr: Inter-SR, ivs: Inter-VRF-Static, > - selected route, * - FIB route Total number of routes: 3 b > * 0.0.0.0/0 [20/0] via 192.168.76.1, uplink-282, 00:15:31 b > * 0.0.0.0/0 [20/0] via 192.168.77.1, uplink-293, 00:15:31 isr> * 192.168.76.16/32 [200/0] via 169.254.0.130, inter-sr-295, 01:58:53 isr> * 192.168.77.16/32 [200/0] via 169.254.0.130, inter-sr-295, 01:58:53 Mon Nov 04 2024 UTC 10:25:34.492 vcf-m01-edge-02(tier0_sr[1])>
Linux ルーター（Ext GW）
Ext GW 側でも、NSX Edge との BGP ピアリングが確認できます。
[root@vcf-gw-01 ~]# vtysh -c "show ip bgp summary" IPv4 Unicast Summary: BGP router identifier 192.168.76.1, local AS number 65001 vrf-id 0 BGP table version 2 RIB entries 3, using 576 bytes of memory Peers 4, using 85 KiB of memory Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd PfxSnt 192.168.76.16 4 65002 1174 1174 0 0 0 01:17:58 2 2 192.168.76.17 4 65002 1174 1174 0 0 0 01:17:58 2 2 192.168.77.16 4 65002 1174 1174 0 0 0 01:17:58 2 2 192.168.77.17 4 65002 1174 1174 0 0 0 01:17:58 2 2 Total number of neighbors 4
show ip bgp detail の情報です。まだ NSX でセグメントを追加作成していないので、Tier-0 ゲートウェイより先のルートもなそうです。
[root@vcf-gw-01 ~]# vtysh -c "show ip bgp detail"
BGP table version is 2, local router ID is 192.168.76.1, vrf id 0
Default local pref 100, local AS 65001
Status codes: s suppressed, d damped, h history, * valid, > best, = multipath,
i internal, r RIB-failure, S Stale, R Removed
Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self
Origin codes: i - IGP, e - EGP, ? - incomplete
Network Next Hop Metric LocPrf Weight Path
* 192.168.76.0/24 192.168.77.17 0 100 0 65002 ?
* 192.168.76.17 0 100 0 65002 ?
* 192.168.76.16 0 100 0 65002 ?
* 192.168.77.16 0 100 0 65002 ?
*> 0.0.0.0 0 32768 i
* 192.168.77.0/24 192.168.77.17 0 100 0 65002 ?
* 192.168.76.17 0 100 0 65002 ?
* 192.168.76.16 0 100 0 65002 ?
* 192.168.77.16 0 100 0 65002 ?
*> 0.0.0.0 0 32768 i
Displayed 2 routes and 10 total paths
つづく。
