vSphere 8.0 U2 で、vSphere with Tanzu の自宅ラボ環境を構築していきます。今回は、NSX と NSX ALB を使用したスーパーバイザーを有効化した環境の様子を紹介します。
前回はこちら。
今回の内容です。
ラボ構成のイメージ
今回は、NSX + NSX ALB を使用するスーパーバイザーを構築します。ワークロード管理を有効化する処理のなかで、自動的に NSX ALB の Service Engine（SE）が展開されます。
今回の SE Group 設定では、2台の SE が、1 vCPU / 2GB RAM でデプロイされます。
ワークロード管理の有効化
NSX + NSX ALB のスーパーバイザー構築は、NSX のみを使用したワークロード管理の有効化と同手順で、ウィザードでの入力値もそのまま進められます。そのため、ここではワークロード管理を有効化する手順は省略します。
入力方向 CIDR と 出力方向 CIDR は、NSX ALB の Service Engine 配置によって変わりますが、今回はあて NSX のみ構成のままにしてあります。
今回は、1-Zone スーパーバイザーを構築しています。ワークロード管理を有効化する直前の様子は、下記のようになっています。
NSX + NSX ALB を使用した 1-Zone スーパーバイザーの様子
ワークロード管理が有効化されて、スーパーバイザーが構築された環境の様子を紹介します。
スーパーバイザー
スーパーバイザーの制御プレーン ノード アドレスとして、NSX のみの場合と同様に入力方向 CIDR の 2番目のアドレスが使用されます。
- 入力方向 CIDR： 192.168.131.32/27
- 制御プレーン ノード アドレス： 192.168.131.34
制御プレーン ノード アドレスにアクセスすると、kubectl などがダウンロードできるページが表示されます。
1-Zone（zone-1 のみ）のスーパーバイザーとして構成されています。
ESXi ホストもスーパーバイザーのノードとして構成されるので、vSphere Pod も起動できます。
vSphere
スーパーバイザーのクラスタには、Supervisor Control Plane VM 3台のほかに、NSX ALB の Service Engine（SE）VM が展開されます。
SE 仮想マシンは、SE 管理ネットワーク（10.255.1.0/24）と、自動作成されたオーバーレイ ネットワークに接続されています。
vNIC は、それぞれ下記のように接続されています。
- ネットワーク アダプタ 1 → SE 管理ネットワーク（10.255.1.0/24）
- ネットワーク アダプタ 2 → 自動作成されたオーバーレイ ネットワーク
NSX
NSX Manager から様子を確認してみます。
NSX では、従来からある NSX LB である「サーバ ロード バランサ」は作成されません。コンテナ ネットワーク専用の「分散ロードバランサ」（DLB）のみが作成されますが、これは入力方向 CIDR の VIP（192.168.131.32/27、制御プレーン ノード アドレスなど） ではなく、クラスタ内で通信するための VIP（10.96.0.0/23）を提供します。
NSX ALB の SE が接続される「avi-domain-～」という名前のオーバーレイ セグメントが、自動的に作成されます。
このオーバーレイ セグメントの IP アドレス設定には、自動作成される「DHCP config domain-～」という名前の DHCP プロファイルの、DHCP サーバが利用されています。
ちなみにこの DHCP プロファイルの「サーバ IP アドレス」では、デフォルトの「100.96.0.1/30」が重複設定されていますが、DHCP サービスは動作します。
NSX Advanced Load Balancer（NSX ALB）
NSX ALB の Web UI から様子を確認してみます。
入力方向 CIDR の VIP（192.168.131.32/27）は、NSX ALB の仮想サービス（Virtual Service）として提供されています。下記のように、制御プレーン ノード アドレスである、192.168.131.34 が設定されていることがわかります。
「アプリケーション」タブ →「ダッシュボード」で、「表示 VS ツリー」を選択すると、仮想サービスのプールに、Supervisor Control Plane VM 3台の、ネットワーク インターフェース 2 側（オーバーレイ ネットワーク側）の IP アドレスが登録されています。
「インフラストラクチャ」タブ →「クラウド リソース」→「サービス エンジン グループ」を開き、nsx-cloud を選択すると、Default-Group をもとに SE Group が追加作成されています。
「インフラストラクチャ」タブ →「クラウド リソース」→「サービス エンジン」を開くと、SE が 2台作成されています。
「インフラストラクチャ」タブ →「クラウド リソース」→「ネットワーク」を開くと、入力方向 CIDR（192.168.131.32/27）の静的 IP プールが設定されたネットワーク プロファイル「vcf-ako-net-domain-～」が作成されています。
このネットワーク プロファイルは、NSX Cloud に割り当てた IPアドレス管理プロファイル（ipam-profile-vwt）に自動的に登録されます。
NSX Edge ノード
NSX ALB の VIP は、NSX Tier-1 ゲートウェイの配下で提供されています。NSX ネットワークへの境界にあたる Tier-0 ゲートウェイでは、VIP（192.168.131.34）へのルートが設定されます。
Tier-0 ゲートウェイの Service Router は、VRF 0 です。
lab-nsx-edge-31> get logical-routers
Fri Dec 22 2023 UTC 10:48:30.381
Logical Router
UUID VRF LR-ID Name Type Ports Neighbors
8ea5501b-8f19-4ef9-b45c-7c1e43164a32 0 2 SR-t0-gw-31 SERVICE_ROUTER_TIER0 5 1/50000
cb745761-99a9-4d06-a88b-32495bb45c5f 2 1 DR-t0-gw-31 DISTRIBUTED_ROUTER_TIER0 6 4/50000
736a80e3-23f6-5a2d-81d6-bbefb2786666 3 0 TUNNEL 3 1/5000
fdb6e517-119c-46c7-afd7-1ca38b9d867f 4 1026 SR-t1-gw-31-avi SERVICE_ROUTER_TIER1 5 2/50000
1e08dee4-bfec-4040-98f1-1199d92fe4cf 5 1025 DR-t1-gw-31-avi DISTRIBUTED_ROUTER_TIER1 5 2/50000
bb5ef735-9047-44f0-946e-aa710110c566 10 1032 SR-domain-c1001:436093cb-2cb5-48 SERVICE_ROUTER_TIER1 5 2/50000
dd-acc2-590c07028c33
76f4e0d4-bd37-4560-b5cb-63ba4ba57af1 11 1031 DR-domain-c1001:436093cb-2cb5-48 DISTRIBUTED_ROUTER_TIER1 5 3/50000
dd-acc2-590c07028c33
VRF 0 で get route を確認すると、192.168.131.34/32 宛のルートが t1l（Tier1-LB VIP）として設定されています。
lab-nsx-edge-31> vrf 0 lab-nsx-edge-31(tier0_sr)> get route Flags: t0c - Tier0-Connected, t0s - Tier0-Static, b - BGP, o - OSPF t0n - Tier0-NAT, t1s - Tier1-Static, t1c - Tier1-Connected, t1n: Tier1-NAT, t1l: Tier1-LB VIP, t1ls: Tier1-LB SNAT, t1d: Tier1-DNS FORWARDER, t1ipsec: Tier1-IPSec, isr: Inter-SR, ivs: Inter-VRF-Static, > - selected route, * - FIB route Total number of routes: 14 t0s> * 0.0.0.0/0 [1/0] via 192.168.131.1, uplink-266, 1d20h12m t1c> * 10.244.0.0/28 [3/0] via 100.64.0.3, downlink-350, 07:52:16 t1c> * 10.255.1.0/24 [3/0] via 100.64.0.1, downlink-288, 1d18h04m t1c> * 10.255.2.0/24 [3/0] via 100.64.0.1, downlink-288, 1d18h03m t0c> * 100.64.0.0/31 is directly connected, downlink-288, 1d18h10m t0c> * 100.64.0.2/31 is directly connected, downlink-350, 07:58:32 t0c> * 169.254.0.0/24 is directly connected, backplane-262, 18:41:01 t0c> * 192.168.131.0/24 is directly connected, uplink-266, 1d20h13m t1l> * 192.168.131.33/32 [3/0] via 100.64.0.3, downlink-350, 05:48:58 t1l> * 192.168.131.34/32 [3/0] via 100.64.0.3, downlink-350, 06:04:17 t1n> * 192.168.131.65/32 [3/0] via 100.64.0.3, downlink-350, 07:58:01 t0c> * fc12:527d:a511:2c00::/64 is directly connected, downlink-288, 1d18h10m t0c> * fc12:527d:a511:ac00::/64 is directly connected, downlink-350, 07:58:32 t0c> * fe80::/64 is directly connected, downlink-288, 1d18h10m Fri Dec 22 2023 UTC 10:50:04.771
つづく。
