vm.gowatana.jp

NEOにほんごVMware(仮)

vSphere with Tanzu 8.0 U2 ラボ環境構築。Part-23: ワークロード管理の有効化(NSX + NSX ALB)

vSphere 8.0 U2 で、vSphere with Tanzu の自宅ラボ環境を構築していきます。今回は、NSX と NSX ALB を使用したスーパーバイザーを有効化した環境の様子を紹介します。

前回はこちら。

 

今回の内容です。

 

ラボ構成のイメージ

今回は、NSX + NSX ALB を使用するスーパーバイザーを構築します。ワークロード管理を有効化する処理のなかで、自動的に NSX ALB の Service Engine(SE)が展開されます。

 

今回の SE Group 設定では、2台の SE が、1 vCPU / 2GB RAM でデプロイされます。

 

ワークロード管理の有効化

NSX + NSX ALB のスーパーバイザー構築は、NSX のみを使用したワークロード管理の有効化と同手順で、ウィザードでの入力値もそのまま進められます。そのため、ここではワークロード管理を有効化する手順は省略します。

入力方向 CIDR と 出力方向 CIDR は、NSX ALB の Service Engine 配置によって変わりますが、今回はあて NSX のみ構成のままにしてあります。

 

今回は、1-Zone スーパーバイザーを構築しています。ワークロード管理を有効化する直前の様子は、下記のようになっています。

 

NSX + NSX ALB を使用した 1-Zone スーパーバイザーの様子

ワークロード管理が有効化されて、スーパーバイザーが構築された環境の様子を紹介します。

 

スーパーバイザー

スーパーバイザーの制御プレーン ノード アドレスとして、NSX のみの場合と同様に入力方向 CIDR の 2番目のアドレスが使用されます。

  • 入力方向 CIDR: 192.168.131.32/27
  • 制御プレーン ノード アドレス: 192.168.131.34

 

制御プレーン ノード アドレスにアクセスすると、kubectl などがダウンロードできるページが表示されます。

 

1-Zone(zone-1 のみ)のスーパーバイザーとして構成されています。

 

ESXi ホストもスーパーバイザーのノードとして構成されるので、vSphere Pod も起動できます。

 

vSphere

スーパーバイザーのクラスタには、Supervisor Control Plane VM 3台のほかに、NSX ALB の Service Engine(SE)VM が展開されます。

 

SE 仮想マシンは、SE 管理ネットワーク(10.255.1.0/24)と、自動作成されたオーバーレイ ネットワークに接続されています。

 

vNIC は、それぞれ下記のように接続されています。

  • ネットワーク アダプタ 1 → SE 管理ネットワーク(10.255.1.0/24)
  • ネットワーク アダプタ 2 → 自動作成されたオーバーレイ ネットワーク

 

NSX

NSX Manager から様子を確認してみます。

NSX では、従来からある NSX LB である「サーバ ロード バランサ」は作成されません。コンテナ ネットワーク専用の「分散ロードバランサ」(DLB)のみが作成されますが、これは入力方向 CIDR の VIP(192.168.131.32/27、制御プレーン ノード アドレスなど) ではなく、クラスタ内で通信するための VIP(10.96.0.0/23)を提供します。

 

NSX ALB の SE が接続される「avi-domain-~」という名前のオーバーレイ セグメントが、自動的に作成されます。

 

このオーバーレイ セグメントの IP アドレス設定には、自動作成される「DHCP config domain-~」という名前の DHCP プロファイルの、DHCP サーバが利用されています。

ちなみにこの DHCP プロファイルの「サーバ IP アドレス」では、デフォルトの「100.96.0.1/30」が重複設定されていますが、DHCP サービスは動作します。

 

NSX Advanced Load Balancer(NSX ALB)

NSX ALB の Web UI から様子を確認してみます。

入力方向 CIDR の VIP(192.168.131.32/27)は、NSX ALB の仮想サービス(Virtual Service)として提供されています。下記のように、制御プレーン ノード アドレスである、192.168.131.34 が設定されていることがわかります。

 

「アプリケーション」タブ →「ダッシュボード」で、「表示 VS ツリー」を選択すると、仮想サービスのプールに、Supervisor Control Plane VM 3台の、ネットワーク インターフェース 2 側(オーバーレイ ネットワーク側)の IP アドレスが登録されています。

 

「インフラストラクチャ」タブ →「クラウド リソース」→「サービス エンジン グループ」を開き、nsx-cloud を選択すると、Default-Group をもとに SE Group が追加作成されています。

 

「インフラストラクチャ」タブ →「クラウド リソース」→「サービス エンジン」を開くと、SE が 2台作成されています。

 

「インフラストラクチャ」タブ →「クラウド リソース」→「ネットワーク」を開くと、入力方向 CIDR(192.168.131.32/27)の静的 IP プールが設定されたネットワーク プロファイル「vcf-ako-net-domain-~」が作成されています。

 

このネットワーク プロファイルは、NSX Cloud に割り当てた IPアドレス管理プロファイル(ipam-profile-vwt)に自動的に登録されます。

 

NSX Edge ノード

NSX ALB の VIP は、NSX Tier-1 ゲートウェイの配下で提供されています。NSX ネットワークへの境界にあたる Tier-0 ゲートウェイでは、VIP(192.168.131.34)へのルートが設定されます。

Tier-0 ゲートウェイの Service Router は、VRF 0 です。

lab-nsx-edge-31> get logical-routers
Fri Dec 22 2023 UTC 10:48:30.381
Logical Router
UUID                                   VRF    LR-ID  Name                              Type                        Ports   Neighbors
8ea5501b-8f19-4ef9-b45c-7c1e43164a32   0      2      SR-t0-gw-31                       SERVICE_ROUTER_TIER0        5       1/50000
cb745761-99a9-4d06-a88b-32495bb45c5f   2      1      DR-t0-gw-31                       DISTRIBUTED_ROUTER_TIER0    6       4/50000
736a80e3-23f6-5a2d-81d6-bbefb2786666   3      0                                        TUNNEL                      3       1/5000
fdb6e517-119c-46c7-afd7-1ca38b9d867f   4      1026   SR-t1-gw-31-avi                   SERVICE_ROUTER_TIER1        5       2/50000
1e08dee4-bfec-4040-98f1-1199d92fe4cf   5      1025   DR-t1-gw-31-avi                   DISTRIBUTED_ROUTER_TIER1    5       2/50000
bb5ef735-9047-44f0-946e-aa710110c566   10     1032   SR-domain-c1001:436093cb-2cb5-48  SERVICE_ROUTER_TIER1        5       2/50000
                                                     dd-acc2-590c07028c33
76f4e0d4-bd37-4560-b5cb-63ba4ba57af1   11     1031   DR-domain-c1001:436093cb-2cb5-48  DISTRIBUTED_ROUTER_TIER1    5       3/50000
                                                     dd-acc2-590c07028c33

 

VRF 0 で get route を確認すると、192.168.131.34/32 宛のルートが t1l(Tier1-LB VIP)として設定されています。

lab-nsx-edge-31> vrf 0
lab-nsx-edge-31(tier0_sr)> get route

Flags: t0c - Tier0-Connected, t0s - Tier0-Static, b - BGP, o - OSPF
t0n - Tier0-NAT, t1s - Tier1-Static, t1c - Tier1-Connected,
t1n: Tier1-NAT, t1l: Tier1-LB VIP, t1ls: Tier1-LB SNAT,
t1d: Tier1-DNS FORWARDER, t1ipsec: Tier1-IPSec, isr: Inter-SR,
ivs: Inter-VRF-Static, > - selected route, * - FIB route

Total number of routes: 14

t0s> * 0.0.0.0/0 [1/0] via 192.168.131.1, uplink-266, 1d20h12m
t1c> * 10.244.0.0/28 [3/0] via 100.64.0.3, downlink-350, 07:52:16
t1c> * 10.255.1.0/24 [3/0] via 100.64.0.1, downlink-288, 1d18h04m
t1c> * 10.255.2.0/24 [3/0] via 100.64.0.1, downlink-288, 1d18h03m
t0c> * 100.64.0.0/31 is directly connected, downlink-288, 1d18h10m
t0c> * 100.64.0.2/31 is directly connected, downlink-350, 07:58:32
t0c> * 169.254.0.0/24 is directly connected, backplane-262, 18:41:01
t0c> * 192.168.131.0/24 is directly connected, uplink-266, 1d20h13m
t1l> * 192.168.131.33/32 [3/0] via 100.64.0.3, downlink-350, 05:48:58
t1l> * 192.168.131.34/32 [3/0] via 100.64.0.3, downlink-350, 06:04:17
t1n> * 192.168.131.65/32 [3/0] via 100.64.0.3, downlink-350, 07:58:01
t0c> * fc12:527d:a511:2c00::/64 is directly connected, downlink-288, 1d18h10m
t0c> * fc12:527d:a511:ac00::/64 is directly connected, downlink-350, 07:58:32
t0c> * fe80::/64 is directly connected, downlink-288, 1d18h10m
Fri Dec 22 2023 UTC 10:50:04.771

 

つづく。