EVC 設定なしで旧世代 EVC クラスタに vMotion してみる。

今回は実験的に、EVC を設定していないクラスタの ESXi ホストから、CPU 世代が低い ESXi ホストに vMotion してみます。

ただし、通常で CPU 世代が異なる ESXi ホスト間で vMotion する場合は、クラスタに EVC（Enhanced vMotion Compatibility）を設定するか、仮想マシンに Per-VM EVC を設定します。ということで、本番環境ではこの手順を実施せず、普通に EVC を設定してください。

今回の環境
実験1： CPU 世代が古い ESXi ホストへの vMotion
実験2： CPU 世代が古い ESXi ホストへの vMotion（VMX パラメータでの CPU 機能セットマスク）

今回の環境

クラスタは2つあり、EVC 設定は次のようにしてあります。

infra-cluster-01： Intel Haswell モード
infra-cluster-02：無効

infra-cluster-01 クラスタの EVC は、Intel Haswell モードになっています。

infra-cluster-02 クラスタの EVC は、無効になっています。

PowerCLI でも様子を見ておきます。

PS C:\> Get-Module -Name VMware.PowerCLI -ListAvailable | select Version

Version
-------
13.1.0.21624340


PS C:\> $global:DefaultVIServer | select Name,Version,Build

Name                  Version Build
----                  ------- -----
infra-vc-01.go-lab.jp 7.0.3   21477706

ESXi ホストの EVC モードは、下記のようになっています。

PS C:\> Get-Cluster | select Name,EVCMode

Name             EVCMode
----             -------
infra-cluster-01 intel-haswell
infra-cluster-02

PS C:\> Get-VMHost | select Parent, Name, MaxEVCMode, @{N="CurrentEVCMode"; E={$_.ExtensionData.Summary.CurrentEVCModeKey}}, @{N="CpuModel"; E={$_.ExtensionData.Summary.Hardware.CpuModel}} | Sort-Object Parent,Name | ft -AutoSize

Parent           Name                    MaxEVCMode      CurrentEVCMode CpuModel
------           ----                    ----------      -------------- --------
infra-cluster-01 infra-esxi-01.go-lab.jp intel-haswell   intel-haswell  Intel(R) Core(TM) i5-10210U CPU @ 1.60GHz
infra-cluster-01 infra-esxi-02.go-lab.jp intel-broadwell intel-haswell  Intel(R) Core(TM) i3-6100U CPU @ 2.30GHz
infra-cluster-01 infra-esxi-03.go-lab.jp intel-broadwell intel-haswell  Intel(R) Core(TM) i3-6100U CPU @ 2.30GHz
infra-cluster-01 infra-esxi-04.go-lab.jp intel-broadwell intel-haswell  Intel(R) Core(TM) i3-6100U CPU @ 2.30GHz
infra-cluster-01 infra-esxi-05.go-lab.jp intel-broadwell intel-haswell  Intel(R) Core(TM) i3-6100U CPU @ 2.30GHz
infra-cluster-01 infra-esxi-06.go-lab.jp intel-broadwell intel-haswell  Intel(R) Core(TM) i3-6100U CPU @ 2.30GHz
infra-cluster-02 infra-esxi-07.go-lab.jp intel-haswell                  Intel(R) Core(TM) i5-10210U CPU @ 1.60GHz
infra-cluster-02 infra-esxi-08.go-lab.jp intel-haswell                  Intel(R) Core(TM) i5-10210U CPU @ 1.60GHz

EVC 無効の infra-cluster-02 クラスタでは、test-vm-01 という仮想マシンが起動されています。

PS C:\> Get-VM test-vm-01 | select Name,VMHost,{$_| Get-Cluster}

Name       VMHost                  $_| Get-Cluster
----       ------                  ---------------
test-vm-01 infra-esxi-07.go-lab.jp infra-cluster-02

Per-VM EVC は明示的に設定していませんが、ESXi ホストの CPU をもとに Cascade Lake モードになっています。

実験1： CPU 世代が古い ESXi ホストへの vMotion

vSphere Client で、test-vm-01 を infra-cluster-01 に移行（vMotion）してみます。

しかし移行先の ESXi ホストでは CPU 機能セットが不足しているので、vMotion を開始できませんでした。「詳細を表示」をクリックしてみます。

vMotion 先クラスタの ESXi ホストで不足している CPU 機能セットがわかります。

エラーメッセージの続きです。ちなみに、移行先 ESXi で不足している（サポートされない）CPU 機能セットは、移行元 / 移行先の CPU 世代によって変わります。

実験2： CPU 世代が古い ESXi ホストへの vMotion（VMX パラメータでの CPU 機能セットマスク）

今回は、vMotion 元クラスタで EVC を設定せず、VMX パラメータで CPU 機能セットをマスクして vMotion してみます。

VMX パラメータは、本来は仮想マシンが停止した状態で設定するものですが、今回は PowerCLI でパワーオンのまま設定します。ただし反映するには、結局のところ仮想マシンをパワーオフ → パワーオンすることになります。

test-vm-01 に要求される CPU 機能セット（FeatureRequirement）です。

PS C:\> (Get-VM test-vm-01).ExtensionData.Runtime.FeatureRequirement

Key                     FeatureName             Value
---                     -----------             -----
cpuid.3dnprefetch       cpuid.3dnprefetch       Bool:Min:1
cpuid.abm               cpuid.abm               Bool:Min:1
cpuid.adx               cpuid.adx               Bool:Min:1
cpuid.aes               cpuid.aes               Bool:Min:1
cpuid.avx               cpuid.avx               Bool:Min:1
cpuid.avx2              cpuid.avx2              Bool:Min:1
cpuid.bmi1              cpuid.bmi1              Bool:Min:1
cpuid.bmi2              cpuid.bmi2              Bool:Min:1
cpuid.clflushopt        cpuid.clflushopt        Bool:Min:1
cpuid.cmpxchg16b        cpuid.cmpxchg16b        Bool:Min:1
cpuid.enfstrg           cpuid.enfstrg           Bool:Min:1
cpuid.f16c              cpuid.f16c              Bool:Min:1
cpuid.fcmd              cpuid.fcmd              Bool:Min:1
cpuid.fma               cpuid.fma               Bool:Min:1
cpuid.fsgsbase          cpuid.fsgsbase          Bool:Min:1
cpuid.ibpb              cpuid.ibpb              Bool:Min:1
cpuid.ibrs              cpuid.ibrs              Bool:Min:1
cpuid.intel             cpuid.intel             Bool:Min:1
cpuid.invpcid           cpuid.invpcid           Bool:Min:1
cpuid.lahf64            cpuid.lahf64            Bool:Min:1
cpuid.lm                cpuid.lm                Bool:Min:1
cpuid.mdclear           cpuid.mdclear           Bool:Min:1
cpuid.movbe             cpuid.movbe             Bool:Min:1
cpuid.nx                cpuid.nx                Bool:Min:1
cpuid.pcid              cpuid.pcid              Bool:Min:1
cpuid.pclmulqdq         cpuid.pclmulqdq         Bool:Min:1
cpuid.pdpe1gb           cpuid.pdpe1gb           Bool:Min:1
cpuid.popcnt            cpuid.popcnt            Bool:Min:1
cpuid.rdrand            cpuid.rdrand            Bool:Min:1
cpuid.rdseed            cpuid.rdseed            Bool:Min:1
cpuid.rdtscp            cpuid.rdtscp            Bool:Min:1
cpuid.smap              cpuid.smap              Bool:Min:1
cpuid.smep              cpuid.smep              Bool:Min:1
cpuid.ss                cpuid.ss                Bool:Min:1
cpuid.ssbd              cpuid.ssbd              Bool:Min:1
cpuid.sse3              cpuid.sse3              Bool:Min:1
cpuid.sse41             cpuid.sse41             Bool:Min:1
cpuid.sse42             cpuid.sse42             Bool:Min:1
cpuid.ssse3             cpuid.ssse3             Bool:Min:1
cpuid.stibp             cpuid.stibp             Bool:Min:1
cpuid.xcr0_master_sse   cpuid.xcr0_master_sse   Bool:Min:1
cpuid.xcr0_master_ymm_h cpuid.xcr0_master_ymm_h Bool:Min:1
cpuid.xsave             cpuid.xsave             Bool:Min:1
cpuid.xsavec            cpuid.xsavec            Bool:Min:1
cpuid.xsaveopt          cpuid.xsaveopt          Bool:Min:1
cpuid.xsaves            cpuid.xsaves            Bool:Min:1
misc.ibrs_all           misc.ibrs_all           Bool:Min:1
misc.mds_no             misc.mds_no             Bool:Min:1
misc.rdcl_no            misc.rdcl_no            Bool:Min:1
misc.rsba_no            misc.rsba_no            Bool:Min:1

CPU 機能セットのマスク（FeatureMask）は、この時点では未設定です。

PS C:\> (Get-VM test-vm-01).ExtensionData.Runtime.FeatureMask
PS C:\>

vMotion 先 ESXi ホストで不足していた CPU 機能セットを、cpuid.xxxx / misc.xxxx といった設定項目でマスクします。設定項目の名前は大文字/小文字どちらでも受け付けられますが、情報取得したでの様子にあわせて今回は小文字にしておきます。

さきほどのエラーメッセージを参考に、下記のマスクを設定します。PowerCLI での設定では、VMX パラメータの前に「featMask.vm. 」を追記しておきます。

"misc.mds_no",
"misc.rsba_no",
"misc.ibrs_all",
"misc.rdcl_no",
"cpuid.xsaves",
"cpuid.xsavec",
"cpuid.clflushopt",
"cpuid.smap",
"cpuid.rdseed",
"cpuid.adx",
"cpuid.3dnprefetch" | 
foreach {
  Write-Host "featMask.vm.$_"
}

実際に設定する設定項目の名前です。

PS C:\> "misc.mds_no",
>> "misc.rsba_no",
>> "misc.ibrs_all",
>> "misc.rdcl_no",
>> "cpuid.xsaves",
>> "cpuid.xsavec",
>> "cpuid.clflushopt",
>> "cpuid.smap",
>> "cpuid.rdseed",
>> "cpuid.adx",
>> "cpuid.3dnprefetch" |
>> foreach {
>>   Write-Host "featMask.vm.$_"
>> }
featMask.vm.misc.mds_no
featMask.vm.misc.rsba_no
featMask.vm.misc.ibrs_all
featMask.vm.misc.rdcl_no
featMask.vm.cpuid.xsaves
featMask.vm.cpuid.xsavec
featMask.vm.cpuid.clflushopt
featMask.vm.cpuid.smap
featMask.vm.cpuid.rdseed
featMask.vm.cpuid.adx
featMask.vm.cpuid.3dnprefetch

ひとつずつ設定する場合は、下記のようにコマンドを実行します。

Get-VM test-vm-01 | New-AdvancedSetting -Name "featMask.vm.xxxx" -Value "Max:0" -Confirm:$false

今回は、下記のようにまとめて設定します。

$vm_name = "test-vm-01"
"misc.mds_no",
"misc.rsba_no",
"misc.ibrs_all",
"misc.rdcl_no",
"cpuid.xsaves",
"cpuid.xsavec",
"cpuid.clflushopt",
"cpuid.smap",
"cpuid.rdseed",
"cpuid.adx",
"cpuid.3dnprefetch" | 
foreach {
  Get-VM $vm_name | New-AdvancedSetting -Name "featMask.vm.$_" -Value "Max:0" -Confirm:$false
}

仮想マシンに、VMX パラメータが設定されたことを確認します。

PS C:\> Get-VM test-vm-01 | Get-AdvancedSetting -Name featMask.vm.misc.*,featMask.vm.cpuid.* | ft -AutoSize

Name                          Value Type Description
----                          ----- ---- -----------
featMask.vm.misc.mds_no       Max:0 VM
featMask.vm.misc.rsba_no      Max:0 VM
featMask.vm.misc.ibrs_all     Max:0 VM
featMask.vm.misc.rdcl_no      Max:0 VM
featMask.vm.cpuid.xsaves      Max:0 VM
featMask.vm.cpuid.xsavec      Max:0 VM
featMask.vm.cpuid.clflushopt  Max:0 VM
featMask.vm.cpuid.smap        Max:0 VM
featMask.vm.cpuid.rdseed      Max:0 VM
featMask.vm.cpuid.adx         Max:0 VM
featMask.vm.cpuid.3dnprefetch Max:0 VM

この時点では、まだ CPU 機能セットのマスクは仮想マシンに反映されていません。

PS C:\> (Get-VM test-vm-01).ExtensionData.Runtime.FeatureMask
PS C:\>

仮想マシンを（ゲスト OS を再起動するだけでなく）停止します。

PS C:\> Get-VM test-vm-01 | Shutdown-VMGuest -Confirm:$false -WhatIf
WhatIf: Performing operation "Shutdown VM guest." on VM "test-vm-01".
PS C:\> Get-VM test-vm-01 | Shutdown-VMGuest -Confirm:$false

State          IPAddress            OSFullName
-----          ---------            ----------
Running        {192.168.11.10, f... VMware Photon OS (64-bit)

仮想マシンをパワーオンします。

PS C:\> Get-VM test-vm-01 | Start-VM

Name                 PowerState Num CPUs MemoryGB
----                 ---------- -------- --------
test-vm-01           PoweredOn  1        2.000

これで、仮想マシンに CPU 機能セットのマスクが設定されました。設定項目によっては、キーと機能セット名が大文字になりました。

PS C:\> (Get-VM test-vm-01).ExtensionData.Runtime.FeatureMask

Key               FeatureName       Value
---               -----------       -----
cpuid.RDSEED      cpuid.RDSEED      Max:0
misc.mds_no       misc.mds_no       Max:0
misc.rsba_no      misc.rsba_no      Max:0
cpuid.3DNPREFETCH cpuid.3DNPREFETCH Max:0
misc.rdcl_no      misc.rdcl_no      Max:0
misc.ibrs_all     misc.ibrs_all     Max:0
cpuid.XSAVES      cpuid.XSAVES      Max:0
cpuid.XSAVEC      cpuid.XSAVEC      Max:0
cpuid.ADX         cpuid.ADX         Max:0
cpuid.SMAP        cpuid.SMAP        Max:0
cpuid.CLFLUSHOPT  cpuid.CLFLUSHOPT  Max:0

仮想マシンの EVC 設定画面を見ると、マスクした CPU 機能セットだけが表示され、CPU モードが Haswell になりました。ちなみにクラスタがもともと上位の EVC モードだったりするとそのままだったりするので、今回のマスク設定による CPU モード表示は、あてにならなそうかなと思います。