VMの強制停止(vim-cmd)

久しぶりに検証環境のloginsightをみたら、ディスクがいっぱいのアラートが発生してるじゃん！

ディスクを拡張しろよっ！ってメッセージが出ているのでVM停止しようにも、vsphere clientからもcliからも、シャットダウンも電源offも受け付けない状態に、、、

まぁ、検証環境で気を抜くとよくやってしまうんですよね。

ということで、esxiにログインしてvim-cliで強制停止します。

まずは、loginsightのvmidの確認。

[root@esx06:~] vim-cmd vmsvc/getallvms

Vmid        Name                                         File                                          Guest OS         Version                                                                                                          Annotation                                                                                                       

9      loginsight8      [vsanDatastore] c90ec45d-e494-fac1-cd8b-e4434b765fd4/loginsight8.vmx      other3xLinux64Guest   vmx-11    VMware vRealize Log Insight                                                                                                                                                                                             

該当のvmidは9なのを確認します。

ダメ元で通常のpower offをしてみるも、やっぱりダメでした。

まぁ、vsphere clientでダメでしたしね。

[root@esx06:~] vim-cmd vmsvc/power.off 9

Powering off VM:

Power off failed

[root@esx06:~] vim-cmd vmsvc/power.getstate 9

Retrieved runtime info

Powered on

もういいやってことと、おそらくできないだろうってことでdestroyもしてみましたが、

まぁだめですね。✳︎本番環境ではやらないでください。

[root@esx06:~] vim-cmd vmsvc/destroy 9

Destroy failed

ということで、esxiで該当プロセスを停止します。

まずは、該当プロセスの確認。

[root@esx06:~] esxcli vm prodccess list

loginsight8

   World ID: 2217787

   Process ID: 0

   VMX Cartel ID: 2217786

   UUID: 42 0f 3e 71 4c db c0 a8-f1 51 b2 87 e4 2d 49 86

   Display Name: loginsight8

   Config File: /vmfs/volumes/vsan:523fb3acb1d66ae8-2e6d54369e0422c5/c90ec45d-e494-fac1-cd8b-e4434b765fd4/loginsight8.vmx

World IDを確認して、killコマンドでプロセスをていしします。

[root@esx06:~] esxcli vm process kill --type=soft --world-id=2217787

プロセスが停止したのが確認できました。

[root@esx06:~] esxcli vm process list

仮想マシンも電源OFFになりました。

[root@esx06:~] vim-cmd vmsvc/power.getstate 9

Retrieved runtime info

Powered off

こんかいはkillコマンドのtypeがsoftで停止できましたが、softで停止で着ない場合は、hardやfoceのtypeを指定することもできます。

強さでいうと　soft >hard>forceになるので、順番に試してみてください。

PhotonOS Disk expansion

PhotonOSでいくつかAI系のコンテナを試しているのですが、PhotonOSのディスクはデフォルトで15GBしかないので、必要なパッケージをダウンロードしているとすぐにディスクがいっぱいになってしまいます。。。

なので、PhotonOSのディスク拡張を行いました。


まずは、vSphere ClientでPhotonOSのディスクサイズを大きくします。
PhotonOSに設定されているディスクを15GBから必要なサイズに拡張します。
私の環境ではとりあえず40GBに変更しました。


変更後はPhotonOSにSSHして次の流れで操作します。

1.　再起動なしでDisk変更を認識できるように設定変更
2.　partedコマンドのインストール
3.　partedでディスク拡張
4.　ファイルシステム拡張



まずは、1の再起動無しでディスクの境界(この場合は元々のSectorと拡張したSectorの境界)を認識できるようにします。

＃ echo 1 > /sys/class/block/sda/device/rescan



次に、PhotonOSにはデフォルトではディスク操作のコマンドがインストールされていないので、partedコマンドをインストールします。

# tdnf install parted

Installing:
parted                   x86_64       3.2-7.ph3        photon         1.11M 1159755

Total installed size:   1.11M 1159755
Is this ok [y/N]:y

Downloading:
Testing transaction
Running transaction
Installing/Updating: parted-3.2-7.ph3.x86_64

Complete!


partedのインストールが完了したらディスクの拡張です。

# parted /dev/sda
GNU Parted 3.2
Using /dev/sda
Welcome to GNU Parted! Type 'help' to view a list of commands.

(parted) print　　※拡張対象のパーティション番号を確認
print
Model: VMware Virtual disk (scsi)
Disk /dev/sda: 42.9GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name  Flags
 1      1049kB  9437kB  8389kB                     bios_grub
 2      9437kB  17.2GB  17.2GB  ext4　　※データ領域の2を拡張します。

(parted) resizepart 2 100%　※パーティション２を100%使う


(parted)print ※拡張されたことを確認
Model: VMware Virtual disk (scsi)
Disk /dev/sda: 42.9GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name  Flags
 1      1049kB  9437kB  8389kB                     bios_grub

 2      9437kB  42.9GB  42.9GB  ext4


(parted) quit　※partedを終了



partedでディスク拡張後に、ファイルシステムを拡張します。


# resize2fs /dev/sda2　※ファイルシステムを拡張
resize2fs 1.44.3 (10-July-2018)
Filesystem at /dev/sda2 is mounted on /; on-line resizing required
old_desc_blocks = 1, new_desc_blocks = 3
The filesystem on /dev/sda2 is now 10483451 (4k) blocks long.


# df -h　　※ファイルシステムが拡張されたことを確認
Filesystem      Size  Used Avail Use% Mounted on
/dev/root        40G  438M   38G   2% /
devtmpfs        998M     0  998M   0% /dev
tmpfs          1000M     0 1000M   0% /dev/shm
tmpfs          1000M  524K  999M   1% /run
tmpfs          1000M     0 1000M   0% /sys/fs/cgroup
tmpfs          1000M     0 1000M   0% /tmp
tmpfs           200M     0  200M   0% /run/user/0



詳細はPhotonOSのマニュアルに記載があるのでそちらを参照してください。

NSX-T Memo

本気でNSX-Tの勉強を始めたので整理がてらのメモ。

とりあえず、ドキュメントを読んで気になった注意事項を羅列していきます。

【Tier-0 Gateway】

• Act / Act か Act / Stb構成ができる
• NAT、LB、Stateful FW、VPNは Act / Stb構成だけ

【Logical Router Topology】

• 次の構成はUnsupported
• Physical Router - Tier-1 Gatewayの直接接続
• Tier-1 - Tier1 Gatewayどうしの接続
• Tier-0 Gateway *n - Tier-1 Gatewayの接続(N:1接続）

【ECMP】

• Tier-0 論理ルータをAct / Actにする
• 最大8つのECMPパスをサポート

【VPN】

• IPSec or L2 VPNをサポート
• Tier-0でBGPを使ったVPNはOK、Tier-1でBGPのVPNはNG
• Tier-1でStatic RouteのVPNはOK
• VPNトンネリング冗長を行うのBGP構成でサポート

【NAT】

• Tier-0,1 Gatewayに設定可
• Tier-0 GatewayがAct / Actの場合はSNAT、DNATはできない再帰NAT(ステートレス)のみ

【Load Balancer】

• InlineとOne-Armの構成ができる
• Inline構成はTier-1だけ
• LB冗長化はTier-1 LRをAct / Stbで構成
• LB スケール　

　引用：NSX-T Data Center管理ガイド

【NSX Manager】

• Anti-Affinityを推奨
• NSX Manager間の遅延は10msec
• NSX Manager-Transport Node間の最大遅延は10msec

【Edge Node】

• DRSは無効化
• リソース要件

引用：NSX-T Data Centerインストールガイド

【Bare Metal Edge Node】

• 最大16物理NICをサポート
• 仮想Edge Nodeに比べてパフォーマンスに優れる
• Fail-overも仮想Edge Nodeより早い
• 管理専用Interfaceが作られる(1GbpsでもOK)
• 専用NICではない

【Edge Node Cluster】

• 最大10Edge / Edge Cluster
• 16 Edge Cluster / NSX-T Manager なので1 NSX-T Managerで最大160台のEdge Nodeを管理可能
• Cluster内のEdge Nodeは違うEdgeNode構成でもいいけど、同じ構成(サイズ)が推奨
• フェイルオーバーモード
• プリエンプティブ：ロールバックする
• 非プリエンプティブ：ロールバックしない

PhotonOSへdocker-composeをインストール

PhotonOSでdocker-composeを使おうと思ったら、デフォルトではインストールされていないんですね。。。

こちらのDockerのマニュアルに沿ってインストール。



root@photon02 [ ~ ]# curl -L "https://github.com/docker/compose/reeases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

                                 Dload  Upload   Total   Spent    Left  Speed

100   617    0   617    0     0    815      0 --:--:-- --:--:-- --:--:--   813

100 15.4M  100 15.4M    0     0   950k      0  0:00:16  0:00:16 --:--:-- 2550k

root@photon02 [ ~ ]# chmod +x /usr/local/bin/docker-compose

root@photon02 [ ~ ]# ln -s /usr/local/bin/docker-compose /usr/bin/


エラーもなく完了！　元の作業に戻ります～

vROPS8.0 deployed

最近は検証機器がなく、サーバをいじる機会が減っていたのですが、
自由にできるサーバを入手したので毎日のようにいじっています。
リソースも余裕あるので最新のvROPS8.0を入れてみました。


一番多く触ったがvRealize になるまえのvCops(vCenter Operations Manager)で
vROPS6.0も少し触れたくらいだったので、久しぶりのｖROPSですが。。。

全然違う。。。　導入サイズも前は極小、小、中、大くらいだったはずなのに、リモートコネクタとかWitnessとか、何だこれ！？って感じです。
　※作業しながらwitnessとかリリースノードで読んだ記憶がよみがえってきましたが。


導入してvCenter登録して、SolutionExchangeから色々入手してコンテナの管理などなど、これからやってみようかと思っています。



とりあえず、導入のスクリーンショットだけ張っておきます。

導入は、vCenterからできるような感じですが、VMwareからOVFファイルをダウンロードして、OVFテンプレートからのデプロイを実行します。
あとは、ウィザードに沿っていけがOKです。

デプロイ完了後にvROPSの設定になるのですが、マニュアルを見ずに取り合えず実行しているので、何も考えずにインストールできそうな高速インストールで実行しました。
　※新規インストールは気が向いたらマニュアル見てみます。

vROPSの構成完了してログイン後の画面はこちらですが。。。

どこからvCenter登録するの？？？って感じで行くつかメニュー触ってみましたが、ログイン後画面の”クラウドアカウントの作成”ボタンからでした。
vCenterの登録がクラウドアカウントの作成というのも表現としてどうなんでしょう。

AWSとAzureの登録もここからできるようになったんですね。


vCenterの登録が終われば完了です。

vCOPSやvROPS6のトップ画面の緑のバッジが懐かしいですが、またvROPS触っていきたいと思います。

Announcement at VMworld2019

どの方も言っていますが、最近は海外のイベントに参加しなくても現地参加している方たちが即ブログの記事を上げてくれるので、ほぼリアルタイムに近い感じで情報をとれるのでとてもありがたいです！

っで、今回のVMworld2019で個人的に面白そう・早く試してみたいと思ったことを
いくつか挙げていきます。

1.Project Pacific
　やはり一番はこれです。
　VMworld前に発表のあったPivotalの買収もあり、Kubernates関連の強化を進めています。CEOのパットさんがコメントした、”MwareはKubernetesにおける最高のエンタープライズサプライヤーになる”　このコメントの本気度を感じました！
ベータ版は提供していない(まだ？)ようですが、リリースが楽しみです。

2.VMware Cluster Memory
 　大きなニュースにはなっていませんでしたが、個別セッションで発表があったようです。GPUやFPGAなどをリソースプール化するBitfusionの買収もあり、メモリのプール化もあり、DC内の変革が進んでいくのが想像できます。
https://www.publickey1.jp/blog/19/vmware_cluster_memoryvmware.html
※ただ、VMware Cluster Memory は提供されない可能性もあるようです。。。

Bitfusion

◆メモ◆
VMwareが買収したBitfusionの情報が出始めたので、メモ。


GPUs for Machine Learningon VMware vSphere



Flexdirect Docs


<Command>
Install the FlexDirect CLI
　　wget -O – getflex.bitfusion.io | sudo bash

dockerが動かない。。。

◆メモ◆

急にdockerコマンドが使えなくなった。。。


# docker ps
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

# systemctl start docker
Failed to start docker.service: Unit docker.service is masked.

# systemctl enable docker
Synchronizing state of docker.service with SysV service script with /lib/systemd/systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install enable docker
Failed to enable unit: Unit file /etc/systemd/system/docker.service is masked.



maskがかかったようなので、これで解消

# systemctl unmask docker.service
Removed /etc/systemd/system/docker.service.

# systemctl unmask docker.socket

# systemctl start docker.service

# docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

VMware + Bitfusion

VMware社から立て続けに買収ニュースが発表されています。

5/15 Bitnami

6/13　Avi Networks

7/18　Bitfusion

7/25 Uhana

個人的にはGPUやFPGAなどのアクセラレータをプール化するBitfusionの買収が
今後面白くなりそうで注目しています。

 BitfusionはVMworld 2018でもセッションを持っていて、VMwareとの親和性も高いようです。 　※セッション動画はこちら

 VMwareもAI/ML関連の対応進めていますね。　

Managing Packages in PhotonOS

自宅でPhotonOS入れてから少し時間がたってしまいましたが、インストール後に行ったことを少しずつ書き溜めていきます。


PhotonOSは基本的には余計なものはインストールされていないのですが、自宅で色々試すには不足するものがあります。
私は自宅ではwgetを多用してインターネットからもろもろのパッケージをとってくるのですが、Photonにはデフォルトでインストールされていない。。。


ということでIPアドレスやホスト名など基本的な設定後に、#yum install...でと思ったらyumコマンドも無いっ！

調べてみるとphotonのパッケージ管理ソフトは tdnf というコマンドに置き換わっているようです。　※詳細は こちら 。


ということで、tdnf コマンドでwgetをインストール

# tdnf install wget Installing: wget                     x86_64       1.19.1-4.ph2     photon-updates   2.56M 2681777 Total installed size:   2.56M 2681777 Is this ok [y/N]:y Downloading: wget                                        0      0%  ~省略~ 1015669    100% Testing transaction Running transaction Installing/Updating: wget-1.19.1-4.ph2.x86_64 Complete! #

今回はwgetを参考に紹介しましたが、#tdnf install yum でyumを使えるようにしたりと、photonではtdnfは基本のコマンドです。

NSX-T 2.4

NSX-Tの最新バージョン2.4が2019年2月にリリースされました。
このバージョンアップでNSX-Vとの機能差がほぼなくなり、NSX-Tを入れたかったけど、機能がたりなくて。。。といったこともなくなると思います。

VMware NSX-T Data Center 2.4 リリース ノート

機能差はなくなったといっても若干の差があるので大きそうな部分を紹介します。

	NSX-V	NSX-T 2.4
プラットフォーム	vSphere	vSphere, KVM, BareMetal
管理ツール	vCenter, NSX Manager	NSX-T Manager
Edge	仮想アプライアンス	仮想アプライアンス、BareMetal
仮想スイッチ	vDS	N-vDS
Overlay Protocol	VXLAN	GENEVE

この表だけだとNSX-Tのほうがいいんじゃないか！？といった印象も受けますが、選定は環境と要件に合わせて行う必要があるかと思います。

ただ、個人的には今後はNSX-Tが主流になっていくんじゃないかといった印象です。

自宅LabにPhotonOS の Install

ちょっと試したいことがあったり、自宅のNUC環境も色々試してぐちゃぐちゃになってきたので、きれいにするのもかねてESXiの再インストールと限られたNUCのリソースを有効活用するためにPhotonOSを導入することにしました。

まず、Photonってなに？ってことを簡単に。。。

PhotonOSはVMware社から提供されているOSSのLinuxベースのコンテナホストです。

vSphereやVMware Workstation、Fusionで動かすこともできますが、AWSのEC2やAzure、GoogleのGCEなどにも導入することができます。

また、最近のvCenter aplianceもPhotonベースで動いています。

ドキュメントやダウンロードは公式サイトのこちらになります。

今回はインストール手順をご紹介します。

PhotonOSはISOイメージ、ova、AWSやAzure用のImageが提供されているので

適切なものをダウンロートしてください。私は自宅のESXiに導入なのでovaをダウンロードしています。

ESXiの場合はOVAから導入なので、Wizardに従うだけなので簡単に導入できます。

1.ダウンロードしたovaファイルを選択します。

２．仮想マシン名を入力します。

3.デプロイ先のESXiを選択します。

4.設定した内容を確認します。

5.使用許諾に同意します。

6.デプロイ先のデータストア選択とディスクフォーマットを選択します。

7.仮想ネットワークを選択します

8.設定情報の確認

 9.デプロイのタスクが完了となることを確認

 まず、実行するのは初期パスワードの変更になります。

IDは root で、初期パスワードは changeme でログインします。
初期ログイン後にパスワード変更が必要になります。


その後にネットワークの設定など環境に合わせて設定変更を行います。

色々ためしたら次回以降にご紹介します。

Deploy NSX-T Manager

自宅のESXiにNSX-Tを入れてみました。

まだ色々といじっている最中なのですが、まずはNSX ManagerのDeploy手順から説明していきます。

NSX-TのManagerはova形式でVMware社から提供されているので、通常の手順でvCenterからOVAのデプロイを実行するだけでOKです。

１．ダウンロードしたOVAファイルを選択

2.仮想マシン名を入力

3.Deploy先を選択

4.テンプレート詳細を確認

5.仮想アプライアンスサイズを選択

6.ディスクフォーマット、データストアを選択

7.ネットワークを選択

8.設定情報(パスワード、IPアドレス等)を指定

9.設定内容の確認

10.vCenterのタスクでDeployが完了するのを待ちます

11.ステップ8で指定したIPアドレスにブラウザでアクセスし、ログイン画面が表示されればDeployが完了です。

最近はほとんどの製品がOVAで提供されているので、Deployで迷うことなく完了するのでとても楽になりました。

Single NIC with vDS

自宅のESXはIntelのNUCを利用しています。

CPUはCorei7のクアッドコアで、メモリ32GB、ディスクはM.2のSSDと自宅用の検証機材としてはそれなりに利用できるのですが、難点としてはOnboardNICが1Gbps*1しかないこと。

このままvCenterからvDSの設定をおこなっても、vCenterとの接続が切れてエラーが発生してしまうので、ひと手間必要となります。


手順としては、まずはvDSの設定。ここはSingleNIC関係なく通常の手順で設定を行います。

その後に、vCenterのAdvanced Settingで config.vpxd.networl.rollbackの設定をtrueからfalseへ変更します。

＜変更前＞

＜変更後＞

vDSを作成したらvSSからvDSへ移行します。その際にvmnic、portgroup、vmkernel portを同時に移行します。　

最後に、仮想マシンのNetwork Adapterの設定をvDSに変更すれば完了です。

自宅にリソースが潤沢で複数NICが載っているPCがあればいいのですが、家族の目や価格を気にするとそこまでいい機材は用意できないから、色々と工夫する必要がありますね。

NSX SD-WAN by VelocloudのConponent

NSXファミリーのVelocloudの情報も増えてきていますが、このブログでも少しずつ情報を掲載していこうと思います。

今回はVeloCloudのコンポーネントを紹介したいと思いますが、その前にこちらの動画を確認いただければと思います。

VeloCloudでは Edge、Orchestrator、Gatewayの3つのコンポーネントがあります。

１．Edge (VCE)
Edgeはブランチオフィスなどオンプレミスに設置する機材になります。

Youtubeの動画では物理機器となっていますが、仮想アプライアンスとしてESXi上に導入することも可能です。

２．Orchestrator (VCO)
OrchestratorはEdgeの構成や機器の管理・監視を行う管理ポータルです。
Youtube動画の1分30秒過ぎころに管理者が操作している画面となります。


３．Gateway (VCG)
クラウド上に配置されているGatewayサービスで、Velocloudを利用していない・できない拠点とのVPN接続などが可能です。AWSを例とすると、各拠点からAWS VPCへの接続はフルメッシュでのVPN接続となりますが、VCGを利用することによってAWS VPCとVCG間でVPN接続をし、VCGと各Velocloud拠点で接続することによって、VPCのメッシュ構成が排除できます。


では、次回以降に構成や機能など少しずつ書いていきます。