2020年3月27日金曜日

Kubeflow on Tanzu

vSphere7がリリースされました。注目はなんといってもvSphereでのKubernetesです。

Tanzu PortfolioとしてPKSやPAS(pivotal app service)などなど、昨年のVMworldでTanzuが発表された内容よりもコンポーネントが追加されています。

そんななか色々とTanzu関連の情報を調べていたら、KBにTanzuのロードマップが記載されていて、その中に Kubeflow の文字が!

 Tanzu Kubernetes Grid Plus Support Matrix (78173)


Kubeflowは簡単にいうとkubenetes上にMachine Learning環境が簡単にできるようになります。
Kubeflowの詳細は こちら です。


ロードマップなので延期も、場合によってはリリースされない可能性もありますが、楽しみです。



2020年2月4日火曜日

vCAP-NV Design

VMware社の試験の体系だったり種類だったりは他の人のブログや、VMware社のサイトで詳しく紹介されているのでここではご紹介しませんが、昨年vCAP-NV Designの試験がリリースされたので、年末にvCAP-NV Designの試験を受けてみました。

私はvCAP5-DCDを持っているので、以前の試験システムからHOLベースに変わったとはいえ、vCAP5時代のイメージで勉強していったところ玉砕しました。。。

vCAP5-DCDでは、画面上にアイコン置いたり、線引いたりと本当にデザイン関連の問題も多々出題されていたのですが、今は全然違うんですね。。。

年末年始はさんでモチベーション下がってたのですが、日本初のVCDX合格者も出たことでまたやる気も出てきました!

ぼちぼち勉強始めます!

2020年1月7日火曜日

Project PacificのPerformance

2019年のVMworldで発表となったProject Pacificには個人的にはとても期待していて、早く製品化されるのを楽しみにしています。

情報も色々と出始めていて、vForum東京でも多くのセッションが持たれていました。
USのPerformance TeamもProject Pacificのパフォーマンス検証結果をブログにあげているようです。

How Does Project Pacific Deliver 8% Better Performance Than Bare Metal?

この内容はvForumのセッションでも説明されていましたが、Bare MetalのKubernetsよりもProject Pacificのほうが8%パフォーマンスが良いです。

仮想化よりもBareMetalのほうがパフォーマンスがいいのが通常なので、vForumでこの説明を聞いたときにはちょっとした驚きでした。

Project Pacificのほうがいいのはブログには以下のように記載しています。

*****
To get deeper insights, we configure a set of pods to run the same workload at a constant throughput and collect hardware performance counter data for both testbeds to see the proportion of the last level cache (L3) misses that hit in the local DRAM vs remote DRAM. The local DRAM accesses incur much lower memory access latencies in comparison to remote DRAM accesses.
As shown in Figure 4, only half of the L3 cache misses hit in local DRAM, and the rest are served by remote memory in the case of bare-metal Enterprise Linux. In the case of the vSphere Supervisor Cluster, however, 99.2% of the L3 misses hit in local DRAM for an identical pod and workload configuration due to superior CPU scheduling in ESXi. The lower memory access latencies from avoiding remote memory accesses contributes to improved performance on the vSphere Supervisor Cluster.
*****

詳細は上のブログを確認してもらえればと思いますが、簡単に言うとメモリの使い方がvSphereのほうが賢いためにパフォーマンスが優位とのことです。



2019年12月11日水曜日

VMの強制停止(vim-cmd)

久しぶりに検証環境のloginsightをみたら、ディスクがいっぱいのアラートが発生してるじゃん!

ディスクを拡張しろよっ!ってメッセージが出ているのでVM停止しようにも、vsphere clientからもcliからも、シャットダウンも電源offも受け付けない状態に、、、

まぁ、検証環境で気を抜くとよくやってしまうんですよね。


ということで、esxiにログインしてvim-cliで強制停止します。



まずは、loginsightのvmidの確認。

[root@esx06:~] vim-cmd vmsvc/getallvms
Vmid        Name                                         File                                          Guest OS         Version                                                                                                          Annotation                                                                                                       
9      loginsight8      [vsanDatastore] c90ec45d-e494-fac1-cd8b-e4434b765fd4/loginsight8.vmx      other3xLinux64Guest   vmx-11    VMware vRealize Log Insight                                                                                                                                                                                             

該当のvmidは9なのを確認します。


ダメ元で通常のpower offをしてみるも、やっぱりダメでした。
まぁ、vsphere clientでダメでしたしね。
[root@esx06:~] vim-cmd vmsvc/power.off 9
Powering off VM:
Power off failed

[root@esx06:~] vim-cmd vmsvc/power.getstate 9
Retrieved runtime info
Powered on


もういいやってことと、おそらくできないだろうってことでdestroyもしてみましたが、
まぁだめですね。✳︎本番環境ではやらないでください。
[root@esx06:~] vim-cmd vmsvc/destroy 9
Destroy failed


ということで、esxiで該当プロセスを停止します。
まずは、該当プロセスの確認。
[root@esx06:~] esxcli vm prodccess list
loginsight8
   World ID: 2217787
   Process ID: 0
   VMX Cartel ID: 2217786
   UUID: 42 0f 3e 71 4c db c0 a8-f1 51 b2 87 e4 2d 49 86
   Display Name: loginsight8
   Config File: /vmfs/volumes/vsan:523fb3acb1d66ae8-2e6d54369e0422c5/c90ec45d-e494-fac1-cd8b-e4434b765fd4/loginsight8.vmx

World IDを確認して、killコマンドでプロセスをていしします。
[root@esx06:~] esxcli vm process kill --type=soft --world-id=2217787


プロセスが停止したのが確認できました。
[root@esx06:~] esxcli vm process list

仮想マシンも電源OFFになりました。
[root@esx06:~] vim-cmd vmsvc/power.getstate 9
Retrieved runtime info
Powered off



こんかいはkillコマンドのtypeがsoftで停止できましたが、softで停止で着ない場合は、hardやfoceのtypeを指定することもできます。

強さでいうと soft >hard>forceになるので、順番に試してみてください。

2019年11月25日月曜日

PhotonOS Disk expansion

PhotonOSでいくつかAI系のコンテナを試しているのですが、PhotonOSのディスクはデフォルトで15GBしかないので、必要なパッケージをダウンロードしているとすぐにディスクがいっぱいになってしまいます。。。

なので、PhotonOSのディスク拡張を行いました。


まずは、vSphere ClientでPhotonOSのディスクサイズを大きくします。
PhotonOSに設定されているディスクを15GBから必要なサイズに拡張します。
私の環境ではとりあえず40GBに変更しました。


変更後はPhotonOSにSSHして次の流れで操作します。

1. 再起動なしでDisk変更を認識できるように設定変更
2. partedコマンドのインストール
3. partedでディスク拡張
4. ファイルシステム拡張



まずは、1の再起動無しでディスクの境界(この場合は元々のSectorと拡張したSectorの境界)を認識できるようにします。

# echo 1 > /sys/class/block/sda/device/rescan



次に、PhotonOSにはデフォルトではディスク操作のコマンドがインストールされていないので、partedコマンドをインストールします。

# tdnf install parted

Installing:
parted                   x86_64       3.2-7.ph3        photon         1.11M 1159755

Total installed size:   1.11M 1159755
Is this ok [y/N]:y

Downloading:
Testing transaction
Running transaction
Installing/Updating: parted-3.2-7.ph3.x86_64

Complete!


partedのインストールが完了したらディスクの拡張です。

# parted /dev/sda
GNU Parted 3.2
Using /dev/sda
Welcome to GNU Parted! Type 'help' to view a list of commands.

(parted) print  ※拡張対象のパーティション番号を確認
print
Model: VMware Virtual disk (scsi)
Disk /dev/sda: 42.9GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name  Flags
 1      1049kB  9437kB  8389kB                     bios_grub
 2      9437kB  17.2GB  17.2GB  ext4  ※データ領域の2を拡張します。

(parted) resizepart 2 100% ※パーティション2を100%使う


(parted)print ※拡張されたことを確認
Model: VMware Virtual disk (scsi)
Disk /dev/sda: 42.9GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name  Flags
 1      1049kB  9437kB  8389kB                     bios_grub

 2      9437kB  42.9GB  42.9GB  ext4


(parted) quit ※partedを終了



partedでディスク拡張後に、ファイルシステムを拡張します。


# resize2fs /dev/sda2 ※ファイルシステムを拡張
resize2fs 1.44.3 (10-July-2018)
Filesystem at /dev/sda2 is mounted on /; on-line resizing required
old_desc_blocks = 1, new_desc_blocks = 3
The filesystem on /dev/sda2 is now 10483451 (4k) blocks long.


# df -h  ※ファイルシステムが拡張されたことを確認
Filesystem      Size  Used Avail Use% Mounted on
/dev/root        40G  438M   38G   2% /
devtmpfs        998M     0  998M   0% /dev
tmpfs          1000M     0 1000M   0% /dev/shm
tmpfs          1000M  524K  999M   1% /run
tmpfs          1000M     0 1000M   0% /sys/fs/cgroup
tmpfs          1000M     0 1000M   0% /tmp
tmpfs           200M     0  200M   0% /run/user/0



詳細はPhotonOSのマニュアルに記載があるのでそちらを参照してください。


2019年11月20日水曜日

NSX-T Memo

本気でNSX-Tの勉強を始めたので整理がてらのメモ。

とりあえず、ドキュメントを読んで気になった注意事項を羅列していきます。

【Tier-0 Gateway】
  • Act / Act か Act / Stb構成ができる
  • NAT、LB、Stateful FW、VPNは Act / Stb構成だけ

【Logical Router Topology】
  • 次の構成はUnsupported
    • Physical Router - Tier-1 Gatewayの直接接続
    • Tier-1 - Tier1 Gatewayどうしの接続
    • Tier-0 Gateway *n - Tier-1 Gatewayの接続(N:1接続)



【ECMP】
  • Tier-0 論理ルータをAct / Actにする
  • 最大8つのECMPパスをサポート


【VPN】
  • IPSec or L2 VPNをサポート
  • Tier-0でBGPを使ったVPNはOK、Tier-1でBGPのVPNはNG
  • Tier-1でStatic RouteのVPNはOK
  • VPNトンネリング冗長を行うのBGP構成でサポート

【NAT】
  • Tier-0,1 Gatewayに設定可
  • Tier-0 GatewayがAct / Actの場合はSNAT、DNATはできない再帰NAT(ステートレス)のみ

【Load Balancer】
  • InlineとOne-Armの構成ができる
  • Inline構成はTier-1だけ
  • LB冗長化はTier-1 LRをAct / Stbで構成
  • LB スケール 
 引用:NSX-T Data Center管理ガイド



【NSX Manager】
  • Anti-Affinityを推奨
  • NSX Manager間の遅延は10msec
  • NSX Manager-Transport Node間の最大遅延は10msec


【Edge Node】
  • DRSは無効化
  • リソース要件
引用:NSX-T Data Centerインストールガイド


【Bare Metal Edge Node】

  • 最大16物理NICをサポート
  • 仮想Edge Nodeに比べてパフォーマンスに優れる
  • Fail-overも仮想Edge Nodeより早い
  • 管理専用Interfaceが作られる(1GbpsでもOK)
    • 専用NICではない


【Edge Node Cluster】
  • 最大10Edge / Edge Cluster
  • 16 Edge Cluster / NSX-T Manager なので1 NSX-T Managerで最大160台のEdge Nodeを管理可能
  • Cluster内のEdge Nodeは違うEdgeNode構成でもいいけど、同じ構成(サイズ)が推奨
  • フェイルオーバーモード
    • プリエンプティブ:ロールバックする
    • 非プリエンプティブ:ロールバックしない


2019年11月8日金曜日

PhotonOSへdocker-composeをインストール

PhotonOSでdocker-composeを使おうと思ったら、デフォルトではインストールされていないんですね。。。

こちらのDockerのマニュアルに沿ってインストール。



root@photon02 [ ~ ]# curl -L "https://github.com/docker/compose/reeases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

                                 Dload  Upload   Total   Spent    Left  Speed

100   617    0   617    0     0    815      0 --:--:-- --:--:-- --:--:--   813

100 15.4M  100 15.4M    0     0   950k      0  0:00:16  0:00:16 --:--:-- 2550k

root@photon02 [ ~ ]# chmod +x /usr/local/bin/docker-compose

root@photon02 [ ~ ]# ln -s /usr/local/bin/docker-compose /usr/bin/


エラーもなく完了! 元の作業に戻ります~