Add disk to worker node

今回はvsphere with tanzuのworkerノードへのディスク追加方法についてご紹介します。

コンテナは軽量という印象をお持ちの人も多いと思いますが、コンテナイメージによっては数GBのサイズがあったりで意外とサイズの大きいものもあります。

私はAI系のコンテナイメージを利用することが多いのですが、これがイメージサイズが大きくてpull imageで時間がかることがあります。時間がかかるだけであればいいのですが、ディスクサイズに収まらないということも発生します。

通常のKubernetesやDockerであればホストOSのディスクサイズは仮想マシンでも数十GBから数百GB程度取ることがあるのであまり問題はないのですが、TanzuでTKCを作成してWoker Nodeを展開すると私の環境の場合はディスクサイズが16GBで、Workerノードのディスク容量が足りずにコンテナイメージを展開できないことがありました。

状況としてはkubetctl get pod でStatusがEvictedになります。

kubectl describe podで詳細を確認すると、The node was low on resource: ephemeral-storage.のメッセージが、、、

色々ためしたのですがWorkerノードのディスクを拡張するしかなく、tkcを作成するyamlファイルに以下を追加することで回避できました。

volumes:

  - name: containerd

    mountPath: /var/lib/containerd

    capacity:

      storage: 64GiB

ネット探してもこのあたりに困っている人は少なそうだったんですが、Workerノードのディスクサイズに困っている人は少ないのか、周知の事実なのか、、、

とりあえず、やっとコンテナ使えるようになりました。

AI Enterprise with Tanzu? Virtual Machine?

GTC 2022でもAI Enterpriseのアップデートがありましたね。

これまでのTanzuの他にOpenshift、Bareメタルもサポートされると発表がありましたので多くの環境で利用することができるようになります。

私もまずはvSphere上の仮想マシンでAI Enterpriseを試してみて、今はTanzuでのAI Enterpriseの構築にチャレンジしています。

Tanzuも仮想サーバも基本はNGCからコンテナを取得してAI環境を展開、利用することになるのでデータサイエンティストからしたら代わりなく利用できますし、どちらもGPUリソース割り当てなどは使い慣れたvCenterでできるので、インフラ管理者にも優しい仕様になっています。

まだ触りだけなので、もうちょっと使いこなせるようになったらMIGやNGCなどなどの使い勝手を記事にしていきたいと思います。

Kubeflow on Tanzu

vSphere７がリリースされました。注目はなんといってもvSphereでのKubernetesです。

Tanzu PortfolioとしてPKSやPAS(pivotal app service)などなど、昨年のVMworldでTanzuが発表された内容よりもコンポーネントが追加されています。

そんななか色々とTanzu関連の情報を調べていたら、KBにTanzuのロードマップが記載されていて、その中に　Kubeflow　の文字が！

　Tanzu Kubernetes Grid Plus Support Matrix (78173)


Kubeflowは簡単にいうとkubenetes上にMachine Learning環境が簡単にできるようになります。
Kubeflowの詳細は　こちら　です。


ロードマップなので延期も、場合によってはリリースされない可能性もありますが、楽しみです。

Project PacificのPerformance

2019年のVMworldで発表となったProject Pacificには個人的にはとても期待していて、早く製品化されるのを楽しみにしています。

情報も色々と出始めていて、ｖForum東京でも多くのセッションが持たれていました。
USのPerformance TeamもProject Pacificのパフォーマンス検証結果をブログにあげているようです。

How Does Project Pacific Deliver 8% Better Performance Than Bare Metal?

この内容はvForumのセッションでも説明されていましたが、Bare MetalのKubernetsよりもProject Pacificのほうが8%パフォーマンスが良いです。

仮想化よりもBareMetalのほうがパフォーマンスがいいのが通常なので、vForumでこの説明を聞いたときにはちょっとした驚きでした。

Project Pacificのほうがいいのはブログには以下のように記載しています。

＊＊＊＊＊

To get deeper insights, we configure a set of pods to run the same workload at a constant throughput and collect hardware performance counter data for both testbeds to see the proportion of the last level cache (L3) misses that hit in the local DRAM vs remote DRAM. The local DRAM accesses incur much lower memory access latencies in comparison to remote DRAM accesses.

As shown in Figure 4, only half of the L3 cache misses hit in local DRAM, and the rest are served by remote memory in the case of bare-metal Enterprise Linux. In the case of the vSphere Supervisor Cluster, however, 99.2% of the L3 misses hit in local DRAM for an identical pod and workload configuration due to superior CPU scheduling in ESXi. The lower memory access latencies from avoiding remote memory accesses contributes to improved performance on the vSphere Supervisor Cluster.

＊＊＊＊＊

引用( https://blogs.vmware.com/performance/2019/10/how-does-project-pacific-deliver-8-better-performance-than-bare-metal.html )

詳細は上のブログを確認してもらえればと思いますが、簡単に言うとメモリの使い方がvSphereのほうが賢いためにパフォーマンスが優位とのことです。

PhotonOSへdocker-composeをインストール

PhotonOSでdocker-composeを使おうと思ったら、デフォルトではインストールされていないんですね。。。

こちらのDockerのマニュアルに沿ってインストール。



root@photon02 [ ~ ]# curl -L "https://github.com/docker/compose/reeases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

                                 Dload  Upload   Total   Spent    Left  Speed

100   617    0   617    0     0    815      0 --:--:-- --:--:-- --:--:--   813

100 15.4M  100 15.4M    0     0   950k      0  0:00:16  0:00:16 --:--:-- 2550k

root@photon02 [ ~ ]# chmod +x /usr/local/bin/docker-compose

root@photon02 [ ~ ]# ln -s /usr/local/bin/docker-compose /usr/bin/


エラーもなく完了！　元の作業に戻ります～

自宅LabにPhotonOS の Install

ちょっと試したいことがあったり、自宅のNUC環境も色々試してぐちゃぐちゃになってきたので、きれいにするのもかねてESXiの再インストールと限られたNUCのリソースを有効活用するためにPhotonOSを導入することにしました。

まず、Photonってなに？ってことを簡単に。。。

PhotonOSはVMware社から提供されているOSSのLinuxベースのコンテナホストです。

vSphereやVMware Workstation、Fusionで動かすこともできますが、AWSのEC2やAzure、GoogleのGCEなどにも導入することができます。

また、最近のvCenter aplianceもPhotonベースで動いています。

ドキュメントやダウンロードは公式サイトのこちらになります。

今回はインストール手順をご紹介します。

PhotonOSはISOイメージ、ova、AWSやAzure用のImageが提供されているので

適切なものをダウンロートしてください。私は自宅のESXiに導入なのでovaをダウンロードしています。

ESXiの場合はOVAから導入なので、Wizardに従うだけなので簡単に導入できます。

1.ダウンロードしたovaファイルを選択します。

２．仮想マシン名を入力します。

3.デプロイ先のESXiを選択します。

4.設定した内容を確認します。

5.使用許諾に同意します。

6.デプロイ先のデータストア選択とディスクフォーマットを選択します。

7.仮想ネットワークを選択します

8.設定情報の確認

 9.デプロイのタスクが完了となることを確認

 まず、実行するのは初期パスワードの変更になります。

IDは root で、初期パスワードは changeme でログインします。
初期ログイン後にパスワード変更が必要になります。


その後にネットワークの設定など環境に合わせて設定変更を行います。

色々ためしたら次回以降にご紹介します。