Add disk to worker node

今回はvsphere with tanzuのworkerノードへのディスク追加方法についてご紹介します。

コンテナは軽量という印象をお持ちの人も多いと思いますが、コンテナイメージによっては数GBのサイズがあったりで意外とサイズの大きいものもあります。

私はAI系のコンテナイメージを利用することが多いのですが、これがイメージサイズが大きくてpull imageで時間がかることがあります。時間がかかるだけであればいいのですが、ディスクサイズに収まらないということも発生します。

通常のKubernetesやDockerであればホストOSのディスクサイズは仮想マシンでも数十GBから数百GB程度取ることがあるのであまり問題はないのですが、TanzuでTKCを作成してWoker Nodeを展開すると私の環境の場合はディスクサイズが16GBで、Workerノードのディスク容量が足りずにコンテナイメージを展開できないことがありました。

状況としてはkubetctl get pod でStatusがEvictedになります。

kubectl describe podで詳細を確認すると、The node was low on resource: ephemeral-storage.のメッセージが、、、

色々ためしたのですがWorkerノードのディスクを拡張するしかなく、tkcを作成するyamlファイルに以下を追加することで回避できました。

volumes:

  - name: containerd

    mountPath: /var/lib/containerd

    capacity:

      storage: 64GiB

ネット探してもこのあたりに困っている人は少なそうだったんですが、Workerノードのディスクサイズに困っている人は少ないのか、周知の事実なのか、、、

とりあえず、やっとコンテナ使えるようになりました。

AI Enterprise with Tanzu? Virtual Machine?

GTC 2022でもAI Enterpriseのアップデートがありましたね。

これまでのTanzuの他にOpenshift、Bareメタルもサポートされると発表がありましたので多くの環境で利用することができるようになります。

私もまずはvSphere上の仮想マシンでAI Enterpriseを試してみて、今はTanzuでのAI Enterpriseの構築にチャレンジしています。

Tanzuも仮想サーバも基本はNGCからコンテナを取得してAI環境を展開、利用することになるのでデータサイエンティストからしたら代わりなく利用できますし、どちらもGPUリソース割り当てなどは使い慣れたvCenterでできるので、インフラ管理者にも優しい仕様になっています。

まだ触りだけなので、もうちょっと使いこなせるようになったらMIGやNGCなどなどの使い勝手を記事にしていきたいと思います。

Bitfusion on Kubernetes

bitfusionネタが続きますが、、、

Bitfusionは仮想マシン、ベアメタルなどで使うことができますが、Kubernetesでも利用することができます。公式にはTanzuがサポートされるようですが、マニュアルを見るとTanzuじゃなくても動きそう。。。

ということで自宅の環境にUbuntu＋microk8sを構築して、microk8s上のコンテナでBitfusionを利用してみました。

※BitfusionサーバとKubernetes環境の構築は省略します。

Kubernetes環境のkubeconfigをローカルPCにダウンロードし、vCenterのBitfusionタブ内のToken画面でkubeconfigをアップロードすると、Namespace一覧が表示されるので、Bitfusionを利用するNamespaceを選択します。

Tokenタブへ戻り、CREATEボタンを選択します。

Create Tokenウィンドウで先程選択したNamespaceが表示されるので選択します。

Tokensタブへ戻るとTokenが作成されていることが確認できます。

これでvCenter側での設定は完了なので、あとはbitfusionのリソースを使うことをyamlファイルに設定して、Podを起動するだけです。

次のyamlの中で赤字の部分を変更するだけでBitfusionが利用できるコンテナを起動することができます。

apiVersion: v1 kind: Pod metadata: name: pod_name spec: hostNetwork: true containers: - name: container_name image: container_image_path command: ["/bin/sh", "-c", "while : ;do curl http://localhost:80/; sleep 3; done"] volumeMounts: - name: config-files mountPath: /etc/bitfusion - name: certificate mountPath: /etc/bitfusion/tls volumes: - name: config-files projected: defaultMode: 0640 sources: - secret: name: bitfusion-client-secret-client.yml - secret: name: bitfusion-client-secret-servers.conf - name: certificate secret: secretName: bitfusion-client-secret-ca.crt defaultMode: 0640

引用：Enabling the vSphere Bitfusion Client

構築前は大変なのかと思っていましたが、あまりにも簡単で拍子抜けするくらいでした。

VMware Tanzu on Intel NUC

Tanzuを自宅の限られたリソースで試してみたくて、色々と調べて見つけた情報がこの２つ。

Demo Appliance for Tanzu Kubernetes Grid

Complete vSphere with Tanzu homelab with just 32GB of memory!

どちらもTwitterでいつも拝見しているWilliam Law( @lamw )さんの情報です。

自宅で自由になるNUCはちょうど32GBメモリなのでブログの通り構築すれば問題ないはず！とうことで、Demo ApplianceではなくNUCで構築してみました。

Williamさんのブログを見てもらうとわかると思いますが、vCenterのデプロイ・設定から、haproxyのデプロイなどなどほとんどがPowerCLIのスクリプトが公開されているので簡単に導入することができました。

ほとんどがスクリプトのダウンロード、環境に合わせてNWやパスワードを修正、実行で完了してしまいます。

ただ、私が構築した際には、vCenterへの接続でsslのエラーがでたので -Forceのオプションや、ワークロードの管理を有効にする際もSSL関連のエラーが出たのでスクリプトにSet-PowerCLIConfigurationのパラメータを追加したくらいでした。

今までPowerCLIをがっつり使うことはあまりなかったのですが、便利なのを実感しました。。。

スクリプト残しておけば実行するだけでいつも同じ環境できるし。今回は色々と勉強になりました。

AI Enterprise Suite with vSpere7/Tanzu

3月にNVIDIA社から発表のあった、AI Enterprise Suiteをご存知でしょうか？

NVIDIA AI Enterprise SuiteはNVIDIAが認定したGPUサーバと、vSphere7 U2での稼働が認定されたソフトウェアの組み合わせになります。

AIワークロードの迅速な展開、管理、スケーリングのコンポーネントが含まれるとあり、仮想マシンだけではなくTanzu環境でも利用できるようです。

NVIDIAのサイトでは次のような画像が掲載されていますが、こちらからもTanzuがコンポーネントとして追加されているのが見て取れます。

それ以外には、右下に配置されている DPUの部分もポイントになってくると思います。DPUでRDMAを利用することによって、帯域幅と遅延を小さくし、複数ノードでのAIモデルの学習にも対応してくるものだと思います。

NGCにも新しく学習モデルが多数公開されているようなので、ますます楽しみになってきました。

TKG Demo Appliance試してみる：Part1 OVA入手

インストールして触りだけ試したりしていたけど、そろそろがっつりやってみないととずっと思いつつ、生粋のインフラエンジニアにはなんとなくハードルが高くて手がつかなかったKubernetes。

自宅で試すにはリソース足りないからなぁ。。。自分に言い訳しつつ後回しにしてたけど、試してみたいソフトがTKGで動くらしい。しかもTKGもDemoアプリ(仮想アプライアンス)が提供されているので、在宅勤務で自宅環境も触りやすいので試してみようと思います。

VMware Flings

FlingsにはESXi Arm EditionやHCI Benchなど無料で使える便利ツールが多数公開(2021年1月時点で157種類）されています。位置づけとしては製品への機能組み込み前のテストのようなのものなんでしょうかね。

このFlingsでTKGのデモ環境を構築できるDemo Appliance for Tanzu Kubernetes Gridが公開されています。Workshopガイドも併せて公開されているので導入＆基本操作までであれば簡単に試すことができます。

ということで、自宅のPCに導入してみたいと思います。

OVAのダウンロード

では、さっそくTKG Demo Applianceをデプロイしていきます。

サポートする環境としてはVMC on AWS、VMC on DellEMC、オンプレのvSphereの3種類なのですが、今回は自宅のNUCにインストールしてみます。

Demo ApplianceとPhotonOSのダウンロードを行います。

URLから直接ダウンロードしてもいいのですが、コンテンツライブライを利用してダウロードします。

vCenterのメニューからコンテンツライブラリを選択します。

新規作成を選択します。

名称を入力します。

サブスクライブ済みコンテンツライブラリを選択し、URLを入力します。

URLはマニュアルに記載があるこちら( https://download3.vmware.com/software/vmw-tools/tkg-demo-appliance/cl4/lib.json )こちらを入力します。

コンテンツライブラリで利用するデータストアを選択します。

設定が完了すると自動でOVAテンプレートがダウンロードされます。

2021年1月26日時点ではこちらのバージョンがダウンロードされました。

今回はここまでで次回はDeployに入りたいとおもいます。

Kubeflow on Tanzu

vSphere７がリリースされました。注目はなんといってもvSphereでのKubernetesです。

Tanzu PortfolioとしてPKSやPAS(pivotal app service)などなど、昨年のVMworldでTanzuが発表された内容よりもコンポーネントが追加されています。

そんななか色々とTanzu関連の情報を調べていたら、KBにTanzuのロードマップが記載されていて、その中に　Kubeflow　の文字が！

　Tanzu Kubernetes Grid Plus Support Matrix (78173)


Kubeflowは簡単にいうとkubenetes上にMachine Learning環境が簡単にできるようになります。
Kubeflowの詳細は　こちら　です。


ロードマップなので延期も、場合によってはリリースされない可能性もありますが、楽しみです。