先月発表されたTanzu Community Edition を触ってみようと思いつつ時間が経ってしまったのですが、やっと構築してみました。
詳細は色々な方がBlogに書いているのでそちらを見ていただければと思いますが、Docker Desktopで動かせるのって、検証機材を用意する必要もないので嬉しいですね。
Docker Desktopもいずれ試してみたいのですが、今回はvSpheseで試してみました。
結論から言うとすごく簡単に構築できます。
これまでちょっと使うならMicrok8sとか使っていましたが、これからはTanzu Community Editionばかりになりそうです。
そして、Bitfusionも全く心配してませんでしたが動かすことができました。
Bitfusionもマニュアルに載ってない使い方や、監視方法があるので今後ためしていきたいとおもいます。
bitfusionネタが続きますが、、、
Bitfusionは仮想マシン、ベアメタルなどで使うことができますが、Kubernetesでも利用することができます。公式にはTanzuがサポートされるようですが、マニュアルを見るとTanzuじゃなくても動きそう。。。
ということで自宅の環境にUbuntu＋microk8sを構築して、microk8s上のコンテナでBitfusionを利用してみました。
※BitfusionサーバとKubernetes環境の構築は省略します。
Kubernetes環境のkubeconfigをローカルPCにダウンロードし、vCenterのBitfusionタブ内のToken画面でkubeconfigをアップロードすると、Namespace一覧が表示されるので、Bitfusionを利用するNamespaceを選択します。
次のyamlの中で赤字の部分を変更するだけでBitfusionが利用できるコンテナを起動することができます。
apiVersion: v1 kind: Pod metadata: name: pod_name spec: hostNetwork: true containers: - name: container_name image: container_image_path command: ["/bin/sh", "-c", "while : ;do curl http://localhost:80/; sleep 3; done"] volumeMounts: - name: config-files mountPath: /etc/bitfusion - name: certificate mountPath: /etc/bitfusion/tls volumes: - name: config-files projected: defaultMode: 0640 sources: - secret: name: bitfusion-client-secret-client.yml - secret: name: bitfusion-client-secret-servers.conf - name: certificate secret: secretName: bitfusion-client-secret-ca.crt defaultMode: 0640引用：Enabling the vSphere Bitfusion Client
構築前は大変なのかと思っていましたが、あまりにも簡単で拍子抜けするくらいでした。
VMworldでセッションがあったのは気づかなったんですが、VMwareのブログで見つけました Project Radium！！！！！
簡単にいうと、これまでBitfusionで利用できていたのはNVIDIAのGPUだけでしたが、 AMDのGPU, GraphcoreのIPU、IntelのHabana、FPGA(?)などなどのNVIDIA GPU以外のアクセラレータをプール化してネットワーク経由で利用できるようになるそうです。
まだProject段階なようですが、早く製品化されることを願っています。
Tanzuを自宅の限られたリソースで試してみたくて、色々と調べて見つけた情報がこの２つ。
Demo Appliance for Tanzu Kubernetes Grid
Complete vSphere with Tanzu homelab with just 32GB of memory!
どちらもTwitterでいつも拝見しているWilliam Law( @lamw )さんの情報です。
自宅で自由になるNUCはちょうど32GBメモリなのでブログの通り構築すれば問題ないはず！とうことで、Demo ApplianceではなくNUCで構築してみました。
Williamさんのブログを見てもらうとわかると思いますが、vCenterのデプロイ・設定から、haproxyのデプロイなどなどほとんどがPowerCLIのスクリプトが公開されているので簡単に導入することができました。
ほとんどがスクリプトのダウンロード、環境に合わせてNWやパスワードを修正、実行で完了してしまいます。
ただ、私が構築した際には、vCenterへの接続でsslのエラーがでたので -Forceのオプションや、ワークロードの管理を有効にする際もSSL関連のエラーが出たのでスクリプトにSet-PowerCLIConfigurationのパラメータを追加したくらいでした。
今までPowerCLIをがっつり使うことはあまりなかったのですが、便利なのを実感しました。。。
スクリプト残しておけば実行するだけでいつも同じ環境できるし。今回は色々と勉強になりました。
普段はNVIDIA T4を使うことが多くて特に意識することなくパススルーで利用していたのですが、今回V100をPass Throughで使おうとしたら電源が入らない。。。
表示されたエラーは、、、
仮想マシンのパワーオンに失敗しました。モジュール「DevicePowerOn」のパワーオンに失敗しました。
これって他の仮想マシンでパススルーで使っている場合に出た気がするけど、今回は1台しか使ってないしということで調べてみたら、ハイエンドのPCIデバイスはBIOSじゃなくEFIで仮想マシンを設定する必要があるそうです。
こんなのがあるなんて落とし穴でした。。。
ちなみにハイエンドのPCIデバイスというのは16GBメモリ以上搭載のデバイスなので、NVIDIAのV100、V100S、A100などなどのほかにも、AMDやいくつかのFPGAも対象となるようです。
なので、まずはOSのEFIでインストールが必要なのと、仮想マシンオプションを2つ設定する必要があります。
1つ目はこちら。気にせずこのまま設定して大丈夫です。
pciPassthru.use64bitMMIO=“TRUE”
2つ目が注意が必要です。下の例は128を設定していますが、実際にはPCIデバイスメモリ＊枚数＊２の値が必要なので、32GBメモリのV100*2枚使う場合は、32GB＊2枚＊２で128を指定する必要があります。
pciPassthru.64bitMMIOSizeGB=“128
ちなみに、32GBモデル＊１枚の場合はこんな感じです。
この値が間違っていると、仮想マシンの電源は入るのですが入った直後にエラーもなく電源落ちます。。。
パススルーは特に意識する必要がないと思っていましたが落とし穴がありますのでご注意ください。
3月にBitfusion3.0.0、4月に3.0.1がリリースされて、 早くもBitfusion3.5が5月11日にリリースされました。
いっときアップデートが2,3ヶ月止まっていたのですが、また1ヶ月ペースでアップデートされるようになりました。
今回のアップデートはつぎのとおり、主にCudaのバージョンサポートが追加されているのですが、1つだけRDMA関連で機能追加されています。
ib_read_bw、ib_read_lat、ib_send_bw、ib_send_lat、ib_write_bw、ib_write_lat などの PVRDMA のネットワーク パフォーマンス テスト ツールが vSphere Bitfusion OVA ファイルに事前インストールされています。Bitfusionはネットワークのスループットがポイントなので、デフォルトでRDMA関連情報が取得できるようになるのはありがたいですね。
3月にNVIDIA社から発表のあった、AI Enterprise Suiteをご存知でしょうか？
NVIDIA AI Enterprise SuiteはNVIDIAが認定したGPUサーバと、vSphere7 U2での稼働が認定されたソフトウェアの組み合わせになります。
AIワークロードの迅速な展開、管理、スケーリングのコンポーネントが含まれるとあり、仮想マシンだけではなくTanzu環境でも利用できるようです。
NVIDIAのサイトでは次のような画像が掲載されていますが、こちらからもTanzuがコンポーネントとして追加されているのが見て取れます。
それ以外には、右下に配置されている DPUの部分もポイントになってくると思います。DPUでRDMAを利用することによって、帯域幅と遅延を小さくし、複数ノードでのAIモデルの学習にも対応してくるものだと思います。
NGCにも新しく学習モデルが多数公開されているようなので、ますます楽しみになってきました。
2020年12月3日にBitfusion 2.5.1がリリースされてからおよそ3か月間アップデートがなかったのですが、 3月1日にBitfusionの3.0がリリースされました。
2.0が2020年7月にリリースされてから、12月3日の2.5.1まではメンテナンス含めて毎月のようにアップデートされていたのですが、ちょっと空いてからの3.0のリリースとなりました。
3.0では大きな機能追加はなさそうですが、リリースノート には以下の新機能が追加されたようです。
nvidia-smi アプリケーションの透過的インストールnvidia-smi アプリケーションの透過的インストール"は、2.5.1まではnvidia-smiを直接実行することはできず、実行するには次のようにbitfusionコマンドを利用する必要がありました。vSphere Bitfusion サーバで使用されている GPU のメモリの合計が 128 GB より大きい場合、GPU パススルーを使用できない
デフォルトでは、GPU パススルーの高度な仮想マシン プロパティ
pciPassthru.64bitMMIOSizeGBは 256 に設定されています。1 台の vSphere Bitfusion サーバ上で、128 GB よりも大きいメモリを搭載した GPU を使用している場合、この構成によってパススルーの障害が発生する可能性があります。
このFlingsでTKGのデモ環境を構築できるDemo Appliance for Tanzu Kubernetes Gridが公開されています。Workshopガイドも併せて公開されているので導入＆基本操作までであれば簡単に試すことができます。
ということで、自宅のPCに導入してみたいと思います。
