2021年7月6日火曜日

VMware Tanzu on Intel NUC

Tanzuを自宅の限られたリソースで試してみたくて、色々と調べて見つけた情報がこの2つ。

Demo Appliance for Tanzu Kubernetes Grid

Complete vSphere with Tanzu homelab with just 32GB of memory!

どちらもTwitterでいつも拝見しているWilliam Law( @lamw )さんの情報です。


自宅で自由になるNUCはちょうど32GBメモリなのでブログの通り構築すれば問題ないはず!とうことで、Demo ApplianceではなくNUCで構築してみました。



Williamさんのブログを見てもらうとわかると思いますが、vCenterのデプロイ・設定から、haproxyのデプロイなどなどほとんどがPowerCLIのスクリプトが公開されているので簡単に導入することができました。

ほとんどがスクリプトのダウンロード、環境に合わせてNWやパスワードを修正、実行で完了してしまいます。


ただ、私が構築した際には、vCenterへの接続でsslのエラーがでたので -Forceのオプションや、ワークロードの管理を有効にする際もSSL関連のエラーが出たのでスクリプトにSet-PowerCLIConfigurationのパラメータを追加したくらいでした。


今までPowerCLIをがっつり使うことはあまりなかったのですが、便利なのを実感しました。。。

スクリプト残しておけば実行するだけでいつも同じ環境できるし。今回は色々と勉強になりました。






2021年6月25日金曜日

Enable Nvidia V100 GPU in Passthrough mode on vSphere

 普段はNVIDIA T4を使うことが多くて特に意識することなくパススルーで利用していたのですが、今回V100をPass Throughで使おうとしたら電源が入らない。。。

表示されたエラーは、、、

仮想マシンのパワーオンに失敗しました。モジュール「DevicePowerOn」のパワーオンに失敗しました。

これって他の仮想マシンでパススルーで使っている場合に出た気がするけど、今回は1台しか使ってないしということで調べてみたら、ハイエンドのPCIデバイスはBIOSじゃなくEFIで仮想マシンを設定する必要があるそうです。

こんなのがあるなんて落とし穴でした。。。

ちなみにハイエンドのPCIデバイスというのは16GBメモリ以上搭載のデバイスなので、NVIDIAのV100、V100S、A100などなどのほかにも、AMDやいくつかのFPGAも対象となるようです。

なので、まずはOSのEFIでインストールが必要なのと、仮想マシンオプションを2つ設定する必要があります。

1つ目はこちら。気にせずこのまま設定して大丈夫です。

pciPassthru.use64bitMMIO=“TRUE”


2つ目が注意が必要です。下の例は128を設定していますが、実際にはPCIデバイスメモリ*枚数*2の値が必要なので、32GBメモリのV100*2枚使う場合は、32GB*2枚*2で128を指定する必要があります。

pciPassthru.64bitMMIOSizeGB=“128

ちなみに、32GBモデル*1枚の場合はこんな感じです。



この値が間違っていると、仮想マシンの電源は入るのですが入った直後にエラーもなく電源落ちます。。。


パススルーは特に意識する必要がないと思っていましたが落とし穴がありますのでご注意ください。



2021年5月20日木曜日

Bitfusion3.5 Release

3月にBitfusion3.0.0、4月に3.0.1がリリースされて、 早くもBitfusion3.5が5月11日にリリースされました。

いっときアップデートが2,3ヶ月止まっていたのですが、また1ヶ月ペースでアップデートされるようになりました。


今回のアップデートはつぎのとおり、主にCudaのバージョンサポートが追加されているのですが、1つだけRDMA関連で機能追加されています。


  • NVIDIA CUDA 11.2.2 のサポートを追加
  • NVIDIA cuDNN 8.1.1 のサポートを追加
  • NVIDIA Collective Communications Library (NCCL) 2.8.4 のサポートを追加
  • ib_read_bw、ib_read_lat、ib_send_bw、ib_send_lat、ib_write_bw、ib_write_lat などの PVRDMA のネットワーク パフォーマンス テスト ツールが vSphere Bitfusion OVA ファイルに事前インストールされています。


Bitfusionはネットワークのスループットがポイントなので、デフォルトでRDMA関連情報が取得できるようになるのはありがたいですね。



2021年4月26日月曜日

AI Enterprise Suite with vSpere7/Tanzu

3月にNVIDIA社から発表のあった、AI Enterprise Suiteをご存知でしょうか?

NVIDIA AI Enterprise SuiteはNVIDIAが認定したGPUサーバと、vSphere7 U2での稼働が認定されたソフトウェアの組み合わせになります。

AIワークロードの迅速な展開、管理、スケーリングのコンポーネントが含まれるとあり、仮想マシンだけではなくTanzu環境でも利用できるようです。


NVIDIAのサイトでは次のような画像が掲載されていますが、こちらからもTanzuがコンポーネントとして追加されているのが見て取れます。

それ以外には、右下に配置されている DPUの部分もポイントになってくると思います。DPUでRDMAを利用することによって、帯域幅と遅延を小さくし、複数ノードでのAIモデルの学習にも対応してくるものだと思います。

NGCにも新しく学習モデルが多数公開されているようなので、ますます楽しみになってきました。


2021年3月24日水曜日

Bitfusion 3.0 Release

2020年12月3日にBitfusion 2.5.1がリリースされてからおよそ3か月間アップデートがなかったのですが、 3月1日にBitfusionの3.0がリリースされました。

2.0が2020年7月にリリースされてから、12月3日の2.5.1まではメンテナンス含めて毎月のようにアップデートされていたのですが、ちょっと空いてからの3.0のリリースとなりました。


3.0では大きな機能追加はなさそうですが、リリースノート には以下の新機能が追加されたようです。

  • 後続の vSphere Bitfusion サーバでの新しいインストール環境
  • 複数のネットワークにおける vSphere Bitfusion サーバのサポートの向上
  • vSphere Bitfusion クライアントでの nvidia-smi アプリケーションの透過的インストール
  • NVIDIA ドライバ 460
  • NVIDIA CUDA 11.1
  • TensorFlow 2.4 のサポート
  • PyTorch 1.6 のサポート
  • TensorRT 7.1.3 のサポート
  • PaddlePaddle 2.0 のサポート

1つ目の "後続の vSphere Bitfusion サーバでの新しいインストール環境"はBitfusionサーバのインストール要件が若干変わっていることのようです。
2.5.1まではBitufusionサーバのメモリ要件は次のように記載されています。
  • vSphere Bitfusion サーバの最小メモリ要件は、サーバにインストールされている GPU メモリの合計の 150% 以上である必要があります。

3.0からは次のように変更されています。
  • vSphere Bitfusion サーバの最小メモリ要件は、32 GB と、サーバにインストールされている GPU メモリの合計の 150% のいずれか大きい方です。

検証環境などであればT4を1枚だけということもあるかと思うので32GBでいいのでしょうが、本番環境は複数のGPUを搭載することがほとんどだと思うので、合計GPUメモリの150%を指定することになると思います。


3つ目の "vSphere Bitfusion クライアントでの nvidia-smi アプリケーションの透過的インストール"は、2.5.1まではnvidia-smiを直接実行することはできず、実行するには次のようにbitfusionコマンドを利用する必要がありました。

    $ bitfusion run -n 1 -- nvidia-smi

まだ実機では確認していませんが、透過的にということなのでbitfusion run コマンドが不要になったのだと思われます。
以前は上記のbitfusion run コマンドはGPUを明示的にアサインしてGPU情報を取得していたので、別のワークロードでGPUをアサイン&利用中の場合は、nvidia-smiコマンドがGPUが解放されるのを待ってしまっていたので実質利用できなかったので、改善されて利便性が向上しそうです。


それ以外だとTensorflowやCudaなど新しいバージョンのサポートと、新しくPaddlePaddleが追加されているようです。


もう一つリリースノートで注意すべきはこちらです。

vSphere Bitfusion サーバで使用されている GPU のメモリの合計が 128 GB より大きい場合、GPU パススルーを使用できない

デフォルトでは、GPU パススルーの高度な仮想マシン プロパティ pciPassthru.64bitMMIOSizeGB は 256 に設定されています。1 台の vSphere Bitfusion サーバ上で、128 GB よりも大きいメモリを搭載した GPU を使用している場合、この構成によってパススルーの障害が発生する可能性があります。

 

最近ではGPUのメモリサイズも大きくなり、サーバへのGPU搭載数も増えているので引っかかる場合がありそうなので注意が必要です。
回避策はリリースノートにも記載されているので確認してみてください。













2021年1月26日火曜日

TKG Demo Appliance試してみる:Part1 OVA入手

インストールして触りだけ試したりしていたけど、そろそろがっつりやってみないととずっと思いつつ、生粋のインフラエンジニアにはなんとなくハードルが高くて手がつかなかったKubernetes。

自宅で試すにはリソース足りないからなぁ。。。自分に言い訳しつつ後回しにしてたけど、試してみたいソフトがTKGで動くらしい。しかもTKGもDemoアプリ(仮想アプライアンス)が提供されているので、在宅勤務で自宅環境も触りやすいので試してみようと思います。


VMware Flings

FlingsにはESXi Arm EditionやHCI Benchなど無料で使える便利ツールが多数公開(2021年1月時点で157種類)されています。位置づけとしては製品への機能組み込み前のテストのようなのものなんでしょうかね。

このFlingsでTKGのデモ環境を構築できるDemo Appliance for Tanzu Kubernetes Gridが公開されています。Workshopガイドも併せて公開されているので導入&基本操作までであれば簡単に試すことができます。

ということで、自宅のPCに導入してみたいと思います。


OVAのダウンロード

では、さっそくTKG Demo Applianceをデプロイしていきます。
サポートする環境としてはVMC on AWS、VMC on DellEMC、オンプレのvSphereの3種類なのですが、今回は自宅のNUCにインストールしてみます。

Demo ApplianceとPhotonOSのダウンロードを行います。
URLから直接ダウンロードしてもいいのですが、コンテンツライブライを利用してダウロードします。

vCenterのメニューからコンテンツライブラリを選択します。


新規作成を選択します。


名称を入力します。


サブスクライブ済みコンテンツライブラリを選択し、URLを入力します。
URLはマニュアルに記載があるこちら( https://download3.vmware.com/software/vmw-tools/tkg-demo-appliance/cl4/lib.json )こちらを入力します。

コンテンツライブラリで利用するデータストアを選択します。


設定が完了すると自動でOVAテンプレートがダウンロードされます。
2021年1月26日時点ではこちらのバージョンがダウンロードされました。



今回はここまでで次回はDeployに入りたいとおもいます。







2020年11月11日水曜日

Bitfusion2.5 Release!

 11月5日にBitfusion2.5がリリースされました!

Bitfusion2.5.0 Release Note


2.5での新機能は次の8項目です。

vSphere Bitfusion 2.5.0 の新機能

    • ベアメタル クライアントのサポート
    • 健全性チェックの拡張と操作性の向上
    • バージョン 2.0.0 以降の vSphere Bitfusion クライアントのサポート
    • NVIDIA ドライバ 450
    • NVIDIA CUDA 11
    • TensorFlow 2.3 のサポート
    • PyTorch 1.5 のサポート
    • TensorRT 7.1.3 のサポート

    この中で注目はベアメタルクライアントのサポートです!
    これまでのBitfusionクライアントはvSphere上の仮想マシンだけでしたが、ベアメタルのサーバもサポートされるようになりました。これは、データセンター内の物理LinuxマシンからもGPUをネットワーク経由で利用できるということなので、もっとGPUが活用される環境が整ってきました。

    その他にもCUDAの11やTensorflowの2.3もサポートなど、開発側でも動作確認を進めているんでしょうね。 今後のアップデートが楽しみです!