VMware Deep Learning VM 1.2

 Deep Learning VMも1.2がリリースされたので、アップデート内容を見てみたいと思います。

リリースノート

まず、リリース日は2024年10月9日なので、1か月ちょっと前のリリースですね。

私用できるVCFは5.2.1なので、全バージョンのDeepLearningVMはVCF5.2だったので、少し

アップデートされました。

新機能

ディープ ラーニング仮想マシン イメージには、Broadcom EULA と、VMware Private AI Foundation with NVIDIA SPD (特定のプログラム ドキュメント) が含まれています。

組み込みの Miniconda 24.3.0 コンポーネントは Miniforge3 24.3.0 にアップデートされました。

pytorch2.3.0_py3.12 に加えて、Conda Environment Install OVF パラメータを使用して、pytorch1.13.1_py3.10、tf2.16.1_py3.12、および tf1.15.5_py3.7 Conda 環境を仮想マシンのデプロイ中にインストールすることもできます。

中央の Harbor レジストリに ML モデルを格納するための Private AI Services (pais) CLI バージョン 1.0.0 が利用可能になりました。

接続された環境で、vGPU ゲスト ドライバをダウンロードする際に必要な資格は NVIDIA AI Enterprise のみです。

接続された環境で、vGPU ゲスト ドライバのダウンロード中に表示されるエラー メッセージが改善されました。

ポイントはMinicondaからMiniforgeに変更になった点と、PytorchやTensorflowのバージョンを選択できるようになったことです。

Miniforgeはあまり知らないのですが、Minicondaに比べて軽量なのとレポジトリが変更になっているといことでしょうか。

Pytorchやtfのバージョンを選べるのはいいですね。あとでインストールしてもいいのですがデプロイ中にインストールできるのは

便利です。

サポートされるGPUは、A100、L40s、H100の3種類ということに変更は内容ですが、H200やBlackwellはメジャーバージョンアップでの

サポートになるのでしょうか。

Deep Learning VMのコンポーネントバージョンは1.1とあまり変更は無いようです。

変更点は先ほど書いたようにMinicondaが24.3.0-0からMiniforge24.3.0-0へ変更され、Pytorchが1.13.1が選択できるようになっています。

あとは、VMware Private AI Services (pais) CLIの1.0が追加されています。

今回のアップデートでは大きな変更は無いので、次回以降のアップデートに期待です。

VMware Deep Learning VM 1.1

 最近はVMware関連製品にかかわることが少なくなってしまったのですが、AI関連については興味もあるし情報は集めるようにしています。Private AI Foundationが発表されたときは、個人的にも期待が大きかったのですが、まだまだな感じがあるのは残念です。

Deep Learning VMの使い方はVMUGで発表あったりするので他の情報源にお任せして、ここでは、VMware Depp Learning VMも1.1が7月にリリースされたので内容を見てみます。

VMware Deep Learning VM イメージリソースノート

DL VMもいつのまにか1.1になっていました。。。　＊公開日は2024年7月23日

互換性とアップグレード

デプロイ済みのDeep Learning VMのアップグレードはできないようなので、新しいバージョンを利用する場合は再デプロイする必要があるようです。なので旧Deep Learning VMで必要なデータは別途うつしておく必要があります。

新機能

イメージリソースノートには以下機能が追加されたと記載があります。

• ディープ ラーニング仮想マシン イメージに、組み込みの Miniconda インストールが含まれるようになりました。

• ディープ ラーニング仮想マシン イメージに、検証済みの PyTorch Conda 環境マニフェストが含まれるようになりました。

• Conda Environment Install OVF パラメータを使用して、仮想マシンのデプロイ中に自動的にインストールする Conda 環境のカンマ区切りのリストを指定できます。現在、pytorch2.3_py3.12 環境をインストールできます。

• 初期化スクリプトの詳細なログについては、/var/log/vgpu-install.log を参照してください。

おおむね追加された機能としてはPython実行環境の強化であるconda関係の機能が追加されたようです。

Pythonの仮想環境はAnacondaやventv、pyenvなどいくつかありますが、Minicondaが含まれるようになったようです。Anacondaに比べると軽量なところが選定された理由なのかもしれないです。

サポート対象GPU

NVIDIAのA100、L40s、H100のサポートで、前バージョンの1.0.1との変更は無いようです。

できればH200とか、H100NVLとかサポートしてほしかったです。

コンポーネント

こちらも1.0.1と変更なしです。

Canonical Ubuntu 22.04

NVIDIA Container Toolkit 1.15.0

Docker Community Engine 26.0.2

Miniconda 24.4.0-0 Python 3.12 ＊今回から追加

PyTorch Conda 2.3.0 Python 3.12　＊今回から追加

Ubuntuも22.04なので最新ではないものの安定はしているバージョンなので問題はないものの、次回もしくは1.1になるタイミングでUbuntu２４になるとか、サポートされるGPUが追加されるといったところを期待したいです。

Accelerate Machine Learning in vSphere Using GPUs (HOL-2447-01-ISM)

 VMwareのHands on Labに久しぶりにアクセスしてみたら、AI関連のコースがあったので試しにやってみました。

今回受けてみたコースはAccelerate Machine Learning in vSphere Using GPUs (HOL-2447-01-ISM)。

モジュールは次の5つで、HoLの特徴である実際の操作はなく、座学だけのコースになります。各モジュールは15分程度の所要時間になっていますが、実際には各モジュール5分もあれば読むこともでき

    ・Module 1 - Introduction to AI/ML in vSphere Using GPUs (15 minutes) Basic

    ・Module 2 - Run Machine Learning Workloads Using NVIDIA vGPU (15 minutes) Advanced

    ・Module 3 - Using GPUs in Pass-through Mode (15 minutes) Advanced

    ・Module 4 - Configure a container using NVIDIA vGPU in vSphere with Tanzu (15 minutes) Advanced

    ・Module 5 - Choosing the Right Profile for your Workload (vGPU vs MIG vGPU) - (15 minutes) Basic

内容としてはvSphere環境でGPUを使ったAIの超基礎の内容で、AI/ML/DLの定義や、vGPUやMIG、AI EnterpriseなどなどvSphere環境でAIを検討し始める、でもAIよくわからないといった場合の入り口にはいいと感じました。

他にもRayのコースもあったようなので、時間をみて試そうと思います。

【VMware Private AI Foundation with NVIDIA】PostgreSQL + pgvector

 以前の投稿で記載したPostgreSQL + pgvectorを試してみました。

postgresはOSSのリレーショナルDBですが、pvectorのエクステンションを有効化するだけでベクトルデータを扱うことができるようになり、生成AIで注目を浴びているRAGで重要なパーツとなるvectorDBとして利用することができるようになります。

Private AIの場合はData Services ManagerからPostgreSQLをプロビジョニングするようです。

ちなみにこの記事の内容はPrivate AIではなくOSSのpostgresでvectorエクステンションを有効化して利用してみました。おそらくPrivate AIでも大きな違いはないと思いますが、違ったらすみません。。。

まずはpostgresでpgvectorのエクステンションを有効化する必要がありますが、エクステンションの有効化はコマンド１つで有効化できます。

postgres=# create extention vector;

３次元のサンプルデータを入れてみました。

このデータに対して、ユーグリッド検索、内積検索、コサイン類似度を検索した結果が次のスクリーンショットです。

vectorDBとは？や検索の種類なども記載しようと思ったのですが、今回はとりあえずpgvectorで類似度検索するとどんな結果になるかだけ記載してみました。

気が向いたらVectorDBの仕組みや検索の種類などについても書いてみたいと思います。

vExpert Application Modernization受賞

 

日本時間の４月２３日にvExpert Subprogramの発表がありました。

今年はvEpert Pro含めて１２のSubprogramがあり、今年もApplication Modernizationを受賞することができました。

vExpertの各Subprogramは該当となる製品の活動を表彰されるもので、Application ModernizationはもともとはTanzuの活動が評価されるSubprogramでしたが、２０２３年に公開されたVMwareのブログに次のように記載があります。

How to apply to the Application Modernization vExpert program

To be eligible to apply, you must be a recognized 2023 vExpert who is already evangelizing technologies around Kubernetes, application modernization, and modern app platforms. You can apply via the vExpert portal; we will be accepting applications until March 24th. Our team will review applications received by that date throughout the rest of the month and will continue to review Application Modernization vExpert applications on a yearly basis.

こちらを読む限りTanzuなどのプラットフォームや、アプリケーションのモダナイゼーションにかかわる活動が評価されるようです。

私はTanzuというよりもPrivate AIなどのAIやGPU関連での活動が多かったことが評価されたのではないかと想像しています。

ということで、TanzuだけではなくVMwareに関係するアプリケーション系でも応募してみる価値はあると思いますので、興味のある方はぜひ。

VMwar Private AI IA

VMware Private AIがIAされて、ブログが公開されて少しずつ情報がわかってきました。

まずはライセンスはVCFが必須だろうというのは想像していたのですが、ブログに以下記載があることから、Private AIは別ライセンスにはならずAdd-onになるようです。

This platform is an add-on SKU on top of VMware Cloud Foundation. 

Prvate AIの特徴的な機能についての記載もあります。

Deep Learning VM templates:

Vector Databases for enabling RAG workflows: 

Catalog Setup Wizard: 

GPU Monitoring:

Deep Learning VMについては以前から情報が出ていたように、OSSでDeepLearningのソフトウェアを組み合わせる不便さを解消するために、一般的なDeep Learning用のソフトウェアをあらかじめインストールしたものになるようです。新しい情報としてはNGCから入手できるようになるようです。ちなみに先ほど(3/25)NGCを見てみましたが、まだ公開されていなさそうです。

Vector Databases for enabling RAG workflowsについてです。

VectorDBの機能が入るという情報は以前からあったのでGreenplum＋pgvectorかなと想像していましたが、PostgreSQL＋pgvectorでサポートになるようです。GreenplumがPostgreSQLがもとになっているようなので、Greepplum＝postgreSQLの意味で使っているのかは不明です。

※Greenplumがあまり詳しくないので間違っていたらすみません。。。

Catalog Setup WizardにつてはVCFのセルフサービスポータルにAIカタログが追加されるようです。

GPU MonitoringはBitfusionのようにGPU利用率などが確認できるようになると思われます。

Catalog Setup WizartdとGPU Monitoringは実機で確認する機会があれば詳細を確認したいと思います。

BlogではそのほかにNVIDIA AI Enterpriseのアップデートについて記載がありました。GTCではNVAIE5.0の発表もあったので、詳細はそちらを確認してください。