Aria AutomatioでRAG

 VMware Docs by Broadcomのサイトで、VMware Private AI Foundation with NVIDIAのリリースノートをを見ていて思ったこと。

新機能としてAria Automationのセルフサービスカタログについて以下の記載がありました。

VMware Cloud Foundation 5.2

VMware Aria Automation のセルフサービス カタログには、RAG ワークロードをプロビジョニングするためのアイテムが個別に用意されています。

VMware Cloud Foundation 5.2.1

 VMware Aria Automation のセルフサービス カタログは、pgvector データベースを使用した Retrieval-Augmented Generation (RAG) AI ワークロード、または VMware Data Services Manager 上のスタンドアローン pgvector データベース用に個別のアイテムを提供します。

5.2.1ではpgvectorの名称が出ていますが、具体的にはどのように変わったかはわかりませんが、何かアップデートされていると思われます。

VMware Private AI Foundation with NVIDIA ガイドも見てみました。

Private AI Foundation環境にディープラーニングVMやTKGへのAIワークロードの展開について記載がされています。

そんなかに、"VMware Aria Automationのセルフサービスカタログアテムを使用したRAGワークロードの展開"のをみてみると、確かにAriaを使って簡単にRAGを構築できそうです。

ただ、仮想マシンのリソースはどの程度のユーザ数だったりを想定しているのかが不明ですね。。。　ＲＡＧでH100*2ということはNVLではなさそうなので、80G*2=160GB

FP32で８BのLLMだとすると、100 - 120人くらいの同時接続を想定しているんでしょうかね。　ちょっとそのあたりが知りたいです。

ちなみに冒頭のVCF 5.2と5.2.1の新機能の違いは、以下のような記載があったので、5.2.1でpgvectorあり・なしのカタログが提供されたようです。

VMware Aria Automation のセルフサービス カタログ内の各カタログ アイテムを要求することで、PostgreSQL データベースの有無に関係なく RAG ワークロードを展開できます。

Private AIも徐々に機能追加されているので、今後のアップデートに期待です。

 

VMware Private AI: Ray、Kubeflowは？

VMware HOLを見てみたら、、、

以前はあったと思ったRAYのHOLや、KubeflowのHOLコースがなくなっている。

前はありましたよね？？

Private AI が発表されたときはChatGPTは公開されていたと思うのですが、RayやKubeflowよりも生成AI側に製品としても機能を振ってきたんでしょうね。

RayとDistributed VMwareのkubeflowってVCF使うのであればしっかり連携していていいなと思っていたんですけど、フォーカスされなくなってしまったのは残念です。

Private AIもwith NVIDIAということでNIMにフォーカスしている感じはしますね。まぁ、市場もトレーニングやファインチューニングよりも推論やRAGに向かっている感じもするので、しょうがないですね。

以前のように、これぞVMwareを使っているから得られるメリット！のようなソリューションが出てくるのを期待しています。

VMware Deep Learning VM 1.2

 Deep Learning VMも1.2がリリースされたので、アップデート内容を見てみたいと思います。

リリースノート

まず、リリース日は2024年10月9日なので、1か月ちょっと前のリリースですね。

私用できるVCFは5.2.1なので、全バージョンのDeepLearningVMはVCF5.2だったので、少し

アップデートされました。

新機能

ディープ ラーニング仮想マシン イメージには、Broadcom EULA と、VMware Private AI Foundation with NVIDIA SPD (特定のプログラム ドキュメント) が含まれています。

組み込みの Miniconda 24.3.0 コンポーネントは Miniforge3 24.3.0 にアップデートされました。

pytorch2.3.0_py3.12 に加えて、Conda Environment Install OVF パラメータを使用して、pytorch1.13.1_py3.10、tf2.16.1_py3.12、および tf1.15.5_py3.7 Conda 環境を仮想マシンのデプロイ中にインストールすることもできます。

中央の Harbor レジストリに ML モデルを格納するための Private AI Services (pais) CLI バージョン 1.0.0 が利用可能になりました。

接続された環境で、vGPU ゲスト ドライバをダウンロードする際に必要な資格は NVIDIA AI Enterprise のみです。

接続された環境で、vGPU ゲスト ドライバのダウンロード中に表示されるエラー メッセージが改善されました。

ポイントはMinicondaからMiniforgeに変更になった点と、PytorchやTensorflowのバージョンを選択できるようになったことです。

Miniforgeはあまり知らないのですが、Minicondaに比べて軽量なのとレポジトリが変更になっているといことでしょうか。

Pytorchやtfのバージョンを選べるのはいいですね。あとでインストールしてもいいのですがデプロイ中にインストールできるのは

便利です。

サポートされるGPUは、A100、L40s、H100の3種類ということに変更は内容ですが、H200やBlackwellはメジャーバージョンアップでの

サポートになるのでしょうか。

Deep Learning VMのコンポーネントバージョンは1.1とあまり変更は無いようです。

変更点は先ほど書いたようにMinicondaが24.3.0-0からMiniforge24.3.0-0へ変更され、Pytorchが1.13.1が選択できるようになっています。

あとは、VMware Private AI Services (pais) CLIの1.0が追加されています。

今回のアップデートでは大きな変更は無いので、次回以降のアップデートに期待です。

VMware Deep Learning VM 1.1

 最近はVMware関連製品にかかわることが少なくなってしまったのですが、AI関連については興味もあるし情報は集めるようにしています。Private AI Foundationが発表されたときは、個人的にも期待が大きかったのですが、まだまだな感じがあるのは残念です。

Deep Learning VMの使い方はVMUGで発表あったりするので他の情報源にお任せして、ここでは、VMware Depp Learning VMも1.1が7月にリリースされたので内容を見てみます。

VMware Deep Learning VM イメージリソースノート

DL VMもいつのまにか1.1になっていました。。。　＊公開日は2024年7月23日

互換性とアップグレード

デプロイ済みのDeep Learning VMのアップグレードはできないようなので、新しいバージョンを利用する場合は再デプロイする必要があるようです。なので旧Deep Learning VMで必要なデータは別途うつしておく必要があります。

新機能

イメージリソースノートには以下機能が追加されたと記載があります。

• ディープ ラーニング仮想マシン イメージに、組み込みの Miniconda インストールが含まれるようになりました。

• ディープ ラーニング仮想マシン イメージに、検証済みの PyTorch Conda 環境マニフェストが含まれるようになりました。

• Conda Environment Install OVF パラメータを使用して、仮想マシンのデプロイ中に自動的にインストールする Conda 環境のカンマ区切りのリストを指定できます。現在、pytorch2.3_py3.12 環境をインストールできます。

• 初期化スクリプトの詳細なログについては、/var/log/vgpu-install.log を参照してください。

おおむね追加された機能としてはPython実行環境の強化であるconda関係の機能が追加されたようです。

Pythonの仮想環境はAnacondaやventv、pyenvなどいくつかありますが、Minicondaが含まれるようになったようです。Anacondaに比べると軽量なところが選定された理由なのかもしれないです。

サポート対象GPU

NVIDIAのA100、L40s、H100のサポートで、前バージョンの1.0.1との変更は無いようです。

できればH200とか、H100NVLとかサポートしてほしかったです。

コンポーネント

こちらも1.0.1と変更なしです。

Canonical Ubuntu 22.04

NVIDIA Container Toolkit 1.15.0

Docker Community Engine 26.0.2

Miniconda 24.4.0-0 Python 3.12 ＊今回から追加

PyTorch Conda 2.3.0 Python 3.12　＊今回から追加

Ubuntuも22.04なので最新ではないものの安定はしているバージョンなので問題はないものの、次回もしくは1.1になるタイミングでUbuntu２４になるとか、サポートされるGPUが追加されるといったところを期待したいです。

Accelerate Machine Learning in vSphere Using GPUs (HOL-2447-01-ISM)

 VMwareのHands on Labに久しぶりにアクセスしてみたら、AI関連のコースがあったので試しにやってみました。

今回受けてみたコースはAccelerate Machine Learning in vSphere Using GPUs (HOL-2447-01-ISM)。

モジュールは次の5つで、HoLの特徴である実際の操作はなく、座学だけのコースになります。各モジュールは15分程度の所要時間になっていますが、実際には各モジュール5分もあれば読むこともでき

    ・Module 1 - Introduction to AI/ML in vSphere Using GPUs (15 minutes) Basic

    ・Module 2 - Run Machine Learning Workloads Using NVIDIA vGPU (15 minutes) Advanced

    ・Module 3 - Using GPUs in Pass-through Mode (15 minutes) Advanced

    ・Module 4 - Configure a container using NVIDIA vGPU in vSphere with Tanzu (15 minutes) Advanced

    ・Module 5 - Choosing the Right Profile for your Workload (vGPU vs MIG vGPU) - (15 minutes) Basic

内容としてはvSphere環境でGPUを使ったAIの超基礎の内容で、AI/ML/DLの定義や、vGPUやMIG、AI EnterpriseなどなどvSphere環境でAIを検討し始める、でもAIよくわからないといった場合の入り口にはいいと感じました。

他にもRayのコースもあったようなので、時間をみて試そうと思います。

【VMware Private AI Foundation with NVIDIA】PostgreSQL + pgvector

 以前の投稿で記載したPostgreSQL + pgvectorを試してみました。

postgresはOSSのリレーショナルDBですが、pvectorのエクステンションを有効化するだけでベクトルデータを扱うことができるようになり、生成AIで注目を浴びているRAGで重要なパーツとなるvectorDBとして利用することができるようになります。

Private AIの場合はData Services ManagerからPostgreSQLをプロビジョニングするようです。

ちなみにこの記事の内容はPrivate AIではなくOSSのpostgresでvectorエクステンションを有効化して利用してみました。おそらくPrivate AIでも大きな違いはないと思いますが、違ったらすみません。。。

まずはpostgresでpgvectorのエクステンションを有効化する必要がありますが、エクステンションの有効化はコマンド１つで有効化できます。

postgres=# create extention vector;

３次元のサンプルデータを入れてみました。

このデータに対して、ユーグリッド検索、内積検索、コサイン類似度を検索した結果が次のスクリーンショットです。

vectorDBとは？や検索の種類なども記載しようと思ったのですが、今回はとりあえずpgvectorで類似度検索するとどんな結果になるかだけ記載してみました。

気が向いたらVectorDBの仕組みや検索の種類などについても書いてみたいと思います。

vExpert Application Modernization受賞

 

日本時間の４月２３日にvExpert Subprogramの発表がありました。

今年はvEpert Pro含めて１２のSubprogramがあり、今年もApplication Modernizationを受賞することができました。

vExpertの各Subprogramは該当となる製品の活動を表彰されるもので、Application ModernizationはもともとはTanzuの活動が評価されるSubprogramでしたが、２０２３年に公開されたVMwareのブログに次のように記載があります。

How to apply to the Application Modernization vExpert program

To be eligible to apply, you must be a recognized 2023 vExpert who is already evangelizing technologies around Kubernetes, application modernization, and modern app platforms. You can apply via the vExpert portal; we will be accepting applications until March 24th. Our team will review applications received by that date throughout the rest of the month and will continue to review Application Modernization vExpert applications on a yearly basis.

こちらを読む限りTanzuなどのプラットフォームや、アプリケーションのモダナイゼーションにかかわる活動が評価されるようです。

私はTanzuというよりもPrivate AIなどのAIやGPU関連での活動が多かったことが評価されたのではないかと想像しています。

ということで、TanzuだけではなくVMwareに関係するアプリケーション系でも応募してみる価値はあると思いますので、興味のある方はぜひ。