VMware Private AI foundation ③

Tech zoneとかでPrivate AIの情報が出てきたので見ていると、ソフトウェアのサポートと組み合わせだけじゃなくて、各コンポーネントがちゃんと連携するみたいで、VMwareユーザーがAI始めるにはとても使いやすいだろうと感じてきました。

kubeflowやRayは独立してて個別に利用するだけかと思ったらちゃんと連携してて、kubeflowのダッシュボードにRayのダッシュボードが組み込まれていているようです。

また、kubeflowのダッシュボードでGPUのスケーリング設定もできたりようなので、Rayとも連携しているということなのだと思います。

RayもVCFと連携していて、RayのワークロードがDRSやHAでワークロードのHAとリソースの最適な割当がされるようです。

冒頭で書いたように、ただソフトウェアを組み合わせただけとだと思っていましたが、使い勝手がちゃんと考えられていて流石だなとおもいました。

また使いやすさだけではなくてVector DBでデータの扱い、vSAN Fast Pathでシビアなパフォーマンスを求める使い方も考慮されていて、どのレベルのAIワークロードもカバーできるように組み上げられている印象です。

類似した生成AIインフラソリューションはいくつかの会社から発表されていますが、各社NVIDIAのAI Enterpriseがほぼ利用されていてよく似ていて同じようなものに見えますが、よくみると各々特徴があって使いやすさや、管理性など違いが見えてきます。

今後、もっと情報が公開されていくと思うのでチェックしていきたいと思います。

[Bitfusion]LLM fine tuning

流行りのLLMを自宅のBitfusion環境で試し中。

環境はjupyterにBitfusionでGPU割り当てて使ってますが、今のところ問題なく学習が進んでます！

と思ったら、、、

コンテナが固まった、、、

コンテナ再起動して学習やり直し、、、

VMware Private AI Foundation ②

Private AI Foundation発表当初、差別化されているのはRayとKubeflowかと思いましたが、それ以外にもVector DBやDeep Learning VMも特徴になりそうです。

※公開されている情報がまだ少ないので想定ですが、、、

まずDeep Learning VMについて。

DL / MLはOSSを活用することが多いのですが、登場するOSSが多くバージョンの整合性をとるのがとても大変です。そのため1つのOSSをバージョンアップすると他のOSSもバージョンアップする必要があったり、動かなくなったりとかなり苦労します。

なのでPrivate AIに含まれるDeep Learning VMはDL / MLでよく利用されるOSSを整合性が取れるように事前にインストールされたVMになるだろうと想像します。

もしかしたらBitnamiで公開されているovaファイルの仮想マシンになるのかもしれないですね。

ただ、AIインフラもですがコンテナが主流になりつつあるなか、NVIDIAのNGCとの差別化はどうなるのかが興味があります。

Vector DBはまだまだ勉強中なので次回以降にしたいとおもいます。

VMware Private AI Foundation

VMware ExploreでPrivata AI Foundationが発表されました！

数年前にAI関連のソリューションとしてBitfusionの買収とリリースがあってから、その後のAI関連といえばvsphere

8でGPU関連のEnhanceがあったくらいでちょっとさみしかったですが、生成AIのブームにあわせて発表があった感じですね。

実はMLperf3.0からVMwareが掲載されるようになったので今回のExploreで何かあるのかもと思ってましたがやっぱりという感じです。

Private AI　Foundationは今のところ中身を見るとVCFとNVIDIA NEMOなので真新しいという感じではないので、AI Enterpriseのライセンスがバンドルされるとかなんですかね、、、

あとは、Rayが入っているのと、kubeflowに何か手が加えられていそうな感じですね。

何にせよこれからが楽しみです。

vCenter8 + Bitfusion

 自宅のGTX1060がvSphere８で利用できなくなったので、泣く泣くvSphere7に戻しました。

環境はvCenter8でvSphere8と７が混在しました。

vCenter → VCSA8

NUC → vSphere 8

GPUサーバ → vSphere7

GPUサーバをvSphere8にするつもりだったので、Bitfusionが収束にむかっているし、vSphere8だと未サポートなのでBitfusionは使わない予定だったのですが、方針変更で引き続きvSphere7でBitfusionを利用していくことにしました。

ただ、vCenterが８なのでBitfusionのPlug-inがちゃんと動作するか心配でしたが、まったく問題なし！

Bitfusionサーバ自体はvSphere7で動いているし、仮想アプライアンスなのでvCenterのPlug inが動いたので心配していなかったのですが、ちゃんとBitfusion clientからも利用できています。

自宅ではまだまだBitfusion使っていきます。

vSphere8 + GTX1060

自宅で利用していたvSphere7をvSphere8にアップデートしたら、ちょっと古いGPUのGTX1060が利用できなくなりました。。。

vCenterでパススルーの設定はできるものの、仮想マシンに割り当てることができず、、、

vSphere7に戻すと利用できるのでvSphere8だと無理なんだろうな。。。

残念ですがGTX1060のGPUサーバだけはvSphere7で塩漬けでいきます。

vSphere8で動くGPUを物色してみます。

ARIA Operations + Management Pack for Docker

 久しぶりにOperations Managerを触ってみましたが色々と確認できる内容が増えていますね。vROPSくらいの時から思っていたけど、ちょっと見るくらいには何となくわかるのですが、使いこなすには勉強が必要ですね。。。

今回はOperations ManagerにPakを追加してみました。

Pakを追加することによって、Operations Managerの管理機能や、ストレージやネットワーク機器、アプリケーションなどvSphere以外の製品を管理するための機能とダッシュボードを利用することができるようになります。

10年近く前に某ストレージのPakをvCOPSに入れて試したことがありましたが、ストレージのコントローラやディスクなどをドリルダウンで確認したり、利用率の動的閾値や、将来予測などができた記憶があります。

今回は自宅のDocker環境を試しに見てみようと思い、Aria Operations ManagerにDockerのPakを追加してみました。

詳細はこちらのマニュアルを確認ください。

こちらがvCenterのvROPSのメニューではなく、Operations Manager アプライアンスへログインした画面です。

Pakの追加は上部メニューの管理を選択します。

左のメニューからリポジトリを選択します。

元々含まれているPakを利用する場合は右側画面から必要なpakの有効化リンクを選択しますが、個別にダウンロードしたpakを追加する場合は画面下部の追加/アップグレードリンクを選択します。

    インストールするPakを選択します。

Pakのアップロードが完了したら次へを選択します。

エンドユーザ使用許諾契約書に同意にチェックをいれ、次へを選択します。

Pakのインストールが完了したら、完了を選択します。

Operations Manager Applianceのトップ画面の上部の管理メニューを選択し、左側メニューでその他アカウントを選択しまし、右側画面でDockerを選択します。

名前を入力し、DockerのHostのIPアドレス、ポート番号を入力し、接続の確認を行います。

ログを取り忘れたのですが、ポート番号はたしか８０８０だったと思います、、、

接続に成功した場合は、追加ボタンを選択します。

設定が完了するとその他アカウントのリストに追加されます。

ライセンスを追加するために、上部メニューの管理を選択し、左側メニューのライセンスを選択し、右側画面で追加を選択します。

ライセンスを選択し保存を選択します。

ここで問題が、、、

3rd PartyのPakを利用する場合はOperationsのスタンダードでは動作しないため、Advance以上のライセンスが必要になるのと、True Visibilityのライセンスが必要になるので登録を行ったのですが、うまく情報がとれず、、、

まだ調べ中なのでどのようがダッシュボードで情報が取れるかまだ確認できず、、、

原因を調べたいと思います。