Bitfusion4.5.4

4月にBitfusionのEoAが発表されてから新規リリースもないと思っていたのですが、5月に4.5.4がリリースされていたみたいです。

ただ、4.5.4はCasandraで発生する不具合回避のためのアップデートだけでやはり機能追加はなしですね。

1つ前の4.5.3までは多くの機能追加とハードウェアサポートが追加されていますね。全然追っていませんでした、、、

リリースノートに記載されているアップデートは次のとおりです。

What is New in 4.5.3

• vSphere Bitfusion is supported by VMware vSphere 8.0.

• Expiration date of vSphere Bitfusion clients can be extended by using the vSphere Bitfusion user interface.

• Added support for Red Hat Enterprise Linux 9.0 and later minor versions.

• Added support for Rocky Linux 8.

• Added support for Rocky Linux 9.

• Added support for NVIDIA Driver 525.85.12.

• Added support for NVIDIA CUDA 11.5 and 11.5.2.

• Added framework support for Pytorch 1.9 and 1.10

• Added hardware support for NVIDIA A40 48GB PCIE.

• Added hardware support for NVIDIA L40 48GB PCIE.

• Added hardware support for NVIDIA A30 24GB PCIE.

• Added hardware support for NVIDIA A10 24GB PCIE.

• Added hardware support for NVIDIA A2 16GB PCIE.

一応、vSphere8.0で動くのは確認していたのですが、サポートされているようなので、とりあえずはまだまだ使って行こうと思います。とても便利なので。

VMware Private AI foundation ③

Tech zoneとかでPrivate AIの情報が出てきたので見ていると、ソフトウェアのサポートと組み合わせだけじゃなくて、各コンポーネントがちゃんと連携するみたいで、VMwareユーザーがAI始めるにはとても使いやすいだろうと感じてきました。

kubeflowやRayは独立してて個別に利用するだけかと思ったらちゃんと連携してて、kubeflowのダッシュボードにRayのダッシュボードが組み込まれていているようです。

また、kubeflowのダッシュボードでGPUのスケーリング設定もできたりようなので、Rayとも連携しているということなのだと思います。

RayもVCFと連携していて、RayのワークロードがDRSやHAでワークロードのHAとリソースの最適な割当がされるようです。

冒頭で書いたように、ただソフトウェアを組み合わせただけとだと思っていましたが、使い勝手がちゃんと考えられていて流石だなとおもいました。

また使いやすさだけではなくてVector DBでデータの扱い、vSAN Fast Pathでシビアなパフォーマンスを求める使い方も考慮されていて、どのレベルのAIワークロードもカバーできるように組み上げられている印象です。

類似した生成AIインフラソリューションはいくつかの会社から発表されていますが、各社NVIDIAのAI Enterpriseがほぼ利用されていてよく似ていて同じようなものに見えますが、よくみると各々特徴があって使いやすさや、管理性など違いが見えてきます。

今後、もっと情報が公開されていくと思うのでチェックしていきたいと思います。

[Bitfusion]LLM fine tuning

流行りのLLMを自宅のBitfusion環境で試し中。

環境はjupyterにBitfusionでGPU割り当てて使ってますが、今のところ問題なく学習が進んでます！

と思ったら、、、

コンテナが固まった、、、

コンテナ再起動して学習やり直し、、、

VMware Private AI Foundation ②

Private AI Foundation発表当初、差別化されているのはRayとKubeflowかと思いましたが、それ以外にもVector DBやDeep Learning VMも特徴になりそうです。

※公開されている情報がまだ少ないので想定ですが、、、

まずDeep Learning VMについて。

DL / MLはOSSを活用することが多いのですが、登場するOSSが多くバージョンの整合性をとるのがとても大変です。そのため1つのOSSをバージョンアップすると他のOSSもバージョンアップする必要があったり、動かなくなったりとかなり苦労します。

なのでPrivate AIに含まれるDeep Learning VMはDL / MLでよく利用されるOSSを整合性が取れるように事前にインストールされたVMになるだろうと想像します。

もしかしたらBitnamiで公開されているovaファイルの仮想マシンになるのかもしれないですね。

ただ、AIインフラもですがコンテナが主流になりつつあるなか、NVIDIAのNGCとの差別化はどうなるのかが興味があります。

Vector DBはまだまだ勉強中なので次回以降にしたいとおもいます。

VMware Private AI Foundation

VMware ExploreでPrivata AI Foundationが発表されました！

数年前にAI関連のソリューションとしてBitfusionの買収とリリースがあってから、その後のAI関連といえばvsphere

8でGPU関連のEnhanceがあったくらいでちょっとさみしかったですが、生成AIのブームにあわせて発表があった感じですね。

実はMLperf3.0からVMwareが掲載されるようになったので今回のExploreで何かあるのかもと思ってましたがやっぱりという感じです。

Private AI　Foundationは今のところ中身を見るとVCFとNVIDIA NEMOなので真新しいという感じではないので、AI Enterpriseのライセンスがバンドルされるとかなんですかね、、、

あとは、Rayが入っているのと、kubeflowに何か手が加えられていそうな感じですね。

何にせよこれからが楽しみです。

vCenter8 + Bitfusion

 自宅のGTX1060がvSphere８で利用できなくなったので、泣く泣くvSphere7に戻しました。

環境はvCenter8でvSphere8と７が混在しました。

vCenter → VCSA8

NUC → vSphere 8

GPUサーバ → vSphere7

GPUサーバをvSphere8にするつもりだったので、Bitfusionが収束にむかっているし、vSphere8だと未サポートなのでBitfusionは使わない予定だったのですが、方針変更で引き続きvSphere7でBitfusionを利用していくことにしました。

ただ、vCenterが８なのでBitfusionのPlug-inがちゃんと動作するか心配でしたが、まったく問題なし！

Bitfusionサーバ自体はvSphere7で動いているし、仮想アプライアンスなのでvCenterのPlug inが動いたので心配していなかったのですが、ちゃんとBitfusion clientからも利用できています。

自宅ではまだまだBitfusion使っていきます。

vSphere8 + GTX1060

自宅で利用していたvSphere7をvSphere8にアップデートしたら、ちょっと古いGPUのGTX1060が利用できなくなりました。。。

vCenterでパススルーの設定はできるものの、仮想マシンに割り当てることができず、、、

vSphere7に戻すと利用できるのでvSphere8だと無理なんだろうな。。。

残念ですがGTX1060のGPUサーバだけはvSphere7で塩漬けでいきます。

vSphere8で動くGPUを物色してみます。