[Bitfusion]LLM fine tuning

流行りのLLMを自宅のBitfusion環境で試し中。

環境はjupyterにBitfusionでGPU割り当てて使ってますが、今のところ問題なく学習が進んでます！

と思ったら、、、

コンテナが固まった、、、

コンテナ再起動して学習やり直し、、、

VMware Private AI Foundation ②

Private AI Foundation発表当初、差別化されているのはRayとKubeflowかと思いましたが、それ以外にもVector DBやDeep Learning VMも特徴になりそうです。

※公開されている情報がまだ少ないので想定ですが、、、

まずDeep Learning VMについて。

DL / MLはOSSを活用することが多いのですが、登場するOSSが多くバージョンの整合性をとるのがとても大変です。そのため1つのOSSをバージョンアップすると他のOSSもバージョンアップする必要があったり、動かなくなったりとかなり苦労します。

なのでPrivate AIに含まれるDeep Learning VMはDL / MLでよく利用されるOSSを整合性が取れるように事前にインストールされたVMになるだろうと想像します。

もしかしたらBitnamiで公開されているovaファイルの仮想マシンになるのかもしれないですね。

ただ、AIインフラもですがコンテナが主流になりつつあるなか、NVIDIAのNGCとの差別化はどうなるのかが興味があります。

Vector DBはまだまだ勉強中なので次回以降にしたいとおもいます。