へっぽこ趣味のブログ

2024/05/18

PCローカル環境で動作する大規模言語モデル（LLM）

googleニュースで「まるで“いけない話ができるChatGPT”　ローカルAI「Command R+」の爆発的な可能性」との記事を見かけ、興味がそそられる内容であったので読んでみたのですが・・・

VRAMをかなり確保できる環境の方の話でした（涙）

ただあと数年すれば、一般向けの標準VRAMも増加すると思うのですが、それを期待して待つしかありませんね。

まあその時は求められる要求基準がまた増加してイタチごっこになるかもしれませんが。

2023/12/20

GeForce RTX 3050 6GBは考えようによっては購入ありなのかも

北森瓦版さんのサイトで「GeForce RTX 3050 6GBは$179で2024年2月に投入される」との記事を初見見た時、昨今の状況から最低でも8GBないとだめだろうと思いました。

しかしよく記事を読んでみると、補助電源なしの75wで動作するようです。

そうなると絶対性能では物足りないかもしれませんが、これ以前のグラフィックカードを使用している場合、性能底上げ用としてはありなのかもしれません。

2023/12/03

Driverの性能アップでStable Diffusionが倍速になるの？

PC Watchで「NVIDIA、Stable Diffusionを倍速にするTensorRT。新ドライバで対応」なる記事を見かけました。

興味があって調べてみたら、関連して

「【TensorRT】Stable Diffusion Web UIを倍速にできるNVIDIA製の神AIツール」「AUTOMATIC1111版Stable Diffusion web UIでNVIDIAのTensorRT拡張を利用する手順」との情報がありましたが、最小要件でもそこそこの性能が求められるので、快適に動作する推奨要件はもっと高性能になり、VRAMは12GB以上、RAMは32GB以上あった方がよさそうとのことで、私の環境ではうまく活用で来なさそうです。

2023/07/17

ryzen7 3700xマシンでnvidiaグラフィックカードが映らない

消費電力の関係で頻繁に稼働させていなかったryzen7 3700xマシンに、「CUDA上のStable Diffusion WebUIがすごい」で掲載したようにあまりの威力からnvidiaグラフィックカードのアップグレードを行いました。

今回奮発して、GeForce RTX3050（８GB）を購入し取り付けてみましたが・・・映らない！

別マシンに搭載するつもりだったGeForce GTX1060（６GB）にしても映らない！！

元のGeForce GTX1050（４GB）にしても映らない！！！

最初電源を疑ったのですが、元のGeForce GTX1050（４GB）にしても映らないため何が原因か手詰まりに。

「DisplayPortのディスプレイが認識しない/映らない時の対処法 – Windows10」

「NVIDIA，DisplayPort 1.4＆1.3接続時に画面が表示されなかったりする問題へ対策するファームウェアを公開」

グラフィックカードのファームウェアをアップデートしろと言う記事を見つけましたが、ショックとあまりの気温の暑さにやる気が無くなってしまいました。

でもグラフィックカードのファームウェアをアップデートって、DirectXの不具合修正を行ったmatrixのカードのとき以来です。

2023/07/09

CUDA上のStable Diffusion WebUIがすごい

以前「CUDAがそこそこ活用できるグラフィックカードがほしい」として記事に上げ、「内蔵GPUでStable Diffusionが使用できた」にて画像生成AIの凄さを体験したのですが、今回CUDAの使用できるグラフィックカードを中古で購入しました。

DELL XPS8900 Corei7 16GB

nvidia GTX 1060 6GB

起動DriveはSSD

の環境で日本語が対応しているStable Diffusion WebUIを使用してみたのですが、512*512の画像生成がなんと約４０秒！

以前のグラフィックカードを内蔵GPUで行ったほぼ同じような構成のPCでは約５分もかかっていました。

この威力はすごいや。