AMDのRyzen AI HaloはDGX Sparkに匹敵する性能を持つが、RAMの不足がその性能を制限している。

AMDは、 Ryzen AI ハロ 3999ドルで、ローカル言語モデル推論用に設計されたミニPC。このシステムには、128GBの統合LPDDR5xメモリが搭載されており、 DGXスパーク NVIDIAから。しかし問題は、 ラム 物価高騰を引き起こし、コストパフォーマンスの良さという主張は崩れつつある。

よし、紙の上でテストしてみた。だって、このデバイスはとんでもなく高価だからね。でも、開発に携わる人にとっては…人工知能 クラウドに依存したくないとはいえ、クラウドは有望だ。時々、クラウドとは単に他人のPCの集まりなのではないかと考えてしまう。

Ryzen AI Halo vs DGX Spark：重要なスペック

ザ Ryzen AI ハロ Strix Halo SoCをベースに構築されており、 プロセッサー Ryzen AI Max+ 395は16個のZen 5コアを搭載。GPUにはRadeon 8060S RDNA 3.5を採用。これらすべてが120Wの電源ユニットに収められており、これは他の電源ユニットと比較して経済的です。 DGXスパーク。

NVIDIAはSparkを4699ドルで提供しており、 プロセッサー ARMと200Gbps ConnectX-7ネットワークのおかげです。しかし、Haloが真に輝くのは、 パフォーマンス メモリ：128GB（統合メモリ）、すなわち帯域幅は256GB/秒。

のために 比較 早く、 DGXスパーク ネットワーククラスタリングにおいては優れていますが、ハイエンドモデルではRyzen AI Haloの方が共有メモリ容量が多くなります。個人的には、銅線よりも生のメモリの方が好みです。

実際には、 Ryzen AI ハロ 100GBのメモリを必要とする7Bモデルを微調整できます。32GBのVRAMを搭載したRTX 5090ではできませんでした。 パフォーマンス 記憶力こそがすべてを変える。

ただし、256 GB/sの帯域幅は専用グラフィックカードの帯域幅には及ばないことに注意してください。推論処理には十分ですが、負荷の高いトレーニング処理には最適とは言えません。

NVIDIAは プロセッサーARMとクラスタリング用の超高速ネットワーク。AMDはシンプルさとメモリ容量に賭けている。それぞれ独自のアプローチがあるが、個人開発者にとってはAMDの方が実用的だと感じる。

128GBのRAM：大きなメリットだが、それには代償が伴う。

これがシステムの核心です。 128GBのRAM 共有RAMを使用すれば、最大2000億個のパラメータを持つモデルを読み込むことができます。専用のVRAMは不要で、すべてが統合RAMに収まります。

しかし、この豊かさには代償が伴う。 希少性 DRAMの価格は昨年と比べて2倍になった。1年前は同等のシステムが2000ドルだったが、今はその2倍だ。

システム管理者が気に入りそうなソフトウェアエコシステム

AMDはオープンソースに賭けている。 Ryzen AI ハロ カーネル6.18とROCm 7.13を搭載したカスタマイズされたDebianシステムが付属しています。ComfyUI、vLLMなど、すべてがプリインストールされています。私のようなシステム管理者にとっては、まさに至福の時です。

もちろん、Windows 11がお好みであれば、それも可能です。しかし率直に言って、ローカル推論に関しては、Linuxが依然として最も安定した選択肢です。そして、AMDは優れた設計のプレイブックを提供するために尽力してきました。

での開発に向けて 人工知能 ローカル環境では、ROCmは良い選択肢です。独自のドライバーを探し回る必要もなく、予期せぬ問題もありません。大手企業が完全なエコシステムを備えた機器を提供しているのは珍しいことです。

DRAM不足：真の障害

ザ プロセッサー スペックは魅力的だが、最終価格はメモリチップの入手状況によって左右される。 希少性 DRAMの使用により生産コストが増加した。AMDは当初の価格を維持することができなかった。

結論: Ryzen AI ハロ 価格は3,999ドルで、本来の価格の2倍です。その価格では、 DGXスパーク もはやそれほど高価ではない。 比較 きつくなります。

しかし、クラウドに頼らずに大容量ストレージを必要とする開発者にとっては、これは確かなツールです。ただし、それなりの価格を支払う覚悟が必要です。個人的には、供給不足が解消されるまで購入を待つでしょう。

AMDはRyzen AI Max 400「Gorgon Halo」を搭載したバージョンを計画しており、これは潜在的なコスト削減を示唆している。一方、 Ryzen AI ハロ これは、ローカル推論の純粋主義者向けのニッチなツールであり、一般ユーザー向けではなく、独自のモデルを構築するユーザー向けである。

ソース： www.clubic.com