AMDs Ryzen AI Halo kann mit dem DGX Spark mithalten, doch die Knappheit an Arbeitsspeicher schränkt seine Leistung ein.

AMD hat seine gestartet Ryzen AI Halo Für 3999 US-Dollar ist ein Mini-PC erhältlich, der speziell für die Inferenz lokaler Sprachmodelle entwickelt wurde. Dieses System verfügt über 128 GB einheitlichen LPDDR5x-Speicher, genug, um direkt mit dem … zu konkurrieren. DGX Spark von NVIDIA. Aber hier ist das Problem: der Mangel an RAM hat zu einem rasanten Preisanstieg geführt, und das Argument für ein gutes Preis-Leistungs-Verhältnis bröckelt.

Okay, ich habe das Ganze erstmal nur theoretisch getestet, weil das Gerät extrem teuer ist. Aber für jemanden, der Entwickler ist…künstliche Intelligenz Ohne auf die Cloud angewiesen zu sein, klingt es vielversprechend. Manchmal frage ich mich, ob die Cloud nicht einfach nur aus den PCs anderer Leute besteht.

Ryzen AI Halo vs. DGX Spark: Die wichtigsten Spezifikationen

DER Ryzen AI Halo basiert auf dem Strix Halo SoC, mit seinem Prozessor Der Ryzen AI Max+ 395 verfügt über 16 Zen-5-Kerne. Die Grafikleistung kommt mit einer Radeon 8060S RDNA 3.5 zum Einsatz. Das Ganze ist in einem 120-Watt-Netzteil untergebracht, was im Vergleich zu anderen Systemen sparsam ist. DGX Spark.

NVIDIA bietet seine Spark für 4699 US-Dollar an, mit einem Prozessor Dank ARM und einem 200-Gbit/s-ConnectX-7-Netzwerk. Aber seine wahre Stärke zeigt Halo erst bei der Leistung Speicher: 128 GB einheitlich, d.h. 256 GB/s Bandbreite.

Für einen Vergleich schnell, die DGX Spark Im Netzwerk-Clustering ist es besser, aber Ryzen AI Halo bietet mehr gemeinsam genutzten Speicher für High-End-Modelle. Persönlich bevorzuge ich direkten Arbeitsspeicher gegenüber Kupferleitungen.

In der Praxis ist die Ryzen AI Halo Ein 7B-Modell mit 100 GB Speicherbedarf lässt sich feinabstimmen. Eine RTX 5090 mit ihren 32 GB VRAM konnte das nicht. Genau da liegt der Vorteil. Leistung Das Gedächtnis macht den entscheidenden Unterschied.

Beachten Sie jedoch, dass die Bandbreite von 256 GB/s geringer ist als die einer dedizierten Grafikkarte. Sie ist für Inferenz ausreichend, aber für rechenintensive Trainingsdaten weniger optimal.

NVIDIA setzt darauf ProzessorARM und ein ultraschnelles Netzwerk für Clustering. AMD setzt auf Einfachheit und Speicherkapazität. Jeder verfolgt seinen eigenen Ansatz, aber ich finde AMDs Ansatz für einen Einzelentwickler pragmatischer.

128 GB RAM: Der große Vorteil hat seinen Preis

Dies ist das Herzstück des Systems. Mit 128 GB RAM Mit gemeinsam genutztem RAM können Sie Modelle mit bis zu 200 Milliarden Parametern laden. Ein dedizierter VRAM ist nicht erforderlich; alles passt in den einheitlichen RAM.

Doch dieser Überfluss hat seinen Preis. Seltenheit Die Kosten für DRAM haben sich im Vergleich zum Vorjahr verdoppelt. Vor einem Jahr kostete ein vergleichbares System 2000 Dollar. Jetzt ist es doppelt so teuer.

Ein Software-Ökosystem, das einem Systemadministrator gefallen könnte

AMD setzt auf Open Source. Ryzen AI Halo Es kommt mit einem angepassten Debian-System mit Kernel 6.18 und ROCm 7.13. ComfyUI, vLLM, alles ist vorinstalliert. Für einen Systemadministrator wie mich ist das ein wahrer Genuss.

Okay, falls Sie Windows 11 bevorzugen, ist das auch möglich. Aber ehrlich gesagt bleibt Linux für lokale Inferenz die stabilste Wahl. Und AMD hat sich Mühe gegeben, gut durchdachte Playbooks bereitzustellen.

Für die Entwicklung in künstliche Intelligenz Lokal ist ROCm eine gute Wahl. Keine proprietären Treiber, die man suchen muss, keine Überraschungen. Es ist selten, dass ein großes Unternehmen Geräte mit einem kompletten Ökosystem anbietet.

DRAM-Mangel: das eigentliche Hindernis

DER Prozessor Die technischen Daten sind verlockend, der Endpreis hängt jedoch von der Verfügbarkeit der Speicherchips ab. Seltenheit Der Einsatz von DRAM erhöhte die Produktionskosten. AMD konnte den ursprünglichen Preis nicht halten.

Das Fazit: Ryzen AI Halo Es kostet 3.999 Dollar, doppelt so viel wie es eigentlich kosten sollte. Zu diesem Preis ist das DGX Spark ist nicht mehr viel teurer. Vergleich wird eng.

Und dennoch ist es ein solides Werkzeug für Entwickler, die viel Speicherplatz benötigen, ohne auf die Cloud angewiesen zu sein. Man muss aber mit einem höheren Preis rechnen. Ich persönlich würde mit dem Kauf warten, bis sich die Knappheit entspannt hat.

AMD plant eine Version mit dem Ryzen AI Max 400 „Gorgon Halo“, was auf eine mögliche Kostenreduzierung hindeutet. Ryzen AI Halo Es bleibt ein Nischenprodukt für Puristen der lokalen Inferenz. Nicht für die breite Öffentlichkeit, sondern für diejenigen, die ihre eigenen Modelle erstellen.

Quelle: www.clubic.com