Procesor AMD Ryzen AI Halo rywalizuje z procesorem DGX Spark, ale jego wydajność jest ograniczona przez niedobór pamięci RAM.

AMD wypuściło swoje Ryzen AI Halo W cenie 3999 dolarów, minikomputer zaprojektowany do wnioskowania lokalnego modelu językowego. System ten zawiera 128 GB zunifikowanej pamięci LPDDR5x, co wystarcza, by bezpośrednio konkurować z DGX Spark od firmy NVIDIA. Ale rzecz w tym, że brakuje BARAN spowodowało gwałtowny wzrost cen i rozpad argumentu o korzystnym stosunku jakości do ceny.

No dobrze, przetestowałem to na papierze, bo urządzenie kosztuje fortunę. Ale dla kogoś, kto zajmuje się rozwojem…sztuczna inteligencja Bez chęci polegania na chmurze, to obiecujące. Są dni, kiedy zastanawiam się, czy chmura to nie po prostu komputery innych ludzi.

Ryzen AI Halo kontra DGX Spark: specyfikacje, które mają znaczenie

TO Ryzen AI Halo zbudowany jest na układzie SoC Strix Halo, z jego edytor Ryzen AI Max+ 395 z 16 rdzeniami Zen 5. Po stronie GPU znajduje się karta Radeon 8060S RDNA 3.5. Całość mieści się w zasilaczu o mocy 120 W, co jest oszczędne w porównaniu z… DGX Spark.

NVIDIA oferuje swój Spark za 4699 dolarów, z edytor Dzięki ARM i sieci ConnectX-7 o przepustowości 200 Gb/s. Ale Halo naprawdę błyszczy na wydajność Pamięć: 128 GB w wersji zunifikowanej, co daje przepustowość 256 GB/s.

Dla porównanie szybko, DGX Spark Lepiej radzi sobie w klastrowaniu sieciowym, ale Ryzen AI Halo oferuje więcej pamięci współdzielonej w modelach z wyższej półki. Osobiście wolę pamięć surową od miedzianych przewodów.

W praktyce Ryzen AI Halo może dostroić model 7B wymagający 100 GB pamięci. Karta RTX 5090 z 32 GB pamięci VRAM nie. Właśnie tam wydajność Pamięć ma ogromne znaczenie.

Należy jednak pamiętać, że przepustowość 256 GB/s to nadal mniej niż przepustowość dedykowanej karty graficznej. Jest wystarczająca do wnioskowania, ale mniej idealna do intensywnego treningu.

NVIDIA stawia na edytorARM i ultraszybka sieć do klastrowania. AMD stawia na prostotę i pojemność pamięci. Każdy ma swoje własne podejście, ale uważam, że AMD jest bardziej pragmatyczne dla samodzielnego dewelopera.

128 GB pamięci RAM: największa zaleta, która ma swoją cenę

To jest serce systemu. Z 128 GB pamięci RAM Dzięki współdzielonej pamięci RAM możesz załadować modele z nawet 200 miliardami parametrów. Nie potrzebujesz dedykowanej pamięci VRAM; wszystko mieści się w zunifikowanej pamięci RAM.

Jednak ta obfitość ma swoją cenę. rzadkość Koszt pamięci DRAM podwoił się w porównaniu z ubiegłym rokiem. Rok temu podobny system kosztował 2000 dolarów. Teraz jest dwa razy droższy.

Ekosystem oprogramowania, który może spodobać się administratorowi systemu

AMD stawia na oprogramowanie typu open source. Ryzen AI Halo Zawiera dostosowany system Debian z kernelem 6.18 i ROCm 7.13. ComfyUI, vLLM, wszystko jest preinstalowane. Dla administratora systemu takiego jak ja to czysta przyjemność.

Dobrze, jeśli wolisz Windows 11, to też możliwe. Ale szczerze mówiąc, jeśli chodzi o wnioskowanie lokalne, Linux pozostaje najstabilniejszym wyborem. AMD dołożyło starań, aby zapewnić dobrze zaprojektowane podręczniki.

Dla rozwoju w sztuczna inteligencja Lokalnie, ROCm to dobry wybór. Brak konieczności szukania zastrzeżonych sterowników, brak niespodzianek. Rzadko się zdarza, aby duża firma dostarczała sprzęt z kompletnym ekosystemem.

Niedobór pamięci DRAM: prawdziwa przeszkoda

TO edytor Specyfikacja jest atrakcyjna, ale ostateczna cena zależy od dostępności układów pamięci. rzadkość Zastosowanie pamięci DRAM zwiększyło koszty produkcji. AMD nie było w stanie utrzymać pierwotnej ceny.

Konkluzja: Ryzen AI Halo Kosztuje 3999 dolarów, czyli dwa razy więcej niż powinien. W tej cenie DGX Spark nie jest już dużo droższy. porównanie staje się ciasny.

Mimo to, to solidne narzędzie dla programistów, którzy potrzebują ogromnej przestrzeni dyskowej bez polegania na chmurze. Trzeba się jednak liczyć z kosztami. Osobiście poczekałbym z zakupem, aż niedobory się zmniejszą.

AMD planuje wersję z Ryzen AI Max 400 „Gorgon Halo”, co sugeruje potencjalną redukcję kosztów. Tymczasem Ryzen AI Halo Pozostaje maszyną niszową dla lokalnych purystów wnioskowania. Nie dla ogółu społeczeństwa, ale dla tych, którzy sami kompilują swoje modele.

Źródło: www.clubic.com