AMD Ryzen AI Halo конкурує з DGX Spark, але дефіцит оперативної пам’яті обмежує його продуктивність.

AMD запустила його Ryzen AI Halo Міні-ПК, розроблений для виведення моделей локальної мови, коштує 3999 доларів. Ця система включає 128 ГБ уніфікованої пам’яті LPDDR5x, чого достатньо, щоб безпосередньо конкурувати з… DGX Spark від NVIDIA. Але ось у чому річ: нестача ОЗУ призвело до різкого зростання цін, і аргумент на користь оптимального співвідношення ціни та якості руйнується.

Гаразд, я протестував цю штуку на папері, бо пристрій коштує шалених грошей. Але для того, хто займається розробкою…штучний інтелект Не бажаючи залежати від хмари, це багатообіцяюче. Бувають дні, коли я задаюся питанням, чи хмара — це не лише ПК інших людей.

Ryzen AI Halo проти DGX Spark: характеристики, які мають значення

THE Ryzen AI Halo побудований на базі однокристальної системи Strix Halo SoC з його процесор Ryzen AI Max+ 395 з 16 ядрами Zen 5. Що стосується графічного процесора, то тут є Radeon 8060S RDNA 3.5. Все це міститься в блоці живлення потужністю 120 Вт, що є економічним порівняно з… DGX Spark.

NVIDIA пропонує свій Spark за ціною 4699 доларів США. процесор Завдяки ARM та мережі ConnectX-7 зі швидкістю 200 Гбіт/с. Але Halo справді сяє на… продуктивність Пам’ять: 128 ГБ уніфікованої пам’яті, тобто пропускна здатність 256 ГБ/с.

для a порівняння швидкий, DGX Spark Він кращий у мережевому кластеруванні, але Ryzen AI Halo пропонує більше спільної пам’яті для топових моделей. Особисто я віддаю перевагу необробленій пам’яті над мідними дротами.

На практиці Ryzen AI Halo може точно налаштувати модель 7B, яка вимагає 100 ГБ пам’яті. RTX 5090 з 32 ГБ відеопам’яті не змогла б. Ось тут і продуктивність Пам’ять має вирішальне значення.

Однак, майте на увазі, що пропускна здатність 256 ГБ/с все ще менша, ніж у дискретної відеокарти. Цього достатньо для логічного висновку, але це менш ідеально для інтенсивного навчання.

NVIDIA робить ставку на процесорARM та надшвидка мережа для кластеризації. AMD робить ставку на простоту та обсяг пам’яті. У кожного свій підхід, але я вважаю підхід AMD більш прагматичним для розробника-одинака.

128 ГБ оперативної пам’яті: головна перевага, яка має свою ціну

Це серце системи. З 128 ГБ оперативної пам’яті Завдяки спільній оперативній пам’яті ви можете завантажувати моделі з параметрами до 200 мільярдів. Немає потреби у виділеній відеопам’яті; все поміщається в об’єднану оперативну пам’ять.

Але це достаток має свою ціну. рідкість Вартість DRAM подвоїлася порівняно з минулим роком. Рік тому аналогічна система коштувала 2000 доларів. Зараз вона вдвічі вища.

Програмна екосистема, яка може сподобатися системному адміністратору

AMD робить ставку на відкритий код. Ryzen AI Halo Він постачається з налаштованою системою Debian з ядром 6.18 та ROCm 7.13. ComfyUI, vLLM – все попередньо встановлено. Для системного адміністратора, як я, це чисте блаженство.

Добре, якщо ви віддаєте перевагу Windows 11, це теж можливо. Але, чесно кажучи, для локального виведення Linux залишається найстабільнішим вибором. А AMD доклала зусиль, щоб створити добре розроблені ігрові схеми.

Для розвитку в штучний інтелект На місцевому рівні ROCm — гарний вибір. Немає потреби шукати власні драйвери, немає сюрпризів. Рідко можна побачити, як велика компанія постачає обладнання з повною екосистемою.

Дефіцит DRAM: справжня перешкода

THE процесор І характеристики привабливі, але кінцева ціна залежить від наявності мікросхем пам’яті. рідкість Використання DRAM збільшило виробничі витрати. AMD не змогла підтримувати свою початкову ціну.

Підсумок: Ryzen AI Halo Він коштує 3999 доларів, що вдвічі більше, ніж мав би коштувати. За такою ціною… DGX Spark вже не набагато дорожче. порівняння стає тісним.

І все ж, це надійний інструмент для розробників, яким потрібне величезне сховище без залежності від хмари. Але ви повинні бути готові заплатити ціну. Особисто я б почекав, поки дефіцит зникне, перш ніж купувати.

AMD планує версію з Ryzen AI Max 400 “Gorgon Halo”, що передбачає потенційне зниження вартості. Тим часом, Ryzen AI Halo Це залишається нішевою машиною для прихильників локального логічного висновку. Не для широкої публіки, а для тих, хто складає власні моделі.

Джерело: www.clubic.com