AM5 Секреты для МАКСИМАЛЬНОЙ производительности нейросетей
HTML-код
- Опубликовано: 29 янв 2025
- Это уже третья сборка компьютера для инференса нейросетей. По предыдущему опыту учел, что одноядерная производительность процессора важна в задаче инференса. AMD 9800x3d - один из лучших процессоров с одноядерной производительность.
asus ProArt X670E-CREATOR WIFI - материнка с богатой боддержкой pcie. Поддерживаются две видеокарты в режиме pcie 5.0 x8. Подключены к процессору. Через чипсет можно подключить еще одну видеокарту по pcie 4.0.
Гугл таблица с собранными характеристиками материнских плат. Смотрите на количество линий pcie, количество слотов pcie и поддержку бифуркации.
docs.google.co...
Сайт immers cloud. По этой ссылке получите бонус 20% на первое пополнение:
immers.cloud/s...
Реклама. ООО «ДТЛ». ИНН 9717073792. erid: 2W5zFHgKQGY
![BLACK BAG - Official Trailer [HD] - Only in Theaters March 14](http://i.ytimg.com/vi/Du0Xp8WX_7I/mqdefault.jpg)
Мам, это для учебы)))))0)))0)))))
Учиться, конечно никто не собирался с такой сборкой))))))
@@bbbbbb9193 нейросеть учится
похоже нейросетки развлечение для алигархов
Так получается тактовая частота одного ядра важнее, чем L3 кэш процессора в нашем вопросе относительно инференса нейросетей?
А почему оказались от материнки supermicro и epyc с многоядерностью? Там вроде есть pci5
Покажите, пожалуйста, сервер в сборе, как он выглядит, как охлаждается
На канале есть видео "Компьютер для нейросетей. 5x3090ti, 48cpu, 512gb ram."
Сервер выглядит точно также, только материнская плата заменена на эту и подключено 2 видеокарты. В том видео больше информации про железо.
протестируй llama distill r1 70b и qwen r1 32B на большом контексте, сравним с 2х3090 на недорогом xeon и китайской материнке
Ждем следующий видос всем селом
Будет очень интересно посмотреть на эти тесты
Да всё уже. Deepseek обучается на Raspberry Pi и стоит в 100 раз дешевле.
Не знаю, как он там «обучается», но работает на Расбери со скоростью 0.3-0,5 токена в секунду 😂.
Я думал ты Nvidia Project Digits будешь брать, честно говоря. Получается вариант лучше и дешевле, чем на 5090.
я использую многоядерный Ксенон. Это плохо? Лучше когда высокая частота и ядер немого?
зависит от задачи.
Пробовали делать оптимизацию нейронных моделей onnx под cpu amd?
нет. инференс обычно на видеокартах идет.
DeepSeek r1 32 на одной поедет? Может как то на 3 выйдет 70 миллиардов запустить? На две не влезет наверное. Либо квантизацию 8 и 32 на двух видеокартах и там и там.
в 4 битном 19гиг едет на одной 4070тисупер, ответы очень быстрые
именно эту еще не тестировал. qwen 2.5 32b в квантизации awq 4 бита идет хорошо на двух картах 3090ti. При одиночном запросе скороть генерации 54 токена в секунду.
@ они там дистиллированные выложили qmk вроде бы. Они 20.5 гигов на 32 миллиарда занимают. Может на других репозиториях есть 8 битные
На самом деле стоит подождать тот же nvidia digits, по объему памяти/цене он должен быть выгоднее сборок с несколькими видеокартами
К нему большие вопросы есть. По чипу это аналог rtx 5070. По косвенным оценкам у него пропускная способность памяти будет в районе 200-400гб/с. Основной плюс у него - это компактность. Более полные выводы стоит делать, когда он уже выйдет.
Здравствуйте единственное, что посоветую ставте воду если собираетесь ставить 5090 и шума меньше и карта не будет дуть на радиатор цпу
Для начала нужно дождаться начала продаж 5090 в России.
Почему выбор остановили на 9800x3d, который ныне оверпрайс в рф, а не на 9950x или 9900x, да даже 9700x и их аналоги из 7000-й серии, дополнительный 64мб l3 кэша дают ощутимый прирост?
Для этого компа есть еще второстепенная задача - игры. 9800x3d вне конкуренции.
Для задачи инференса LLM точно также подойдет 9700x или другие 6-8 ядерные процессоры 9000 или 7000 серии. Многоядерная производительность не требуется.
Игры - святое, благословляю ваш выбор
У проц же на am5, есть инструкция 512, в отличии от am4, которая для нейронок вроде бы
Я тоже собрал под ИИ на AM5 но немного тупанул с конфигурацией PCI на материнке. У нее тоже два армированных слота под видеокарты, но при подключении второй, на первой доступно 8 линий, а на второй 4. Лама 70b работает довольно шустро с двумя 3090, но тем не менее хотелось бы 2x8. Производитель наверное больше линий отвел под ssd M2. Через них в теории тоже можно подключить третью видеокарту.
Asus ROG strix X670E-E Gaming WiFi + 7900X
посмотри мануал к материнке. Иногда часть линий под диск отводится. nvme диск лучше ставить в ближайший к процессору слот. Другие nvme диски нужно отключить.
@@kuliev.vitaly А разве не наоборот? Часть линий отводится под чипсет в любом случае, значит наверное больше линий останутся доступными при подключении ссд через чипсет, хотя и скорость тогда будет хуже, так как через чипсет поколение pci-e обычно ниже
@@kuliev.vitaly отключить, это значит не вставлять ничего или отключить в биосе?
Хорошие покупки!! Топовая сборка.10 из 10)). Прям мечта на будущие)). Поздравляю!!!
P.s. Интересно сколько проц. будет потреблять/греться.
уже протестил с двумя видеокартами. занимается два ядра, потребление не измерял, но должно быть малое. Основное выделение от видеокарт - 2х450вт.
@@kuliev.vitaly интересно
А чё не взять h12ssl + AMD EPYC 7543, и ставь хоть 10 видео карт по x8 pci-e v4, через райзеры а можно и 20 карт по x4. На вторичка мать +проц будет 150-200к
Как раз подобная сборка у меня есть. H12 + amd 7k62. На этой АМ5 платформе с двумя видеокартами производительность выше на 4-25% в зависимости от нагрузки. Скорость работы упирается в одноядерную производительность процессора, что у всех серверных сборок является узким местом.
В остальном на серверах и ядер больше и оперативки и слотов pcie.
Крутая сборка,ждём обзор на её возможности
боюсь бп не потянет 2хRTX5090. Ну и одноядерная производительность на ам5 такая же у 9600x и 9700x, а стоят они в 4 и 2.5 раза дешевле соответственно, не думаю что выбирать 9800 было лучшей идеей
Два блока питания можно поставить с синхронизатором. У меня еcть пара блоков на 1300Вт - их хватит для двух 5090.
Для этого компа есть еще второстепенная задача - игры. 9800x3d вне конкуренции.
@@kuliev.vitaly тогда вопросов нет
Сижу на на такой же под r7900x. Купил на самом выходе ради шикарного оснащения, DP IN, входных и выходных usb4 и сдвоенных pcie 5.0. А так материнка она все же слабовата, довольно не стабильна и не свободна от косяков. Увидишь сам. Мой совет, если есть возможность поменяй на Crosshair.
Может у тебя биос ранний был? На creator x670 обновил биос и пока все работало предсказуемо. Оперативка завелась по профилю 6400 cl32. Видеокарты определеились и работали предсказуемо.
Crosshair - нет третьего x16 слота pcie.
Там материнка всего то в двухканальном режиме с памятью работает - прошлый век, соотв. ограничение макс. 128 Гб.
для этой сборки не нужно большое количество памяти. Нейронки напрямую на видеокартах запускаются.
для большого объема оперативки есть серверные платформы.
@@kuliev.vitaly Что до сих пор на видеокартах? Что ж, тогда будем ждать будем ждать!!!
Ох жир.... Я двухголовый зеон под пет проекты собрал... А видюху p102 заказал ... Жду вот....))))😅
Тоже думаю прикупить р102, но они плохие в плане энергоэффективности и нагрева, плюс нвидия решила дропнуть поддержку не-ртх карт в новых версиях cuda тулкита. Также у них всего 4 линии pci-e 1.1, загрузка моделей будет длиться вечность и очень желательно подключать карты через какой-нибудь сплиттер 4*4 на материнке с поддержкой бифуркации, чтобы получить максимальную пропускную способность шины, а не майнерские x1 райзеры и сплиттеры без бифуркации, с которыми получите от x1 до x0.25 @pcie1.1. Ну и конечно же карты майнерские, а значит найти их в приличном состоянии будет непросто) Однако цена слижком уж вкусная и толкает на подобные эксперименты. И кстати в русскоязычном ютубе очень мало информации по ним и тестов в нейронках (да и вообще на всем ютубе буквально 1 видос какого-то бразильца)
Ку!