Скорее всего ценность данной карты именно в том, что она показала состоятельность RISC в GPU. Потому что по сути команда энтузиастов собрала карточку двигающую в ряде задач многомиллиардные корпорации. А далее либо энтузиасты привлекут инвестиции, либо их купят гиганты и сделают прорывной продукт на RISC который будет реально унижать конкурентов на CISC.
Да вроде ничего такого она не показала, если в ней кто-то что-то и понял, так это три с половиной техногика без личной жизни. У которых из всех инвестиций - борода и потный свитер. Вопрос, смогут ли они донести до руководства, или кто там у них отвечает за закупки и инвестиции, что эти новые карты принесут им прибыль остается открытым. Если они смогут обосновать, тогда да, продукт получит зеленый свет. В 90% случаев та самая "команда энтузиастов" и работает на энтузиазме, иногда за счет личных средств, которых явно мало.
@ThereWasNoFreeName есть одна огромная страна, которая уже больше 10 лет свои процессоры не может сделать чтоб они хоть как то конкурировали с основными игроками рынка. Миллиарды в них закопали. Так что собрать видеокарту на коленке на новой архитектуре и обеспечить неплохие показатели по соотношению цена/мощность/производительность - это успех.
Я тебя удивлю, но все современные процессоры по сути используют сокращённые инструкции, которые выполняются лишь один такт и выполняют одну операцию, что отлично сочетается с конвейеризацией. Те же длинные x86 инструкции разбиваются на более короткие
@evgenigrich, перевожу на человеческий то что сказал уважаемый @georgenoble1628. Нет сейчас конкурентов на CISC архитектурн, все RISC в том или ином виде. А доказывает их результат одно - сама архитектура RISC-V именно RISC-V подходит для производительных вычислений сама по себе и способна тягаться с той же нвидией.
Как диванный эксперт заявляю. Надо использовать рекомендуемую версию дистрибутива. Вижу что в доках пишут про ubuntu22 "Tenstorrent recommends Ubuntu 22.04 LTS (Jammy Jellyfish) for all Tenstorrent software. While each SDK may support newer distributions of Ubuntu, consider their compatibility experimental at this time." По каким причинам вы поставили ubuntu25 - не совсем ясно. Тем более что ванильное ядро 5.15 на ubuntu22 по моим личным тестам даже с nvidia показывает себя более стабильнее, чем на ubuntu24 с ядром 6.8. Это очень важный момент. Спросите у ребят с того самого банка, про дистрибутив, который они используют на проде - вряд ли это ubuntu25. По пробросу видеокарты в контейнер - тут также немало зависит от ядра. Как говорится в популярной фразе - "Всё....., переделывай!". Спасибо за видео.
u24.04 LTS релиз, все с ним огонь, дрова огонь (подобрал со второго раза), нормальное ядро(сдул заголовки и вперед), всё прекрасно работает, и с контейнерами в том числе... Весь софт работает прекрасно.
@egorandreevich7830Надо смотреть конкретный случай. версия библиотек в конкретном дистрибутива тоже важно. Если производитель рекомендовал использовать именно ubuntu22, значит так и надо было делать.
И есть точно такой же шанс, что не станет. :) Все-таки много денег надо на исследования, для это нужен инвестор, а с этим проблема. Как убедить условный банк, что им вместо простой покупки мощностей на нвидиа или хуавее, нужно вбухать не один миллиард в то, что поначалу будет разве что догонять оные? Я вижу только одного потенциального инвестора во всем мире, для которого своя технология важнее затрат - военка.
@mad_tбанки пока убеждать не надо, нужно убедить инвесторов чтобы вбухали денег в этот продукт, чтобы его довести до ума и тогда уже выпускать на рынок
Это не p150a убийца, это Келлер убийца, это вообще имба. куда бы он не сунулся, везде тащит. И, я думаю, вот этот вот математический сопроцессор, тоже взлетит. Очевидно, что показанная в видео "видеокарта" это инженерный образец, для демонстрации инвесторам (мол, смотрите, сразу топовый конкурент в рабочих задачах, за меньшие деньги).
Можно вас попросить подробнее рассказать про Radeon PRO, особенно про объединение нескольких видеокарт? Если есть возможность провести тесты нескольких объединенных видеокарт, какие модели заработают, какая будет потеря производительности в таком режиме? Интересна работоспособность в первую очередь ollama(не модели, а движка с разными моделями) и lmstudio.
Если честно, связываться с мульти-GPU (будь то Radeon PRO или даже две NVIDIA) ради нейросетей - это почти всегда боль. В рендере ещё куда ни шло, но в ML-стеке толку мало: поддержка кривая, накладные расходы огромные, а профит сильно ниже ожидаемого. AMD - отдельная история: там вообще без спец-софта и ручных шаманств всё развалится. NVIDIA чуть лучше, но тоже вариант «так себе»: две карты редко работают как одна «суммарная», а чаще как «две отдельные с кучей ограничений» это касается домашнего использования. на серверах юзают NVIDIA NVLink + NVSwitch, NCCL, Megatron-LM\DeepSpeed, Tensor\Pipeline Parallel, Kubernetes, Slurm и его родственники Для ollama или lmstudio никакого «волшебного ускорения» от двух и более карт не получится, запрос и обработка будет прыгать с карты на карту по очереди без програмной настройки Вывод простой: одна мощная видеокарта обойдётся дешевле, стабильнее и быстрее, чем пляски с двумя и больше.
@thexkdg вы хотите впихнуть невпихуемое (а это именно так с вашей видеокартой, даже если её зарезать квантованием в 4 бит) ещё и без CUDA стека...? отчаянный вы однако)
@Dominus_Deus_Inc 16gb нормально для такой маленькой модели. Тем более там MoE. Весь трабл в CUDA. Вы тестировали Ati карты на работу? (я присматриваюсь к AMD))) у меня конечно трудится Nvidia). Интересно можно ли хотя бы запустить с 9070 сервер, о lora я думаю надо замучится и врят-ли-получится
@olexp9017 Этого ролика ну совсем уж точно, наверняка, нету у нас на канале, ведь мы точно не возились пол года в поисках драйвера и подходящих платформ для реализации данного ускорителя (возились и ролик есть)
ну за годик, плюс-минус, софт и драйвера они допилят до удобоваримого состояния, и с разными моделями тоже совместимость подтянут. llama.cpp для РИСКа не такая стабильная просто, наверное. а вот наличие qSFP - это как раз главное конкурентное преимущество, кмк. 4 порта, пусть и не 200гбит, но все лучше чем через PCIE шину их коннектить. let them cook, как говорится, стартапу только несколько лет) но спасибо за тесты. все равно оч интересно
@Meggie-222архитектура risc-v открытая. Вероятно много участников из open source комьюнити что нибудь сделали или сделают для портирования. Ну и конечно я написал это сообщение с иронией. Но если у автора канала это получится, то это будет вообще бомба. Тогда можно уже думать что в будущем пусть и не близком, это архитектура добавит конкуренцию на рынок видеокарт. Что для нас как пользователей конечно будет плюсом. Хотя я сам к этому отношусь со скепсисом.
Во многих отношениях обнадеживающий результат, получается можно делать узкоспециализированные ускорители под ИИ-задачи, без необходимости разрабатывать устройства полностью аналогичные GPU от Nvidia (что, естественно, будет многократно дороже).
Вот, может конкуренты если подтянуться, то нв разделит проф и гейминговые гпу... 😂 (хрен там, скорее будет только проф выпускать, от которого более90%прибыли, ложили они на геймеров..)
Во многом удручающий, я бы сказал. Пока что выглядит так: высрали на рынок продукт, маркетинга 0, поддержки 0, а потом кричат "нвидиа монополисты душат конкурентов". Нет, не конкурент это и с таким подходом никогда им не станет. Даже Интел со своими мощностями никак не могут выкатить годную видеокарту, хоть и пытаются, и второй блин уже получился лучше первого. А здесь всё может закончиться уже на первом.
@самтылалка AMD не сможет покрыть весь рынок ПК. За ними и так все консоли. А рынок пустовать не может - это аксома. Прилюбом раскладе ЭнвидЭ что-то будет клепать для потребительского рынка, хоть и не шибко рада.
В общем 5090 в два раза дороже но в два раза лучше по производительности + большое комьюнити + вылизанный поддерживаемый софт + ее как игровую карту потом еще и продать можно )
@lp67O Уровень образования по человеку, который делает замечания за грамматику тоже. Уровень его экспертизы, как ни странно тоже, потому что она ограничивается как правило этим самым образованием, а не практической работой с чем либо, или опытом "боевого применения".
Смотря для чего это применять. Для обучения пока не подходит - хотя должно справляться. Тут 5090 лучше капитально. В случаях, когда хватает 32ГБ, для плотных моделей и моделей, сильно зависящих от расчетов и ПСП, да - одна 5090 будет аналогична. А вот для инференса крупныйх MoE LLM (Qwen3 235B A22B, Deepseek V3/R1, и Kimi K2 и так далее) - две железки от Tenstorrent будут лучше одной зелёной карточки. Потому 64ГБ VRAM против 32ГБ.
Спасибо за инфу, самое полезное из ролика, что, оказывается, вышел r9700 pro. Это очень круто: можно плотную модельку вроде qwen3 30b с кучей контекста запускать, здорово!
Попросите Дмитрия так же протестировать Huawei Atlas 300I duo 96 gb! Очень хочется на канале побольше обзоров альтернативных ускорителей для вычислений. А то даже обзора на амд инстинкты у вас нет...
Там lpddr память, она ровесница gtx'ов. Она будет глотать не то что у 5050 а у 1060 по производительности, так что пока что карточка с видоса в разы интереснее. Если китайцы сумеют таки произвести что-то уровня gddr 5-6 и засунуть в свои атласы - тогда да, уже будет очень интересно.
Очень круто, что заморочились с такой непростой темой! Вижу много критики по поводу терминологии и технических деталей - учитывайте, сама по себе тема ML крайне сложна и многогранна, требует глубокого понимания как части железа и компиляции, так и в части математики. И вот так с ноги зайти в эту область для журналиста (даже в тех области) само по себе достойно уважения.
При инференсе, время до первого токена сильно зависит от размера входного контекста. Поэтому люди которые покупают макбуки и мак студии для инференса больших моделей сдают назад девайсы. Всё из-за того что время до первого токена в контексте 16-32К токенов растягивается на минуты. Вот и в тесте на первый токен у вас миллисекунды. Видимо это время ответа на фразу "hi".
Нужно обязательно включать CUBLAS / HIPBLAS батчинг. И настраиваить его, потому что по-умолчанию там что-то около 4, а нормальное число даже для старых карт 1024 и выше. И прогонять тестовый бенч на своей системе.
интересно, когда на рынке начнут появляться доступные для homelab решения с большим колвом vram но не таким конским ценником как у игровых карт. мечты....
мне понравилось как много керамических конденсаторов насыпано. Должно быть есть в этом какая-то причина и очевидно что продукт не массовый, а то цены на керамику сразу бы выросли. XD
Красивый ускоритель. А что же тепловизором не померили температуры? А звук какой он издаёт интересно же! Давай в следующий раз "Элвис" доставай - извращаться -так по полной. 😄
MSI afterburner для 5090 позволяет вручную оптимизировать потребление энергии (используя curve) и у меня, например, при полной загрузке потребление где то 415 Вт.. Работает стабильно. Кому то везёт больше или меньше но как минимум это не 570
Конечно молодцы, что «предприняли попытку», но с содержательностью полная беда. Какой движок инференса? Почему сначала звучит слово «обучение»? Вообще напоминает наши работы с Huawei Atlas, также поддержки минимум, вопросов максимум. Поэтому респект, что предприняли попытки, дизреспект за содержание ролика.
Заметил, что вы используете хронологически последнюю (не LTS) версию убунтЫ. Когда ведут разработку с расчётом на убунтУ, имеют в виду LTS-версию, причём чаще всего не самую последнюю.
Классное видео! Правда, как я понял, замеряли производительность вывода в FP16, которая вдвое (что логично) ниже FP8. И в целом по тестам получается, что это скорее аналог 5080, что тоже замечательно. Пожелаем разработчикам всяческих успехов!
Точность FP8 используется только для нейросетей, причём для инференса, а не для обучения. Производительности в основных вычислениях (FP32 и FP64) не указаны.
@АнтонСавичев-й3р Складка на мочке часто является так называемым признаком Фрэнка. И большинство людей с ним не знают про него. Если это слишком заметно, то может есть повод озаботиться и проверить сердце и сосуды. Некоторым это жизнь спасло. Если нет - прекрасно. И знаешь, сначала хотя бы погугли что это такое чем вставлять свое неавторитетное мнение.
Ну блин. Сначала показываете перформанс в 8 бит и в 16 бит весах, а потом все тесты в 16 бит. И естественно llama 8b в 16 б ит не влезет в 16Гб T4. А вот в fp8 влезла бы. Но я подозреваю, что для черной дыры нет тулинга для запуска квантованых моделей. Ещё очень интересно было бы увидеть тесты dgx spark - неттоп с ARM процессором, Blackwell GPU и 128гб unified memory!
Отличное видео, спасибо! Жаль только, что в тесты не попали «инстинкты» - AMD Radeon Instinct MI 50/70/100/200/300, хотя бы; их ведь не так сложно достать, как я слышал.
Народ если кому интересно то если использовать для инференса то производительность карт можно сказать что складывается в vllm с небольшими накладками. Самое главное что карт надо в степени двойки. К тестам есть претензия разные модели карт 3090 4090 5090 разщитаны на разные данные квантования. 3090 fp16 4090q8 5090q4 у них вроде как есть аппаратная поддержка для этого.и большинство тестов это не делают.
Карт не надо в степени двойки, если разбиение идет по слоям, а не построчно - а последнее умеет только сам llama.cpp да и то плохо. 5 карт спокойно работают, и 3 и 7. Если модель МоЕ (gpt-oss, qwen3, deepseek) то рекомендую почитать Shannon на хабре. У него отличная статья и масса полезных комментариев на тему ускорения инференса на игровых картах и запуске локального дипсика (настоящего, пусть и квантованого).
@xianchinazn безусловно согласен. Шеннон написал хорошию статью. Но скажем так по моему опыту именно в бытовых вопросах не программирования намного лутьше использовать максемально не квантование модели. Я конешно понимаю что многим хватит небольшого контекста и ответа но допустим я использую неиросети с контекстом и ответом не мнений 8к и на больших текстах очень чюствуется что модель квантана. Это моё личное мнение.
Спасибо за ролик! Ничё не понятно, но оч круто. Может как-нибудь расскажете про всю эту ИИшную лихорадку для простых смертных? Что я имею ввиду: Использование ИИ в домашних условиях или может для малого/среднего бизнеса. Типа собственный чат-бот для автоматизации службы поддержки компании (Просто первое что пришло в голову). В общем что-то что может быть полезно контент-мейкерам, монтажёрам, граф.дизайнерам, кодерам, 3Dшникам или ещё кому. С удовольствием глянул бы такой ролик от вас
Очень интересные тесты, жаль, конечно, что софт сырой и толком ничего и не получилось погонять, но все равно контент уникальный. Ситуация, конечно, сейчас - кто в лес кто по дрова в ИИ ускорении. У этой карты GDDR6, но софт черт-те что. У Хуавея на его Атласах - до 96 гигов, но LPDDR4x, да еще и на два кристалла, что дает и трансфер дает на уровне 200 на кристалл, и там кажется тоже есть приколы с запуском на 2 штуки. Но радует, что работа ведется, в теории если будет гибридная архитектура на каком-нить LPDDR5, то получим весьма приличную железку без конского ценника. Опять же, этот их камм-формат можно было бы утилизировать в таких штуках. Одно понятно - все активно пилится и такое железо будет устаревать и дешеветь быстро.
Не теплосъёмная площадка ходит ходуном, а внутри радиатор с испарительной камерой под кожухом, который ты не снял, т.е. показал нам не полный разбор системы охлаждения. Но это уже норма.
Ухты, Келлер всё же допилил до продажного варианта. Я ждал не раньше весны. Софт нейронок не сырой только у Куртки -- он его 10 лет уже целенаправленно пилит и не распыляется на что-то ещё.
Спасибо. Действительно не для всех. В любом случае любопытно. Держите в курсе насчёт состояния конкурентов Нвидия. Может рано или поздно что-то станет конкурентноспособным.
Забыл указать цены. Официальная цена P150a
Хорошая цена, не поспоришь
Не ну за 150р карточка думаю реально станет убийцей 5090
Не, ну 150р это уже перебор, не накоплю с школьных обедов)
цена 1400$
Вот я лох, только купил5090🙄
Скорее всего ценность данной карты именно в том, что она показала состоятельность RISC в GPU. Потому что по сути команда энтузиастов собрала карточку двигающую в ряде задач многомиллиардные корпорации. А далее либо энтузиасты привлекут инвестиции, либо их купят гиганты и сделают прорывной продукт на RISC который будет реально унижать конкурентов на CISC.
Да вроде ничего такого она не показала, если в ней кто-то что-то и понял, так это три с половиной техногика без личной жизни. У которых из всех инвестиций - борода и потный свитер. Вопрос, смогут ли они донести до руководства, или кто там у них отвечает за закупки и инвестиции, что эти новые карты принесут им прибыль остается открытым. Если они смогут обосновать, тогда да, продукт получит зеленый свет. В 90% случаев та самая "команда энтузиастов" и работает на энтузиазме, иногда за счет личных средств, которых явно мало.
@ThereWasNoFreeName есть одна огромная страна, которая уже больше 10 лет свои процессоры не может сделать чтоб они хоть как то конкурировали с основными игроками рынка. Миллиарды в них закопали. Так что собрать видеокарту на коленке на новой архитектуре и обеспечить неплохие показатели по соотношению цена/мощность/производительность - это успех.
Я тебя удивлю, но все современные процессоры по сути используют сокращённые инструкции, которые выполняются лишь один такт и выполняют одну операцию, что отлично сочетается с конвейеризацией. Те же длинные x86 инструкции разбиваются на более короткие
@evgenigrich, перевожу на человеческий то что сказал уважаемый @georgenoble1628. Нет сейчас конкурентов на CISC архитектурн, все RISC в том или ином виде. А доказывает их результат одно - сама архитектура RISC-V именно RISC-V подходит для производительных вычислений сама по себе и способна тягаться с той же нвидией.
@georgenoble1628 "выполняются лишь один такт"
давно у нас целочисленное деление выполняется быстрее 13 тактов, умник?
Как диванный эксперт заявляю. Надо использовать рекомендуемую версию дистрибутива. Вижу что в доках пишут про ubuntu22 "Tenstorrent recommends Ubuntu 22.04 LTS (Jammy Jellyfish) for all Tenstorrent software. While each SDK may support newer distributions of Ubuntu, consider their compatibility experimental at this time."
По каким причинам вы поставили ubuntu25 - не совсем ясно. Тем более что ванильное ядро 5.15 на ubuntu22 по моим личным тестам даже с nvidia показывает себя более стабильнее, чем на ubuntu24 с ядром 6.8. Это очень важный момент. Спросите у ребят с того самого банка, про дистрибутив, который они используют на проде - вряд ли это ubuntu25.
По пробросу видеокарты в контейнер - тут также немало зависит от ядра.
Как говорится в популярной фразе - "Всё....., переделывай!".
Спасибо за видео.
u24.04 LTS релиз, все с ним огонь, дрова огонь (подобрал со второго раза), нормальное ядро(сдул заголовки и вперед), всё прекрасно работает, и с контейнерами в том числе... Весь софт работает прекрасно.
Абсолютно прав ты.
а ты уверен, что в твоем случае именно ядро является причиной стабильности? Обыычно на это влияют другие факторы
@egorandreevich7830Надо смотреть конкретный случай. версия библиотек в конкретном дистрибутива тоже важно. Если производитель рекомендовал использовать именно ubuntu22, значит так и надо было делать.
любое ядро пойдёт, можно модули самим собрать, всё в опенсорсе.
есть шанс, что производителей ускорителей на RISC-V станет больше, так как открытая архитектура, и тогда уже будет профит от совместных разработок
И есть точно такой же шанс, что не станет. :) Все-таки много денег надо на исследования, для это нужен инвестор, а с этим проблема. Как убедить условный банк, что им вместо простой покупки мощностей на нвидиа или хуавее, нужно вбухать не один миллиард в то, что поначалу будет разве что догонять оные? Я вижу только одного потенциального инвестора во всем мире, для которого своя технология важнее затрат - военка.
↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑
🧊 VSE KONTENT TYТ 🧊
🔩 Maluxu malutki 🔩
🥶 Milashki Шалуньи 🧤
@mad_tбанки пока убеждать не надо, нужно убедить инвесторов чтобы вбухали денег в этот продукт, чтобы его довести до ума и тогда уже выпускать на рынок
А потом ещё Vulkan под этот NPU сделают и тогда начнётся безумие из игр с требованиями по 64 и более гигабайт VRAM
@mad_tПервопроходец уже должен был сделать минимальный концепт драйверов, те кто будут делать новые видеокарты смогут на него опираться.
Это не p150a убийца, это Келлер убийца, это вообще имба. куда бы он не сунулся, везде тащит. И, я думаю, вот этот вот математический сопроцессор, тоже взлетит. Очевидно, что показанная в видео "видеокарта" это инженерный образец, для демонстрации инвесторам (мол, смотрите, сразу топовый конкурент в рабочих задачах, за меньшие деньги).
Было бы интересно теперь увидеть Huawei Atlas 300i
Можно вас попросить подробнее рассказать про Radeon PRO, особенно про объединение нескольких видеокарт? Если есть возможность провести тесты нескольких объединенных видеокарт, какие модели заработают, какая будет потеря производительности в таком режиме? Интересна работоспособность в первую очередь ollama(не модели, а движка с разными моделями) и lmstudio.
Отличный вопрос, также интересуют как дела с инференсом на потребительских Radeon 9070? Можно ли на ней без костылей и танцев запустить скажем oss20b?
Если честно, связываться с мульти-GPU (будь то Radeon PRO или даже две NVIDIA) ради нейросетей - это почти всегда боль. В рендере ещё куда ни шло, но в ML-стеке толку мало: поддержка кривая, накладные расходы огромные, а профит сильно ниже ожидаемого.
AMD - отдельная история: там вообще без спец-софта и ручных шаманств всё развалится. NVIDIA чуть лучше, но тоже вариант «так себе»: две карты редко работают как одна «суммарная», а чаще как «две отдельные с кучей ограничений» это касается домашнего использования.
на серверах юзают NVIDIA NVLink + NVSwitch, NCCL, Megatron-LM\DeepSpeed, Tensor\Pipeline Parallel, Kubernetes, Slurm и его родственники
Для ollama или lmstudio никакого «волшебного ускорения» от двух и более карт не получится, запрос и обработка будет прыгать с карты на карту по очереди без програмной настройки
Вывод простой: одна мощная видеокарта обойдётся дешевле, стабильнее и быстрее, чем пляски с двумя и больше.
@thexkdg вы хотите впихнуть невпихуемое (а это именно так с вашей видеокартой, даже если её зарезать квантованием в 4 бит) ещё и без CUDA стека...? отчаянный вы однако)
@Dominus_Deus_Inc 16gb нормально для такой маленькой модели. Тем более там MoE. Весь трабл в CUDA. Вы тестировали Ati карты на работу? (я присматриваюсь к AMD))) у меня конечно трудится Nvidia). Интересно можно ли хотя бы запустить с 9070 сервер, о lora я думаю надо замучится и врят-ли-получится
@Dominus_Deus_Inc Кстати oss20b и так 4-bit, тот же unsloth наделал целую кучу
Спасибо за выпуск! на ру ютубе мало такого глубокого контента про железе и LLM! Бью в колокол! ;)
Спасибо за возможность первый раз увидеть и послушать про это устройство.
Канал не перестаёт удивлять разнообразием, похвально.
3dfx Voodoo вернулся, ура!
Скорее Ageia PhysX
Это тот же Дмитрий, который давал вам на тест Nvidia Titan RTX?
Огромное спасибо за труд !
Любой материал смотрю))) спасибо интересно.
Спасибо за информацию - всегда полезно и интересно
Обожаю короткие видео!
Вот это кайф видос. Спасибо большое
Респект за обзор!)
Вообще было бы здорово от вас узнать про обучение нейронок)
Спасибо за интересный вечер.
спасибо за "Gnu Linux" в контексте, респект!
А будет обзор huawei atlas 300i duo ? Очень любопытное устройство для инференса LLM и всякой видеоаналитики и других нагрузок подходящих GPU
😮😮😮😮
То же самое хотел спросить. Интересно было бы глянуть, причем не только в LLM, но и в вычислительных задачах.
Не понял что это ,пойду лучше сварю борщ
И для 3д и нейронок для генерации картинок(самый большой wan и flux)
@olexp9017 Этого ролика ну совсем уж точно, наверняка, нету у нас на канале, ведь мы точно не возились пол года в поисках драйвера и подходящих платформ для реализации данного ускорителя (возились и ролик есть)
torrent в названии это конечно пушка
«torrent» - поток
@aleks-ivanov поток халявы
@aleks-ivanov Да, ладно. Мы то все понимаем...:))
Эту видеокарту можно просто скачать с торентов бесплатно!
Чья карта? Общая
ну за годик, плюс-минус, софт и драйвера они допилят до удобоваримого состояния, и с разными моделями тоже совместимость подтянут. llama.cpp для РИСКа не такая стабильная просто, наверное.
а вот наличие qSFP - это как раз главное конкурентное преимущество, кмк. 4 порта, пусть и не 200гбит, но все лучше чем через PCIE шину их коннектить.
let them cook, как говорится, стартапу только несколько лет)
но спасибо за тесты. все равно оч интересно
Отличный выпуск. Спасибо
Ждём теперь тесты на играх. Ой и нам пофиг что это невозможно. Мы в вас верим.
Верим-верим👍
Запустить современную игру на этом будет стоить дороже чем сама видеокарта, вероятно, придется привлекать несколько не дешевых специалистов.
@Meggie-222архитектура risc-v открытая. Вероятно много участников из open source комьюнити что нибудь сделали или сделают для портирования. Ну и конечно я написал это сообщение с иронией. Но если у автора канала это получится, то это будет вообще бомба. Тогда можно уже думать что в будущем пусть и не близком, это архитектура добавит конкуренцию на рынок видеокарт. Что для нас как пользователей конечно будет плюсом. Хотя я сам к этому отношусь со скепсисом.
@vyacheslavs_z3572Если нвидия потом их не засудит , зачем им лишний конкурент?А нвидия как известно под сша, а там рычаги давления найдутся ..
Можно же как-то видеовыход переопределить на встройку, как это делается на обычных картах?
0:10 - АСУЖДАЮ, но себе вырежу. Пригодится для смешных вставок, спасибо за шедевр)
Интересно, спасибо, но хочется B60 )))
За такие видео мне и нравится ваш канал!
Во многих отношениях обнадеживающий результат, получается можно делать узкоспециализированные ускорители под ИИ-задачи, без необходимости разрабатывать устройства полностью аналогичные GPU от Nvidia (что, естественно, будет многократно дороже).
Вот, может конкуренты если подтянуться, то нв разделит проф и гейминговые гпу... 😂
(хрен там, скорее будет только проф выпускать, от которого более90%прибыли, ложили они на геймеров..)
Во многом удручающий, я бы сказал. Пока что выглядит так: высрали на рынок продукт, маркетинга 0, поддержки 0, а потом кричат "нвидиа монополисты душат конкурентов". Нет, не конкурент это и с таким подходом никогда им не станет. Даже Интел со своими мощностями никак не могут выкатить годную видеокарту, хоть и пытаются, и второй блин уже получился лучше первого. А здесь всё может закончиться уже на первом.
@ThereWasNoFreeName так суть-то как раз в том, что полноценную видеокарту делать не обязательно, по крайней мере пока все вкладываются в LLM.
@самтылалка
AMD не сможет покрыть весь рынок ПК. За ними и так все консоли. А рынок пустовать не может - это аксома. Прилюбом раскладе ЭнвидЭ что-то будет клепать для потребительского рынка, хоть и не шибко рада.
@klim6361АМД шлак, и рассчитывать на них наивно. В уж в нейросетях тем более.
спасибо за интересное видео
Подробнее про ускорители хуавей пожалуйста
В общем 5090 в два раза дороже но в два раза лучше по производительности + большое комьюнити + вылизанный поддерживаемый софт + ее как игровую карту потом еще и продать можно )
И в два раза згарает, то питальнки то кондинсаторы😑
@ivanovivan1273 уровень экспертизы человека, который в каждом слове делает по ошибке, сомнителен
В общем и целом, в общем и целом - правильно
@lp67O Уровень образования по человеку, который делает замечания за грамматику тоже. Уровень его экспертизы, как ни странно тоже, потому что она ограничивается как правило этим самым образованием, а не практической работой с чем либо, или опытом "боевого применения".
Смотря для чего это применять. Для обучения пока не подходит - хотя должно справляться. Тут 5090 лучше капитально.
В случаях, когда хватает 32ГБ, для плотных моделей и моделей, сильно зависящих от расчетов и ПСП, да - одна 5090 будет аналогична.
А вот для инференса крупныйх MoE LLM (Qwen3 235B A22B, Deepseek V3/R1, и Kimi K2 и так далее) - две железки от Tenstorrent будут лучше одной зелёной карточки. Потому 64ГБ VRAM против 32ГБ.
Для вычислительных мощностей - кстати!
"ничего не понятно, но очень интересно!" )
Отличное видео, это было интересно)
Так же любоьыптно что с этой картой будет через время
Хопа, хопа, железка от Джимми Келлера! 👍👍👍
Спасибо за инфу, самое полезное из ролика, что, оказывается, вышел r9700 pro. Это очень круто: можно плотную модельку вроде qwen3 30b с кучей контекста запускать, здорово!
Настоящее прохайтековое видео :)
По длинне ролика было понятно, что всё быстро закончится)
Обзор на карту инференса от Хуавей будет?
Информации кот наплакал, даже цены нет... Что ж спасибо что пытались...
Попросите Дмитрия так же протестировать Huawei Atlas 300I duo 96 gb!
Очень хочется на канале побольше обзоров альтернативных ускорителей для вычислений. А то даже обзора на амд инстинкты у вас нет...
Там lpddr память, она ровесница gtx'ов. Она будет глотать не то что у 5050 а у 1060 по производительности, так что пока что карточка с видоса в разы интереснее. Если китайцы сумеют таки произвести что-то уровня gddr 5-6 и засунуть в свои атласы - тогда да, уже будет очень интересно.
Ждём moorethreads, Huawei atlas (300i duo например) в дополнение😂
Хотелось бы услышать ваше мнение о Bolt Graphics Zeus
0:55 А Игорь Линк то оказывается действительно компетентный и неподкупный.
Очень круто, что заморочились с такой непростой темой! Вижу много критики по поводу терминологии и технических деталей - учитывайте, сама по себе тема ML крайне сложна и многогранна, требует глубокого понимания как части железа и компиляции, так и в части математики.
И вот так с ноги зайти в эту область для журналиста (даже в тех области) само по себе достойно уважения.
При инференсе, время до первого токена сильно зависит от размера входного контекста. Поэтому люди которые покупают макбуки и мак студии для инференса больших моделей сдают назад девайсы. Всё из-за того что время до первого токена в контексте 16-32К токенов растягивается на минуты.
Вот и в тесте на первый токен у вас миллисекунды. Видимо это время ответа на фразу "hi".
Нужно обязательно включать CUBLAS / HIPBLAS батчинг. И настраиваить его, потому что по-умолчанию там что-то около 4, а нормальное число даже для старых карт 1024 и выше.
И прогонять тестовый бенч на своей системе.
Сделайте тест в играх пожалуйста, если получится запустить
1:08 Судя по риторике это сбер😂
дык монопольная помойка))
интересно, когда на рынке начнут появляться доступные для homelab решения с большим колвом vram но не таким конским ценником как у игровых карт. мечты....
Когда начнут сливать устаревшее оборудование компании либо хайп закончится и новое никому буден не нужно
Пока хайп не пройдет - не появятся
никогда
Для хомлабы удел это cpu инференс один два эпика и забитая до отказа оперативки пол терика терик
Кластер ryzen 395 max?
мне понравилось как много керамических конденсаторов насыпано. Должно быть есть в этом какая-то причина и очевидно что продукт не массовый, а то цены на керамику сразу бы выросли. XD
спасибо большое за обзор не мейнстримовых ускорителей. Было бы круто еще увидеть подобные. Об ускорителях NEC , groq
Надо было написать производителю, чтобы документацию поддерживали
Красивый ускоритель. А что же тепловизором не померили температуры? А звук какой он издаёт интересно же! Давай в следующий раз "Элвис" доставай - извращаться -так по полной. 😄
MSI afterburner для 5090 позволяет вручную оптимизировать потребление энергии (используя curve) и у меня, например, при полной загрузке потребление где то 415 Вт.. Работает стабильно. Кому то везёт больше или меньше но как минимум это не 570
Видеовыходы есть на материнской плате
Конечно молодцы, что «предприняли попытку», но с содержательностью полная беда.
Какой движок инференса? Почему сначала звучит слово «обучение»?
Вообще напоминает наши работы с Huawei Atlas, также поддержки минимум, вопросов максимум.
Поэтому респект, что предприняли попытки, дизреспект за содержание ролика.
No one lives forever... Музыка😂
Заметил, что вы используете хронологически последнюю (не LTS) версию убунтЫ. Когда ведут разработку с расчётом на убунтУ, имеют в виду LTS-версию, причём чаще всего не самую последнюю.
когдаж ты все успеваешь? риторический вопрос, конечно как обычно лайк)
Борода жги! Только не про смартфоны😂
Ух, где бы я ещё узнал про производительность какой то неизведомой мной херни в ИИ 😂
Спасибо 🤝
копайте в сторону rknn linux core, а так прикольно 32гб на 300 ватт потребления за прайс кофеварки
Когда видеокарту с Torrenta скачал =D
10:15 что значит rtx5090 не работает в кластере, всё работат. Ваш силектейл также их объединяет в кластер
Спасибо
Классное видео!
Правда, как я понял, замеряли производительность вывода в FP16, которая вдвое (что логично) ниже FP8.
И в целом по тестам получается, что это скорее аналог 5080, что тоже замечательно. Пожелаем разработчикам всяческих успехов!
интересно
А в карточке где декодер и энкодеры для транскодирования?
Ця GPU майнить Bitcoin?
Точность FP8 используется только для нейросетей, причём для инференса, а не для обучения. Производительности в основных вычислениях (FP32 и FP64) не указаны.
Вообще интересный ролик. Даже любопыьно посмотреть на тесты через пол\год, когда софт допилят
Привет Дружище!!!😊✌👋🤝☀☁☕🍪.
Сергей, слегка не в тему, может быть, но проверьте сердце на ишемию, уж очень на правом ухе сильно похоже на признак Фрэнка
Что-то новенькое. Доктора уже стали по комментам ходить советы по здоровью давать:)
@АнтонСавичев-й3р ванговать по фото как Кашпировский
@АнтонСавичев-й3р Складка на мочке часто является так называемым признаком Фрэнка. И большинство людей с ним не знают про него. Если это слишком заметно, то может есть повод озаботиться и проверить сердце и сосуды. Некоторым это жизнь спасло. Если нет - прекрасно. И знаешь, сначала хотя бы погугли что это такое чем вставлять свое неавторитетное мнение.
А разве это не когда давление в обеих руках отличается выше/ниже чем на 10-15мм ? Чет такое
Интересно. Но мы не знаем что это такое, если бы мы знали что это такое но мы не знаем что это такое
Норм!
Ну блин. Сначала показываете перформанс в 8 бит и в 16 бит весах, а потом все тесты в 16 бит. И естественно llama 8b в 16 б ит не влезет в 16Гб T4. А вот в fp8 влезла бы. Но я подозреваю, что для черной дыры нет тулинга для запуска квантованых моделей.
Ещё очень интересно было бы увидеть тесты dgx spark - неттоп с ARM процессором, Blackwell GPU и 128гб unified memory!
12:42 Я хочу R9700, но его тоже ни где не достать по вменяемой цене.
Интересный птеродактиль...
Отличное видео, спасибо!
Жаль только, что в тесты не попали «инстинкты» - AMD Radeon Instinct MI 50/70/100/200/300, хотя бы; их ведь не так сложно достать, как я слышал.
Неплохо бы диэссер вешать на дорожку с голосом, а то все шипящие свистящие (особенно с) вырезают барабанные перепонки. Спасибо
тесты в убунту, ура)
Народ если кому интересно то если использовать для инференса то производительность карт можно сказать что складывается в vllm с небольшими накладками. Самое главное что карт надо в степени двойки. К тестам есть претензия разные модели карт 3090 4090 5090 разщитаны на разные данные квантования. 3090 fp16 4090q8 5090q4 у них вроде как есть аппаратная поддержка для этого.и большинство тестов это не делают.
Карт не надо в степени двойки, если разбиение идет по слоям, а не построчно - а последнее умеет только сам llama.cpp да и то плохо.
5 карт спокойно работают, и 3 и 7.
Если модель МоЕ (gpt-oss, qwen3, deepseek) то рекомендую почитать Shannon на хабре. У него отличная статья и масса полезных комментариев на тему ускорения инференса на игровых картах и запуске локального дипсика (настоящего, пусть и квантованого).
@xianchinazn безусловно согласен. Шеннон написал хорошию статью. Но скажем так по моему опыту именно в бытовых вопросах не программирования намного лутьше использовать максемально не квантование модели. Я конешно понимаю что многим хватит небольшого контекста и ответа но допустим я использую неиросети с контекстом и ответом не мнений 8к и на больших текстах очень чюствуется что модель квантана. Это моё личное мнение.
Отличные тесты спасибо. Всем кто вовлечён в AI разработку интересно. Если сможете протестировать ускорители от Huawei, будет очень интересно.
Спасибо за ролик! Ничё не понятно, но оч круто. Может как-нибудь расскажете про всю эту ИИшную лихорадку для простых смертных? Что я имею ввиду: Использование ИИ в домашних условиях или может для малого/среднего бизнеса. Типа собственный чат-бот для автоматизации службы поддержки компании (Просто первое что пришло в голову). В общем что-то что может быть полезно контент-мейкерам, монтажёрам, граф.дизайнерам, кодерам, 3Dшникам или ещё кому. С удовольствием глянул бы такой ролик от вас
Так а в работе-то оно как? Ну там, рендеринг, симуляции...
Очень интересные тесты, жаль, конечно, что софт сырой и толком ничего и не получилось погонять, но все равно контент уникальный. Ситуация, конечно, сейчас - кто в лес кто по дрова в ИИ ускорении. У этой карты GDDR6, но софт черт-те что. У Хуавея на его Атласах - до 96 гигов, но LPDDR4x, да еще и на два кристалла, что дает и трансфер дает на уровне 200 на кристалл, и там кажется тоже есть приколы с запуском на 2 штуки. Но радует, что работа ведется, в теории если будет гибридная архитектура на каком-нить LPDDR5, то получим весьма приличную железку без конского ценника. Опять же, этот их камм-формат можно было бы утилизировать в таких штуках. Одно понятно - все активно пилится и такое железо будет устаревать и дешеветь быстро.
Тьфу блин, для работы. Я сваливаю)) Но лайк поставил.
могут ли видеокарты теоритически заменить процессоры? в плане герцовка таже а потоков дофига
Можете сделать обзор XPU от Broadcom. На сколько их asic производительнее blackwell на стандартных моделях?
Не теплосъёмная площадка ходит ходуном, а внутри радиатор с испарительной камерой под кожухом, который ты не снял, т.е. показал нам не полный разбор системы охлаждения. Но это уже норма.
А почему в видео сказано что для больших LLM моделей нужны только про карты нвидиа? Несколько RTX 5090 не потянут?
Точно Дмитрий Бачило помогал ;) и не будем говорить на какой банк он работает.
на сырых дровах и все существующие архитектуры сетей люто оптимизированы под навидиа.
Очень надеюсь что стартап взлетит
а рендерить ею что то можно?
Ухты, Келлер всё же допилил до продажного варианта. Я ждал не раньше весны. Софт нейронок не сырой только у Куртки -- он его 10 лет уже целенаправленно пилит и не распыляется на что-то ещё.
Услышал для работы, поставил лайк, пожелал удачи и закрыл видео)
А я уже обрадовался... а там софт ещё им допиливать и допиливать ((
За обзор благодарю!
Спасибо. Действительно не для всех. В любом случае любопытно. Держите в курсе насчёт состояния конкурентов Нвидия. Может рано или поздно что-то станет конкурентноспособным.
ни че не понял, но интересно