Видео

А ви в своїй практиці тренування ai моделей не використовуєте NVIDIA TensorRT?

Виталий, тогда еще вопрос. Мы увидели на тестах, что есть серьезная разница в производительности в случае использования нескольких карт на локальном компьютере. Возможно узкое место в скорости обмена данными между ними или алгоритмах распараллеливания. С одной картой всё ясно приоритет 4090 или 3090ti, но возможно для нескольких карт был бы оптимальным вариант с несколькими 4000 с 16 Гб (с учетом цены)? Есть ли у вас возможность взять на время такие карты и провести тесты на вашем 5 карточном серевере? Спс.

По цене 1 RTX4090 можно взять 4 RTX4060ti с 16 гб это будет 64 гб против 24. В топовых видюхах для нейронок нет смысла.

Приветствую. А есть возможность удешевить сборку, использую китайские Зеоны? Есть ли варианты с Зеонами и серверными МБ с 5+ слотами PCI-Express 3, 4? Спасибо.

Видел несколько тестов, где 3090ti опережала 4090 в задачах ИИ (к сожалению не смог найтииссылки). Что можете сказать о производительности вышеисследованных карт в варианте одной карты в компьютере?

куча P106-100 (10xx серия) не пойдет? У них ФЛОПСЫ только в формате FP32 рабочие, FP16 уже на пару порядков меньше, а тензорных ядер вообще нет. эхх, такой халявный план сорвался) Кстати, виталий, а тензорные участвуют в работе? Как их количество и поколение влияет на обучение, или работе с LLM, и вообще снейронками (просто цифровыми, например)?

Что такое vps и зачем он нужен ? Мол vps + vpn wireguard и можно смотреть RUclips без ограничений? А если использовать платный vpn, то могут заблокировать? Короче я вообще нифига не понимаю, помогите.

Super! Nice!

А как устанавливать доп пакеты на удаленный интерпретатор? pip install ___?

Подскажите пожалуйста, я запускаю llama 3.1:70b на конфиге 64гб озу + 4070ti super (16гб). Модель занимает 40гб озу и 16 видеопамяти. Работает достаточно медленно. Вопрос - она ведь использует все веса для генерации ответов, или только те, что поместились в видеопамять? Правильно ли я понимаю, что она использует частично видеокарту и частично процессор+озу?

Маловероятно, но вдруг. Райзеры бывают pci express 3.0 и 4.0. Убедитесь что ваш поддерживает 4 поколение. Простой способ проверить - скачать gpu-z

Планирую собрать HPC кластер с 10ю картами Tesla k80, суммарно будет 240гб видео памяти, подскажите , не упускаю ли я что-то?

День добрый Виталий. Как с вами связаться? Я, к сожалению не программист, но активно использую AI Cloud 3.5 Sonnet для создания скриптов параметрических моделей геометрических объектов. Основная проблема работы с Cloud - я не имею возможность её обучать, у меня очень узкий спектр задач касающийся конкретных SDK и API и Cloud с ними глубоко, как я вижу, не знаком, а загрузить в него все эти знания из свободного доступа я не могу. Я пересмотрел ваши видео с Llama и так понимаю, что эту модель можно установить у себя на сервере и обучить своим конкретным задачам. Но я с этим не справлюсь, у меня совсем другая специальность. Не могли бы вы на коммерческой основе мне в этом помочь? Или может подскажете к кому обратится с подобной просьбой - обучить модель под мои задачи и помочь её правильно разместить. При очень не большом круге задач возможно модель может работать на локальном компьютере?

Хочу научиться дообучать/тренировать llm. Посоветуйте нормальные ресурсы или курсы для этого всего. Чтобы от начала и до конечной настройки. Есть возможность на старте взять rtx 3090 или rtx 4080 super. Какая лучше подойдет для этих дел? Скажем для llama 3.2 11b или gemma 2 27b. Можно ли дообучать llm после квантизации? Спасибо.

Колобок-каннибал и корзинка пирожков.

Что покупать и сколько стоит - понятно. А где покупать? И что бы с гарантией.

Интересен опыт работы в stable diffusion на северных видеокартах, типа теслы. Сейчас их достаточно много в бу продаже. Стоит ли пробовать участвовать в этом, или это будет только потраченные в пустую финансы и время?! 😅

Спасибо за обзор! Вчера купил, сегодня достал, ужаснулся от объемов и толщины инструкции и пока отставил в сторону))) Порадовало: сначала сделаем, потом будем инструкцию читать)) наш человек👍👍👍

Что лучше - 2 штуки 3070 или просто CPU с 64 ГБ RAM?

threadripper amd по линиям и по пропускной способности хорошо себя показывает и у него хватает линий если ставить 5 карт на одну систему.

Стоит ли собирать на 3080 ti 12gb? Pci x16 обязательно? Или можно меньше и на что оно повлияет.

Спасибо. Было интересно.

Спасибо за ролик. Арендовал у них оборудование-всё отлично. Прошу помочь советом. Я запускаю уних в среде Windows CoboldCPP на сборке 4х3090 модель 70B квантованную. Скорость при этом 0.5-0.8 токена/сек. Я всю голову сломал-почему такая низкая скорость? Если запускаю маленькую модель на одной 3090 то всё летает.

Дружище, только сервер не для искусственного интеллекта, а для нейросетей. Интеллектом там не пахнет пока.

Виталий, спасибо! С удовольствием смотрю ваши видео! Нравится что очень качественный контент даете. Можете практический пример с 1с разобрать в видео? Тема очень интересная и думаю будет крайне полезная для огромного числа компаний у которых учет на 1с построен.

Оперативку процессора я понимаю Но видио тут причем

Объясните мне тупому Почему текстовый чат Использует видио память Что за бред!

Очень интересно Зачем чтобы печатать текст Нужна видио память Хрень какая то Короче майнинг То есть на вас майнят ( токены) А вы еще и платите

Виталий, спасибо за ролик! Сможете показать пример кода на питоне для описанной в примере задачи? Было бы очень интересно! Кстати, отмечу что, в сравнении с предыдущими роликами, есть субьективное ощущение, что этот ролик вышел чуть затянутым

Сервер ваш, вы его самостоятельно подняли, какова гарантия что не ведутся логи?

Доброго, что значит раздача торентов, это когда торент скачался, полоса загрузки зелёная и написано раздача, тоесть после закрузки торент надо удалять из торентклиента?

Ваш домашний сервер уступал, наверное, потому, что в прошлом видео вы сказали о фиксации энергопотребления видеокарт на уровне 350ВТ. Это, конечно же, снижает их эффективность

Интерессно! Думал вы про RAG system (Красно-Жёлто-Зелёную систему) RAG stands for Red, Amber, and Green, and is a color-coded system used in project management

А подскажите, есть ли смысл собрать двухпроцессорную систему на зионах совсем без видеокарты, зато ОЗУ напихать от души, скажем 256 гб? Понимаю, что генерация токенов на цпу довольно медленная, но зато в 256гб озу влезут даже очень жирные модельки, а не только 3 Лама. Или там эту память запараллелить, типа 256 по планкам, в системе 64 гб, зато быстро. По моему еще не родили видеокарту на такое количество ОЗУ, а если и будет, то стоить будет как Боинг. Китайские матеря с зионами на кучу ядер неплохо себя показывают. Не у всех есть бюджет на видеокарты, а подобная система может не только Llm запускать, но и банально работать с видео и данными. У меня есть два 3060, на маленьких модельках они хороши, но лама 3 уже нет. По меньшей мере без квантизации, а с квантизацией она гонит пургу.

Если данных много и они мало изменчивы/статичны, то кажется что переодический файнтюн будет лучше RAG (если не нужна именно справочная система). Например с помощью qlora. Верны ли мои рассуждения на этот счет? В любом случае был бы рад увидеть ролик с примером дообучения на своих данных

Спасибо за ролик! Можете ли вы порекомендовать какие-нибудь готовые RAG системы для домашнего использования? Ну которым можно скормить например свой обсидиан волт либо репозиторий с кодом и она сама по ним сделает эмбеддинги и поможет потом с формированием финального запроса в ллм (либо даже отправит его куда настроишь)?

в любом случае спасибо от души! было бы шикарно не большой пример создания RAG. прям вот топ топов был бы. по этой теме информации очень мало..

Виталий, расскажите как зафайнтюнить лламу 2b до чатгпт омни на обычном инженерном калькуляторе?

Добрый день. В названии видео упоминается 1С. Как это относится к сути содержания вашего видео?

Мм а подойдет ли какой нибудь мини пк для сервера ? У меня на примете мнини пк: Ninkear Мини-ПК T9 Plus RU (Intel Processor N100, RAM 16 ГБ, SSD 512 ГБ, Intel UHD Graphics, Windows). На нём выйдет обучить нейросетку в контексте прдеполагаемых задач ? И у вас есть на канале видео где вы показываите как обучать нейросетку ?

заказал 3060 на 12 гб. Буду учится)) очень интересно это тема и очень вдохновляет. Спасибо за ваш канал!!! Сил и Энергии и Лайк!!

Виталий, спасибо за вашу работу! Подскажите, пожалуйста, на ваш взгляд, какая опенсорсная модель лучше всего знает русский язык (и LLM, и какую лучше модель использовать для получения эмбедингов)?

Виталий добрый день! Может вы подскажете можно ли повысить качество Embedding если вместо текстовых документов подавать OWL онтологии? Или всё же RAG технология лучше работает с обычными текстовыми описаниями?

Добрый день. Немного не по теме. Виталий, не знаете ли, как можно получить модель LLaMA 3.2 90b?

Насколько виртуальные сервера медленнее VDS ?

Плешивый долбоеб, может ты с нормальной скоростью будешь говорить?! Нифига же не понятно...

так,, а теперь делаешь ролик где рассказываешь сколько ФПС данная штука делает в Киберпанке ... (неважно ничего, главное название ролика.. ) и увидишь сколько хайпа набереш

Марк Цукерберг и его компания Meta столкнулись с несколькими значительными скандалами: 1. Утечка данных Cambridge Analytica: В 2018 году выяснилось, что данные миллионов пользователей Facebook были неправомерно использованы для политической рекламы. 2. Распространение дезинформации: Meta подвергалась критике за недостаточную борьбу с дезинформацией, особенно во время выборов. 3. Проблемы с конфиденциальностью: Постоянные вопросы о сборе и использовании пользовательских данных вызывали обеспокоенность у пользователей и регуляторов.

Что скажете о серверной Тесла NVIDIA P40 24G? Я считаю что она будет более эфективна чем карты для гейминга.

Наши китайские друзья распаивают на 4090 еще 24гига, шьют какой то своей прошей и получают 4090 на 48гб vram, чип 4090 довольно шустрый, но вот для ллмок памяти ей конечно нахватает (хитрая Nvidia так делает чтоб брали профессиональные карты за многого денег)