Видео

Руслан, в очередной раз спасибо за то, что делишься столь полезной практической информацией! Если есть возможность, то расскажи насколько глубоко зашита цензура в llama 3 и насколько сложно изменить ее зацензуренный ответ на дообучении. Также еще хотелось бы увидеть промпты, которые во время бенчмарка были оценены низко, то есть GPT4 считает, что твоя модель не справилась с ответом. Это поможет понять слабые темы модели. А еще, возвращаясь к цензуре, у самой GPT4 хватает табуированных тем и она может ставить 1, даже если твоя модель ответила верно. Потом, если спросить GPT4, почему она оценила ответ на 1, то она скажет, что вообще на этот вопрос (по ее мнению) ответа давать нельзя, потому и 1. А это может снижать общую оценку бенчмарка из-за того, что сам арбитр весьма такой себе.

а можно видео фантюна на каком нибудь кондовом железе, типа связки двух 3090 или 3 ох P40

Про файнтюнинг нейронок для картинок будет? Там как раз SD3 вышла.

Молодец, хороший контент

привет, hi, it's not clear. This is probably an advertisement for those in the know.нихера непонятно. Наверно это реклама или что?

@pavelsavelev880 Напишу как собственник и бизнесмен (и родитель, обучающий СВОИХ детей, а не чужих). Когда Coplot подсказывает программисту продолжение кода, он использует не код Microsoft (это табу и жлобство), а код, ранее написанный другими (глупыми) программистами. Создалась среда "бес-собственности" (бессовестности), которая уже погубила души программистов и программирование. За программистов код пишет (точнее, использует ранее написанный чужой код) ChatGPT, а программисты выдают код за свой (и получают денежки от глупого Заказчика). Это временно и это чувствуют уже все, и боятся. По динамике последней сотни лет в 2060 году исчезнет последний работник, производящий материальные ценности. Уже сегодня 2/3 трудоспособного населения оказывают друг другу услуги (типа массажа и написания кода). Деньги, прибыль потеряли всякий экономический смысл (цены в магазинах назначаются политически).

С нетерпением ждём следующее видео!

Просто супер! Посмотрел с огромным удовольствием!

спасибо

спасибо. это нужное видео

Привет 👋 было бы круто если бы она в конце ответа не как обычно говорила бы чем ещё помочь а сначала бы предложила свой собственный вопрос для продления темы которая рассказывала только что, что бы вопрос её был на столько интересным от которого не возможно было-бы удержатся и сказать ей , да я хочу знать ответ на этот вопрос , тем самым она могла бы затягивать общение все глубже и обширней в той теме которая началась из начально !)

Старательный парнишка, странный контент. Чего мы своего разработали так и не ясно. Это называется нерелевантный заголовок

хорошее видео, спасибо

было бы супер, до обучить Llama3 русскому. вы ее потом выбросите в отрытый доступ после до обучения?

1:21

расскажите пожалуйста как в LLM на вход подавать картинки и звук, чтоб обучать её на этом датасете...

спасибо, полезное видео

Главная фишка 4o в том что она быстро работает с голосом и картинками. Что бы обучить аналог GPT-4o одного только текста не достаточно. Нужен ещё дата-сет с аудио и видео (картинками). Естественно для этого понадобится работать с мультимодальной моделью типа Reka Core. Так что тема ролика в твоём видео не раскрыта.

Что значит "свой"? То есть мы обучаем GPT, но работаем на дядю. А он даже спасибо не скажет.

Как хорошо что ты делаешь тавие ролики.

Да это интересно. Спасибо за Вашу работу.

Спасибо. Есть ли команда чтобы приостановить файнтюнинг, сохранить состояние модели, а затем команда чтобы продолжить файнтюнинг с места остановки?

прегонишь в gguf llama-3-8b-samantha модель?

эта модель запустится на 3080ti 32г оперативы или не хватит? у меня есть 64г но нет свободных слотов в материнке(

Ну надо пробовать что получилось

Что Вы знаете о rugtp? Есть смысл смотреть в её сторону или лучше взять lama3 и попробовать дообучить на русском датасете? Было бы интересно узнать, как создать самому датасет в рамках какого-то домена знаний? Например, взяв литературу по определённой тематике.

Может скинемся денюжкой на обучение? А после уже получим результат для общественности?

дождались!😁спасибо!

Спасибо за видео! Стали примерно понятны время и бюджеты, необходимых для дообучения таких больших моделей как 70B. Что касается метрик, то хотелось бы подробнее узнать про эти самые метрики, по которым сравниваются LLM и строятся всяческие топы моделей, например на Huggingface. Потому что по определенным бенчмаркам в топе зачастую вижу малоизвестные открытые модели (чаще всего дообученная llama), которые вроде там заявляются чуть ли не на уровне ChatGPT 4. В реальных же задачах (например, генерация кода) они обычно ничего выдающегося не показывают и сильно отстают от пресловутого ChatGPT. То есть по факту, возможно, идет подгон под бенчмарк. Поэтому интересна сама природа этих метрик: что и как измеряют самые популярные из них и насколько им следует, на твой взгляд, доверять.

Добрый день а вашу модель можно скачать и потестить на мак ос в ml studio?

Очень годный контент спасибо.

Спасибо! Очень интересно и весьма наглядно.

Вышла новая часть - Файнтюнинг и квантизация Llama-3-70B ruclips.net/video/ML4M1UQHxbU/видео.html Я обучил самую большую пока Ламу на мультиязычном датасете, и она начала следовать инструкциям на русском. А также я показал процесс квантизации модели с сохранением в формат gguf.

Что за ужасный микрофон.

Всё интересно, квантизация тоже, но также интересует дообучение модели и практические рекомендации по сбору хорошего датасета для русского языка

Руслан, спасибо за твои видео!!!

Да, было бы интересно. Так же было бы интересно стоимости на подобные обучения. и цены на развертывание обученных моделей. к примеру Llama3 8B и Llama3 70B в какую сумму влетит если развернуть на данном сервисе? Заранее спасибо!

Можешь показать, как сделать автономный, эффективный переводчик (чем больше языков, тем лучше, но для начала русский- английский хватило бы)? Какую модель лучше использовать и как?

Я экспериментировал с Llama 3 7b Q8 на Llama.cpp, так и она и Gemma Q8 болеют словоблудием и после правильного ответа начинают рассказывать всякую дичь или повторяют одно и то же. Иногда даже дополняют мой вопрос своими домыслами и на это уже пытаются ответить, но эта проблема исчезает в интерактивном режиме. И так же эта проблема не актуальна в GPT4ALL. Я думаю, что это можно как-то устранить с помощью правильного подбора параметров --temp и --чего-то-там-repeat

Первое предложение автору. Если тебе не хватает денег на те или иные эксперименты, то предлагаю делать краудфандинг. Можно прям тут на ютубе - типа хотите посмотреть на файн-тюнинг и квантизацию llama 3 70b - скидывайте бабосы

Да. Очень интересно! Продолжи пожалуйста по квантизацию и создание gguf

Мужик спасибо. Давно хотел что-то подобное 🔥

да хотим увидеть квантилизацию

Интересно, продолжай в том же духе 👍

Квантизацию модели с последующей конвертацией в GGUF поддерживаю.

Было бы интересно получить инструкцию по дообучения на своих данных. Например у меня есть excel таблица с данными, скормили эту таблицу LLM, а она после отвечает по таблице. Такое возможно?