QLoRA: обучал нейросеть 20 ЧАСОВ В GOOGLE COLAB на РУССКОМ ДАТАСЕТЕ. Впечатляет

🔔 Сначала подпишись: youtube.com/@ruslandev/?sub_c...
Опенсорсные ИИ модели уже освоили русский. И любой может обучить свою модель на дешевом GPU и даже в Google Colab!
Telegram: t.me/ruslandevlive
Discord: / discord
QLoRA: github.com/artidoro/qlora
Гуанако (демо): huggingface.co/spaces/uwnlp/g...

[@DrSergeyKibalnikov]

QLoRA: обучал нейросеть 20 ЧАСОВ В GOOGLE COLAB на РУССКОМ ДАТАСЕТЕ. Впечатляет
00:00:00 Обучение чат-бота на домашнем компьютере
• Автор рассказывает о возможности обучения чат-бота на домашнем компьютере с использованием Google Colab и графического процессора.
• Ранее это было невозможно из-за необходимости больших вычислительных мощностей и использования шестнадцатибитных типов данных.
00:01:08 Метод обучения "Кьюлора"
• Кьюлора - эффективный подход для файн-тюнинга, который позволяет обучать модель на небольшом наборе данных, сохраняя качество.
• Кьюлора уменьшает потребление памяти и использует четырехбитные типы данных для хранения весов и параметров модели.
00:03:42 Результаты обучения
• Автор демонстрирует результаты обучения модели "Гуанако" на русскоязычном датасете.
• Несмотря на то, что модель не знает русский язык, она начинает осваивать его и генерировать осмысленные ответы.
00:08:08 Преимущества метода "Кьюлора"
• Кьюлора позволяет обучать модели с большим количеством параметров на домашнем компьютере.
• При небольшом количестве, но подходящем качестве данных, можно добиться лучших результатов.

[@AlexAlex-ei7zf]

Шалом, чувак! Тема очень интересная и полезная. Спасибо. Добра Тебе и позитива

[@strategy_love]

Огонь, Спасибо! Очень интересно. Оставляю коммент)

[@vasilylukichev-pp4sh]

Спасибо,здорово👍

[@Artem36]

Очень классная тема

[@leoniddzhabiev]

хорошее видео, спасибо

[@achmedzhanov_nail]

Какие вы используете инструменты для автоматической оценки качества llm? Делать это в ручную каждый раз не очень эффективно

[@Rokinso]

Мне нравится голос! Такой аристокрктический. 🤵

[@achmedzhanov_nail]

А будет сравнение результата обучения на yandex q и на втором датасэте?

[@wildberris4832]

Спасибо, а можно консультацию купить у Вас и сколько стоить будет?

[@ruslandev]

Заходите в телеграм по ссылке под видео, спрашивайте бесплатно. Отвечу когда смогу

[@cybertruck_cmd]

а как сохранить дообученную модель?

[@tumikosha]

так а за коллаб платить пришлось или нет? во сколько денег встало обучение?

[@ruslandev]

Только за подписку pro+, она даёт больше памяти и доступ к премиум GPU. Стоила 50 долларов в месяц

[@user-xo1yo6hi3u]

+

[@vosatorp]

Имеет ли смысл файнтюнить через open-source модели, или лучше не париться и сделаьт finetune через OpenAI API?

[@ruslandev]

файнтюнинг OpenAI не пробовал. Разница думаю в том что при файнтюнинге открытой модели есть полный доступ к весам

[@vosatorp]

Где можно найит ссылку на google colab?

[@ruslandev]

Я начал с вот этого колаба - colab.research.google.com/drive/1VoYNfYDKcKRQRor98Zbf2-9VQTtGJ24k?usp=sharing и дальше модифицировал под свою модель

[@vosatorp]

Звук подлагивает немного, из-за чего так?

[@DenShustrik]

При монтаже происходит нежелательное наложение звука при переходах.

[@I-love-GO-and-PHP]

Что за ужасный микрофон.