- Видео 191
- Просмотров 295 238
Евгений Разинков
Сербия
Добавлен 20 мар 2019
Лекции по машинному обучению и компьютерному зрению от Евгения Разинкова.
Евгений Разинков -- к.ф.-м.н., ко-фаундер и директор по науке компании Pr3vision Technologies, доцент кафедры мат. статистики мехмата КФУ.
Евгений Разинков -- к.ф.-м.н., ко-фаундер и директор по науке компании Pr3vision Technologies, доцент кафедры мат. статистики мехмата КФУ.
Llama 3.1: разбор статьи. Часть 10. Factuality & Steerability
Следующий поток AI-школы: с 18 ноября 2024.
Информация здесь: t.me/razinkov_ai/653
Как это было и как будет:
ruclips.net/user/livev1TRbW0AizI
Информация о лекциях:
razinkov.ai
Телеграм-канал с анонсами лекций и материалами по машинному обучению:
t.me/razinkov_ai
Информация здесь: t.me/razinkov_ai/653
Как это было и как будет:
ruclips.net/user/livev1TRbW0AizI
Информация о лекциях:
razinkov.ai
Телеграм-канал с анонсами лекций и материалами по машинному обучению:
t.me/razinkov_ai
Просмотров: 269
Видео
Оптимистичное послание AI-специалистам
Просмотров 2,8 тыс.Месяц назад
Я долго был пессимистом относительно последнего прогресса в AI. Чувствую, что появляется оптимизм. Хочу поделиться с вами) Следующий поток онлайн-школы по AI: с 18 ноября 2024. Информация здесь: t.me/razinkov_ai/653 Мой маленький телеграм-канал о яхтинге: t.me/captain_razinkov Инстаграм (теперь о яхтинге): evgeny.razinkov Llama 3.1, разбор статьи: ruclips.net/p/PL6-BrcpR2C5QXuCaev...
Llama 3.1: разбор статьи. Часть 9. Long context & Tool use
Просмотров 254Месяц назад
Следующий поток онлайн-школы по AI - ноябрь 2024. Как это было и как будет: ruclips.net/user/livev1TRbW0AizI Информация о лекциях: razinkov.ai Телеграм-канал с анонсами лекций и материалами по машинному обучению: t.me/razinkov_ai
Llama 3.1: разбор статьи. Часть 8. Multilinguality & Reasoning
Просмотров 237Месяц назад
Следующий поток онлайн-школы по AI - ноябрь 2024. Как это было и как будет: ruclips.net/user/livev1TRbW0AizI Разбираем статью "The Llama 3 Herd of Models" (2024) со слушателями нашей AI-школы, разделы Multilinguality & Reasoning Таймкоды: 00:00 Приветствие Плейлист с разбором Llama 3.1: ruclips.net/p/PL6-BrcpR2C5QXuCaev_DJ_o9lqYkAxSmo Все видео плейлиста: 1. Intro & Data mix: ruclips.net/video/...
Llama 3.1: разбор статьи. Часть 7. Capabilities: code generation
Просмотров 296Месяц назад
Разбираем статью "The Llama 3 Herd of Models" (2024) со слушателями нашей AI-школы, раздел Capabilities: code Следующий поток онлайн-школы по AI - ноябрь 2024. Как это было и как будет: ruclips.net/user/livev1TRbW0AizI Таймкоды: 00:00 Приветствие Плейлист с разбором Llama 3.1: ruclips.net/p/PL6-BrcpR2C5QXuCaev_DJ_o9lqYkAxSmo Все видео плейлиста: 1. Intro & Data mix: ruclips.net/video/YoRsqImynU...
Llama 3.1: разбор статьи. Часть 6. Post-training data
Просмотров 513Месяц назад
Разбираем статью "The Llama 3 Herd of Models" (2024) со слушателями нашей AI-школы, раздел 4.2 Post-training Data Следующий поток онлайн-школы по AI - ноябрь 2024. Как это было и как будет: ruclips.net/user/livev1TRbW0AizI Таймкоды: 00:00 Приветствие 00:39 4.1.5 Model Averaging 03:05 4.1.6 Iterative Rounds 10:31 4.2 Post-training Data 11:43 4.2.1 Preference Data 25:23 4.2.2 SFT Data 35:14 4.2.3...
Llama 3.1: разбор статьи. Часть 5. DPO.
Просмотров 3982 месяца назад
Разбираем статью "The Llama 3 Herd of Models" (2024) со слушателями нашей AI-школы, раздел 4.1.4 Direct Preference Optimization. Таймкоды: 00:00 Приветствие 01:37 Direct Preference Optimization Плейлист с разбором Llama 3.1: ruclips.net/p/PL6-BrcpR2C5QXuCaev_DJ_o9lqYkAxSmo Все видео плейлиста: 1. Intro & Data mix: ruclips.net/video/YoRsqImynUE/видео.html 2. Model Architecture & Scaling laws: ru...
Llama 3.1: разбор статьи. Часть 4. Reward modeling & SFT
Просмотров 3522 месяца назад
Разбираем статью "The Llama 3 Herd of Models" (2024) со слушателями нашей AI-школы. Таймкоды: 00:00 Приветствие 01:13 4.1.2 Reward Modeling 34:28 4.1.3 Supervised Finetuning В следующий раз мы начнем с раздела 4.1.4 Direct Preference Optimization Плейлист с разбором Llama 3.1: ruclips.net/p/PL6-BrcpR2C5QXuCaev_DJ_o9lqYkAxSmo Все видео плейлиста: 1. Intro & Data mix: ruclips.net/video/YoRsqImynU...
Llama 3.1: разбор статьи. Часть 3. Pre-training
Просмотров 5062 месяца назад
Разбираем статью "The Llama 3 Herd of Models" (2024) со слушателями нашей AI-школы. Все видео плейлиста: 1. Intro & Data mix: ruclips.net/video/YoRsqImynUE/видео.html 2. Model Architecture & Scaling laws: ruclips.net/video/fR8flHXcvLs/видео.html 3. Pre-training: ruclips.net/video/1Ut-3-Ost0w/видео.html 4. Reward modeling & Supervised Fine-tuning: ruclips.net/video/4aUYhAgW5h4/видео.html 5. DPO:...
Llama 3.1: разбор статьи. Часть 2. Architecture & Scaling laws.
Просмотров 7502 месяца назад
Разбираем статью "The Llama 3 Herd of Models" (2024) со слушателями нашей AI-школы. Предыдущее видео: 1. Intro & Data mix: ruclips.net/video/YoRsqImynUE/видео.html Таймкоды: 00:00 Приветствие 03:54 3.2 Model Architecture 42:35 3.2.1 Scaling Laws Все видео плейлиста: 1. Intro & Data mix: ruclips.net/video/YoRsqImynUE/видео.html 2. Model Architecture & Scaling laws: ruclips.net/video/fR8flHXcvLs/...
Llama 3.1: разбор статьи. Часть 1.Intro & Data mix
Просмотров 2,3 тыс.2 месяца назад
Разбираем статью "The Llama 3 Herd of Models" (2024) со слушателями нашей AI-школы. Следующий поток онлайн-школы по AI: с 18 ноября 2024. Информация здесь: t.me/razinkov_ai/653 Как это было и как будет: ruclips.net/user/livev1TRbW0AizI Таймкоды: 00:00 Приветствие 03:07 Abstract 06:50 1 Introduction 20:30 2 General Overview 32:12 3 Pre-Training 33:07 3.1 Pre-Training Data 35:33 3.1.1 Web Data Cu...
Dropout: универсальный метод регуляризации
Просмотров 7415 месяцев назад
Рассматриваем Dropout как метод регуляризации любых нейронных сетей: от многослойных персептронов, до сверточных нейронных сетей и, конечно, трансформеров. Регистрация на второй поток AI-школы (начало: осень 2024): razinkov.ai/school Информация о лекциях: razinkov.ai Телеграм-канал с анонсами лекций и материалами по машинному обучению: t.me/razinkov_ai
Быстрое обнаружение аномалий на изображениях. Лекция 6 по обнаружению аномалий
Просмотров 70210 месяцев назад
Быстрое обнаружение аномалий на изображениях. Лекция 6 по обнаружению аномалий
Трансформер: training best practices
Просмотров 98610 месяцев назад
Трансформер: training best practices
Обнаружение аномалий на изображениях. Лекция 5 по обнаружению аномалий (2021)
Просмотров 66411 месяцев назад
Обнаружение аномалий на изображениях. Лекция 5 по обнаружению аномалий (2021)
Обнаружение аномалий во временных рядах. Лекция 4 по обнаружению аномалий (2021)
Просмотров 36611 месяцев назад
Обнаружение аномалий во временных рядах. Лекция 4 по обнаружению аномалий (2021)
Temporal Difference, Q-Learning. Лекция 7 по обучению с подкреплением
Просмотров 282Год назад
Temporal Difference, Q-Learning. Лекция 7 по обучению с подкреплением
Monte Carlo Learning. Off-Policy Evaluation and Control. Лекция 6 по обучению с подкреплением.
Просмотров 227Год назад
Monte Carlo Learning. Off-Policy Evaluation and Control. Лекция 6 по обучению с подкреплением.
Евгений Разинков. Лекция 1 по машинному обучению. Введение. (2023)
Просмотров 2,7 тыс.Год назад
Евгений Разинков. Лекция 1 по машинному обучению. Введение. (2023)
Методы Монте-Карло. Контроль: On-Policy. Лекция 5 по обучению с подкреплением
Просмотров 475Год назад
Методы Монте-Карло. Контроль: On-Policy. Лекция 5 по обучению с подкреплением
Последние тренды в машинном обучении (и как мы к этому пришли). От AlexNet до DALL-E 2 и ChatGPT.
Просмотров 2,5 тыс.Год назад
Последние тренды в машинном обучении (и как мы к этому пришли). От AlexNet до DALL-E 2 и ChatGPT.
Self-Supervised Learning. Часть 1. Лекция 5 по Advanced Computer Vision
Просмотров 549Год назад
Self-Supervised Learning. Часть 1. Лекция 5 по Advanced Computer Vision
Метод Монте-Карло: оценка политики. Лекция 4 по обучению с подкреплением
Просмотров 464Год назад
Метод Монте-Карло: оценка политики. Лекция 4 по обучению с подкреплением
Вредоносные примеры в компьютерном зрении. Лекция 4 по Advanced Computer Vision
Просмотров 403Год назад
Вредоносные примеры в компьютерном зрении. Лекция 4 по Advanced Computer Vision
BERT - универсальный инструмент NLP. Лекция 6 по обработке естественного языка.
Просмотров 1,6 тыс.Год назад
BERT - универсальный инструмент NLP. Лекция 6 по обработке естественного языка.
Генеративно-состязательные сети: GANs. Лекция 3 по Advanced Computer Vision.
Просмотров 778Год назад
Генеративно-состязательные сети: GANs. Лекция 3 по Advanced Computer Vision.
Поиск оптимальной политики в марковском процессе принятия решений. Лекция 3 по RL.
Просмотров 607Год назад
Поиск оптимальной политики в марковском процессе принятия решений. Лекция 3 по RL.
Трансформер, часть 2. Архитектура. Лекция 5 по NLP
Просмотров 992Год назад
Трансформер, часть 2. Архитектура. Лекция 5 по NLP
Марковский процесс принятия решений. Лекция 2 по обучению с подкреплением
Просмотров 8562 года назад
Марковский процесс принятия решений. Лекция 2 по обучению с подкреплением
Распознавание текста. Обратное распространение через CTC Loss. Лекция 2 по Advanced Computer Vision.
Просмотров 8552 года назад
Распознавание текста. Обратное распространение через CTC Loss. Лекция 2 по Advanced Computer Vision.
Прежде, чем вещать, сам бы разобрался
Видно, что парень еще сам совсем не разобрался... Дизлайк
Потрясающие лекции и безумно красивая математика - как из довольно неприятной формулы выходит вполне себе понятная и красивая loss function. Спасибо, Евгений!
Спасибо большое за лестный отзыв!
Былр бы интересно послушать другие глубокие лекции на тему классического cv: shape analysis, texture analysis, eigen analysis, orb, image moments. Есть еще области где глубокие модели беспомощны.
Шикарное объяснение этой темы
Спасибо огромно за курс!!!!!
Что плохого в batchnorm? Я активно им пользуюсь, частенько помогает.
Приветствую, Учитель. Интерес у аудитории к тематике есть. Спасибо за контент!
Спасибо, что смотрите!
Спасибо за вебинары. Забрел сюда случайно, еще на первую сессию и дотянул то нынешнего момента)) Вопрос относительно галлюцинаций. Я понимаю, что таким образом, как описано в статье, мы можем найти области, где модель любит галлюцинировать. Но по описанию не совсем понял, что мы делаем далее, чтобы уменьшить этот эффект?
Мы определяем промпты, где модель галлюцинирует и через SFT обучаем ее вежливо отказываться отвечать.
Не понятно как на этапе тестирования они после замены слоев подобрали веса на новых слоях. По идее их надо тоже обучать, тогда это надо сделать на этапе обучения.
И не понятно почему сразу не обучить полносверточную версию vgg. Кажется что выкидывание линейных слрев это как выкинуть коныету и оставить фантик. Там куча связей, которые требовали много вычислений. А потом мы посто выкидываем их.
Спасибо за топ контент! Буду рад послушать про мультимодальность, тема тоже интересная.
Господи, где вам поставить памятник?)) Наконец-то все четко по полочкам разложено
Спасибо большое, очень приятно🤎
Благодарю, Евгений! Галлюцинации - важная тема. Думаю, что в последующих поколениях моделей найдут ещё способы, как с ними бороться, помимо фаинтьюнинга.
Спасибо, Ирина, что не сдаетесь)
круто, спасибо за разбор
Semantic deduplication напомнил NMS в object detection, только сравниваем не по IoU, а по CosSim
Нравится Ваша ассоциация)
Курсор там, где нужно)
Супер видео, очень рад, что есть такие выпуски! Наверное всё-таки mOdeling, а не modEling
Да, Вы правы, mOdeling) Спасибо)
Ну, а как момент с границами на AGI перенести?.. да, даже хотя бы proto-AGI...
Какое же крутое объяснение. Спасибо большое ❤❤❤
Очень рад, что объяснение понравилось)
Разбор по взрослому! Только факты! Спасибо за труд и прошу продолжайте Ваше творчество! Очень сильно помогает понять материал.
Так а чему учиться? Что и на что переучивать? Было бы интересно посмотреть такой ролик, спасибо👍👍👍👍
Попробую сделать и такое видео)
@@razinkov супер, с удовольствием купил бы такой обновленный курс😉
Папа периодически высказывал пессимистические мысли по поводу того, что искусственный интеллект отберёт рабочее места. Он устанавливал телефонные станции раньше. И я привела ему такой пример: если не будет хватать рабочих мест, то давайте просто отключим все телефонные станции и поставим опять телефонисток. Он согласился, что прогресс - это хорошо, и его просто нужно учитывать. По-моему самое слабое место у человечества сейчас - это образование, которое отбивает у детей стремление к учёбе (посмотрите как стремятся дети первый раз в первый класс, и с каким нежеланием идут во второй) и так мы получаем взрослых, которые боятся и не хотят переучиваться на новые специальности.
Честно говоря, у меня нет никаких идей, как сейчас должна быть выстроена система образования)
Одно из моих любимых выступлений на TED: ruclips.net/video/y3jYVe1RGaU/видео.htmlsi=tobFZT5bfvoWFi9N
так это все прогрев)
я только курс закончил на скилбоксе по нейросетям...опять переучиваться надо... меня это достало, возвращаюсь в продажи, они никогда не умрут
аналогия про электричество, кстати, в точку не забывайте, что помимо того что в розетке оно "уже готовое", повышение эффективности аккумуляторов это ключевая задача, от которой зависит весь Hi-Tech первой половины XXI века и накакой инженер-электронщик или даже продвинутый радиолюбитель не обходится без изучения основ физики электромагнетизма, хотя бы ради профессиональной интуиции впрочем это уже неоднократно пройденная история: "профессиональный пессимизм" фонарщиков конца XIX века был объективно обусловлен, но, кажется, спустя век мы имеем число электриков и энергетиков на порядки превосходящее тех самых фонарщиков (хотя как бы и да, действительно больше никто не изобретает динамомашины для личного пользования)
Стадия отрицания
Очень Глубокая мысль про расширение границ... Это результат каждой революции , как только будет прорыв, то затем идёт экспоненциальный рост задач, особенно на первом этапе
Границы расширялись потому, что человеческие когниции всегда имели на порядки больше степеней свободы и охвата, чем любой механизм. Тех. сингулярность в этом плане "съедает" этот момент, а мы сейчас уже подлетаем к её аккреационному диску.... впервые в истории. Проще говоря, настанет момент, когда человеку уже нечего будет привнести от себя в управление тех. процессами и он не будет нужен, чтобы хоть чем-то "рулить".
тренироваться и тренироваться в публичных выступлениях
наоборот, для интеллектуальных тем лучше именно так - натурально и в режиме реального времени, без какой-то постановки.
А вот мне понравилось. Душевный разговор, как будто с другом пообщался
Если разбираешься в ML, то понимаешь, что всё ОК, никакие искусственные нейронки никогда не заменят реальный мозг человека. Если конечно нейронок не будут воспитывать как людей, с рождения и на протяжении всей жизни. У меня есть идея собрать глубокую архитектуру и передать её каким-нибудь "маме" и "папе", чтобы они обучали её ходить, говорить, совершать ошибки и исправлять их, рисовать фломастерами на обоях, объяснять что такое хорошо и что такое плохо итд. Тут скорее вопрос в том какая это должна быть архитектура (безусловно это должна быть смесь из reinforcement и classification, возможно что-то ещё) и самое главное какие вычислительные мощности нужны для этого, ведь там будут, вероятно триллионы фич. P.S. Меня всё больше пугает скорость разработок ультралайтиксов... Я ещё YOLO 8 нормально не пощупал, а на днях вышла YOLO 11. Так и хочется сказать "Горшочек, не вари ! Я не вывожу" )) P.P.S. тоже иногда приходят мысли о яхтинге, есть в Москве пара мест, где можно поучиться. Правда сейчас осень в разгаре и погода не слишком благоволит
... "у самурая нет цели, есть только путь"
@@ostrov11 Сейчас в ML реально так
искусственные нейронки могут заменить десятки и сотни "частей" и ролей человека.. Не нужна человекоподобная нейросеть - нужны тысячи, миллионы, миллиарды узкоспециализированных....
@@Anton_Sh. Один из вариантов.
@@Yetishkin_Pistolet при этом варианте человек очень быстро станет не нужен для производства любых благ. Человек со своим мозгом останется нужен только самому себе как самоценный контейнер сознания.
Офигеть, картинка просто огонь! А мы с Настей баристой и думаем, куда Евгений запропастился, давно не было видно. Теперь понятно.
... ха ха, так это было ожидаемо, что "попсовый сегмент" в который могут методом тыка "вайтивайти из охранника пятерочки", автоматизируют грубой силой, что бы не кормить лишних "специалистов", а в "прикладной части" например на FPGA эти "супер модели" не повлияли никаким образом.
Да скорей бы уже ИИ захватил мир, нет сил все это дерьмо терпеть.
Почему Разинков выглядит как сгенерированное видео
Просто AI нас захватил и это пропаганда чтобы мы не опомнились
или сгенерированный фон
Я не AI-специалист, но насколько могу судить по темпам развития ИИ-технологий и отзывам специалистов, есть немалая вероятность появления в ближайшие годы AGI (в смысле ИИ, способного заменить человека средних способностей на любом интеллектуальном поприще) и, спустя еще какое-то время, условного ASI (ИИ, который превосходит любого человека в отдельности и даже человечество в целом). Если это произойдет, то не вполне понятно каким образом ИИ останется инструментом для задач, придуманных людьми. Если считать возможным появление AGI/ASI в обозримом будущем, то они по определению заменят человека. Который наконец избавится от трудовой повинности (её скорее всего заменит система социального рейтинга), будет получать ББД (вокруг распределения которого между людьми и странами будут идти отдельные войны) и начнет заниматься любимым делом (будь то тщетное, но с пользой для своего ума, соревнование с ИИ в науке и творчестве, или саморазрушительное безделье). Можно попробовать угадать перспективные направления в ближайшие пять лет - например, последовать совету Дженсена Хуанга и пойти в биологию (изобретение чудодейственных лекарств с вакцинами, нейроинтерфейс). А еще в химию (новые материалы), физику (новая энергетика)... А на какую специальность учиться в более долгосрочной перспективе - в случае, если нет особых личных предпочтений? Пока на ум приходит только что-нибудь связанное с физическим и трудно автоматизированным трудом, поскольку робототехника будет неизбежно отставать от софта, и будущий безработный выиграет для себя еще несколько лишних лет.
Я думаю что когда оно достигнет уровня человека, то будет потреблять столько энергии что дешевле будет нанять человека. Ведь мозг по энергоэффективности сильно обходит железяки которые придумал человек. В массовом сегменте не заменит людей
@@32zim32 Прогресс не стоит на месте: 1) Gemma 2 (июль 2024) с 2 млрд параметров превосходит GPT-3.5 (март 2022) со 175 млрд параметров 2) Новые архитектуры софта - например, Entropix, которая якобы позволит прикрутить reasoning к маленьким, локальным моделям. Может конкретно эта технология пшик, но над чем-то подобным усиленно трудятся 3) Новые архитектуры железа - нейроморфные процессоры теоретически сулят рост производительности в тысячи раз. Причем современные процессоры (например, ГПУ Nvidia или ТПУ Google) проектируются с участием ИИ, поэтому прогресс в области ИИ подстегивает прогресс в области компьютерного железа.
@@32zim32 задействуют органические нейронные сети, искусственно выращенные. Уже это делают успешно.
@@32zim32 кстати - да, при спорах народ часто упускает, сколько этот ИИ уже жрет энергии. А этот AGI/ASI будет жрать катастрофически много. Кроме того, чтобы обучить огромную модель, нужно огромное количество данных. Есть ли столько в доступе у человечества, это еще вопрос
Круто! Очень жизнеутверждающе! Приятно, что твой вектор скорректировался именно в позитивном направлении. И да llm это те же стремянки, которые делают ранее недоступные плоды доступными. У меня есть большая надежда, что в конце концов именно llm займутся формированием правильного датасета для "взращивания" людей. Вместо жутко рандомно датасета, который делает из удивительного творения природы, жертву маркетинга, потребительское животное, обитателей диванов, отжимателей чужих территорий, реализатора всяких бессмысленных хотелок. Очень воодушевляет, что ты пришёл к выводу, что это не конец, а именно грандиозное начало. Очень приятно будет вместе с тобой двигаться в этом направлении. Спасибо тебе, за то, что ты есть). И за то, что ты делишься своими мыслями и знаниями . Удачи нам всем.
Согласимся, симпатично)
Вовремя и точно. Картинка правда прикольная
Спасибо большое за курс! Очень нравится, что все сопровождается простыми, но понятными примерами, а не просто формулами) Это позволяет не просто *выучить*, а *понять* строение нейронок
1:14:15 😂
Классный разбор статьи
Спасибо!
29:16 Василий легенда
Спасибо, Евгений, очень полезно.
Спасибо за видео
Спасибо, что выпускаете видео
Огонь!!!!
Спасибо, очень информативно!
Это не совсем обучение, можно сказать вовсе не обучение. Нейронку пичкают связками вопрос ответ, а она уже с учетом правил орфографии выдает ответы на вопросы. Сегодняшняя нейронка это набор ссылок на ранее выбранные ответы Я считаю что обучение должно происходить самостоятельно без вмешательств человека в процесс. К примеру белка в лесу прыгает не от того что в нее запрограммировали как прыгать и куда, а посредством самообучения.
Не соглашусь)
Догниваем 😂😂😂
RoBERTa обучалась вроде только на MLM и CLS специально не использовался, так что он не обучен на получение вектора всего предложения. Так что скорее они получали общий вектор не через CLS.
Вы правы, спасибо. Тогда возможный вариант: усреднение полученных из RoBERTa векторных представлений для всех токенов предложения.
Благодарю! И про сейфти, и про мультимодальность было бы интересно послушать ;)