Как обучить нейронную сеть?
HTML-код
- Опубликовано: 17 янв 2020
- Как обучить нейронную сеть? Что такое Loss, Градиентный Спуск и Backpropagation? Узнайте в этом видео!
Нейронные сети обучаются с помощью метода обучения с учителем (обучение на прецедентах, Supervised Learning). Для обучения нейросети нам понадобится обучающая выборка (набор данных, датасет), состоящая из пар [входной объект, известный правильный ответ].
Неявная задача нейронной сети - научиться обобщать, искать закономерности в данных. В противном случае будет переобучение (overfitting).
У сети есть обучаемые параметры (веса) и гиперпараметры, которые не обучаются (например, количество слоёв, количество нейронов и т. д.).
Введём понятие функция потерь (функция ошибок, Loss функция), которая характеризует то, как сильно нейронная сеть ошибается. Задача обучения - найти такие параметры (веса) нейронной сети, при которых функция ошибок минимальна. Другими словами, необходимо решить задачу оптимизации (минимизации ошибки относительно весов).
Для регрессии можно использовать Mean Squared Error (MSE), а для классификации (где используются распределения вероятностей) - кросс-энтропию (Cross Entropy).
Для поиска минимума функции можно использовать градиентный спуск. В этом методе итерационно вычисляется вектор градиента ошибки (частные производные ошибки по всем параметрам) и корректируются параметры по направлению антиградиента. Коэффициент при антиградиенте называется скорость обучения (Learning Rate).
Для обучения нейронных сетей используется стохастический градиентный спуск (SGD) и его модификации. Ошибка в нём вычисляется не по всей выборке, а по батчу (batch) - небольшой группе обучающих образцов.
Для вычисления градиента (частных производных) используется правило дифференцирования сложной функции (цепное правило, chain rule). При вычислении производной ошибки по весам нейросети мы движемся от ошибки назад (используя chain rule), поэтому такой алгоритм называется Обратное Распространение Ошибки (Backpropagation).
Меня зовут Дмитрий Коробченко, и на моём канале будет много чего интересного, так что подписывайтесь и нажимайте на колокольчик, чтобы ничего не пропустить: / @user-uy8zl7qd2e
#Нейросети #ГлубокоеОбучение #ДмитрийКоробченко #НейронныеСети #МашинноеОбучение #ИскусственныйИнтеллект #ОбучениеНейросетей #ГрадиентныйСпуск #Backpropagation
Рекомендуемый порядок просмотра:
1. Нейронные сети за 10 минут: ruclips.net/video/GT6imQDxqko/видео.html
2. Как обучить нейронную сеть: ruclips.net/video/uWd9nyn0ql8/видео.html
3. Нейронная сеть на Python с нуля: ruclips.net/video/xMz7XSaqdRA/видео.html
4. Обратное распространение ошибки: ruclips.net/video/bW4dKxtUFpg/видео.html
5. Обучение нейронной сети на Python: ruclips.net/video/bXGBeRzM87g/видео.html
а когда будет следующие видео?) а то хорошего контента по нейронным сетям в русскоязычном интернете мало! Очень хорошие видео!
На С# можно простой пример...
Интересно пощупать нейронки, но пока не понятно на сколько производительнее писать всё на пайтоне по сравнению с c#. Я так понял, что если писать в пайтоне, то там всё будет работать через действия с матрицами, которые можно перемножать на видюхе, а если всё делать через ООП в шарпе, тогда всё будет считать процессор?
Информативные видео, с хорошей инфографикой, жаль выходят не часто.
Будем ускоряться
Качественное видео ! Огромное вам спасибо !)
Очень интересно смотреть. Нужно больше видео!
Будут! :)
Спасибо, все понятно и не скучно👍
Супер, спасибо!
Большое спасибо!
очень подробно и грамотно все объясняете. правда иногда нужно по 2-3 раза переслушать. лайк и ждем новых роликов. От себя прошу разобрать сверточные сети с 0. также как и этот пример
Чел, огромное тебе спасибо.
Очень интересно. 😮
Спасибо!
Так держать,у тебя очень хорошо получается!
Thanks!
Спасибо большое за работу! Отсутствие хотя бы 1 дислайка говорит само за себя.
Интересует вопрос касающийся функций активаций. Можете привести наглядные примеры того, как влияет та или иная функция на обучаемость модели? Например, объяснить геометрический (математический) смысл применения синусоиды, Relu, г. тангенса и в то же время не применения линейных и других функций.
Опять же, я новичок, и возможно мое утверждение будет некорректное, но градиент же можно вычислить от любых функций.
Просто принципы и методы благодаря вашему видео стали еще более понятными, но если спуститься на уровень самих вычислений, то появляются вопросы.
Есть некий сформировавшийся список функций активации, которые применяются в современных нейросетях. Получен он был эмпирическим путём. Не всегда у этих функций есть глубокий физический смысл. Часто это просто "улучшение" ранее использовавшейся более простой функции. За какими характеристиками функции можно следить: нелинейность (главное), дифференцируемость, простота вычисления функции и простота вычисления её производной, область определения (в какой диапазон функция отображает входные значения). Большинство таких функций активации это модификации сигмоидильных функций и функции ReLU. В разных задачах разные функции могут давать различный эффект. Если какая-то вычислительно сложная функция даёт лишь незначительный прирост в качестве, имеет смысл взять более простоую и быструю (напрмиер, обычный ReLU)
Ну спасибо. Объяснил...
Невероятно качественно. Хочу больше, пожалуйста
спасибо!
Хорошая пара видео про нейронные сети. Но, скорее всего вы столкнулись с проблемой, что их могут понять люди с хотя бы минимальными знаниями в этой области. Поэтому так мало просмотров... ну что ж тут поделать. Если вдруг ваша работа непосредственно связана со сферой Data Science - вы бы могли делиться своим опытом и знаниями, что привлекло бы больше аудитории)
В любом случае удачи вам!
Полезные ролики, после плотного изучения материала, помогают всё структурировать.
Дмитрий, Спасибо за урок! Хорошо объясняете!
Понятно, что значит градиентный спуск и понятна логика функции обновления весов w1 = w0 - α * ∂E/∂w * w0. Но пока четко не понятно как рассчитать градиент, получить конечную формулу и потом записать в коде (Python). Разобрать на простом примере бы для ясности. А также разобрать, CROSS ENTROPY чем лучше MSE.
Одно из следующих видео будет в точности на эту тему. Уже в разработке.
Вычисление градиента: Обратное распространение ошибки --> ruclips.net/video/bW4dKxtUFpg/видео.html
@@user-uy8zl7qd2e Супер!)
Контент просто бомба!!!! 👍👍Дмитрий я снимаю шляпу за такое видео. Спасибо вам большое и успехов вам 👏👏👏👏
Очень крутой контент
Спасибо за видео. Какие книги наиболее понятны для новичков в CV?
Лучшее
Очень непростая математика. Спасибо, что общий принцип хорошо разъяснил.
С таким пониманием мне сильно проще в подробности углубляться.
Для чего нужно в один batch добавлять сразу несколько значений?
До сих пор я думал, что на каждом шаге обучения - один набор данных для сетки.
Как это работает в случае нескольких наборов в batch ?
По каким критериям выбирают (подбирают наборы) их количество в batch ?
Спасибо за вопрос, более подробно всё это покажу на практике, когда будем обучать свою нейросеть на Python.
Использование более одного образца в батче (на одном шаге) позволяет улучшить сходимость (и стабильность обучения) и ускорить процесс (из-за большего потенциала для распараллеливания). По поводу стабильности: если на каждом шаге будет только один образец, то вектор градиента будет сильно «колбасить» от итерации к итерации, а соответственно и весь процесс обучения. А если в батче несколько образцов, и градиент вычисляется по всем ним (ошибки суммируются), то поведение градиента будет более плавным (по аналогии со сглаживанием).
Как выбирать элементы в батч? Делать это нужно случайным образом. Например, сначала мы перемешиваем все образцы в обучающей выборке, а потом уже в перемешанном списке набираем последовательно группы образцов.
Чему должен быть равен размер батча? Это гиперпараметр, то есть его надо выбирать вручную экспериментально. Обычно используются значения в районе 64 (плюс минус степень двойки), но бывают и более экстремальные значения - зависит от финального качества и от возможности распараллелить (и уместить батч в памяти GPU).
Хорошее видео для общего ознакомления тех, кто не знает. Но судя по формулам, есть некоторая информация для специалистов. А для большей части слушателей нужна практика. Иначе, нету смысла снимать такие видео.
Очень интересное и полезное видео! Сразу стало понятно, как обучать нейронные сети.
А в какой программе вы делали анимацию, если не секрет?
After effects скорее всего
@@JenyNiigga спасибо, буду смотреть👍
Отличное объяснение. Правда мне придется помучиться чуток, так как высшую математику я явно в шарашке своей мимо ушей пропускал.
Хороший формат обучения
чеееееееел...... Лучшее объяснение на ютубе , легче только мозг себе другой имплантировать.Спасибо
вспомнил уроки алгебры и геометрии в школе пока смотрел твое видео, аж забыл нафиг я его смотрю. Мне кажется ты сложно объясняешь лучше на практике и коде, а походу объяснения.
Приятно удивлен вашей оперативностью. Большое спасибо за ответ.
Имеется немало вопросов:
Предназначение функции SOFTMAX - масштабирование выходных данных?
Самостоятельно нашел материал о нормализации входных параметров нейросети.
Почему в выходном слое можем не применять функцию активации, а суммарный сигнал сразу подаем на SOFTMAX? Избыточная нелинейность?
Если функция активации сигмоида, стартовые случайные значения весовых коэффициентов должны располагаться в диапазоне [ -A, A] , где А - небольшое число ?
Нулевые случайные значения весовых коэффициентов нежелательны?
Каким рекомендуется выбирать небольшое число А, если все входные значения нормированы в диапазоне [0, 1]?
Каковы рекомендации по выбору стартовых случайных значений смещений (диапазон, величина)?
Напрмер, на входе нейросети 10 нормированных значений. Нейросеть должна классифицировать входной сигнал на три различных взаимоисключающих класса. Какое оптимальное количество слоев и по сколько нейронов рекомендуется для этого случая?
Видео очень полезное и хорошо преподнесенное. Много просмотрел материала по обучению нейронных сетей, но нигде не сказано, почему делается всего лишь один (!) шаг при градиентном спуске? Почему не определить оптимальное значение параметров сети для конкретного примера, а а затем выставить новые значения для обучение и опять найти оптимум и.д.? Наверно, в продвижении по одному шагу градиентного спуска для каждого нового обучаемого примера и есть необъяснимая загадка настройки сети для разных вариантах входных значений!
А метод покоординатного спуска используется? А другие методы оптимизации?
очень хорошо рассказываете, спасибо вам!
Спасибо наконец то я понял как находится функция ошибки, а то до этого приходилось хранить ошибку с предыдущего цикла обучения чтобы понять, в правильном ли направлении мы двинулись в этом цикле или нет. и на основании этого принималось решении продолжать смещать весы в этом направлении или развернуться.
гиперпараметры можно подобрать при помощи Keras-tuner
презентация в монтаже 10/10
То-есть, у меня 16 примеров для обучения, я прогоняю все 16 через нейросеть, записываю значения выхода в список, использую формулу MSE, и после этого корректирую веса?
Меня учили иначе, прогоняем пример, вычисляем ошибку, распространяем ошибку, корректируем веса. повторяем все для 16 примеров.
Какой метод правильный и что будет работать быстрее и точнее?
Вот бы новые видео по данной теме
уже есть)
Описанный Вами метод обратного распространения ошибки был предложен Д.Румельхартом с соавторами в 1986 году.
Пример простой сети: 2 входных сигнала, 2 скрытых слоя по 2 нейрона плюс нейрон смещения для каждого скрытого слоя, выходной слой из 2 нейронов плюс нейрон смещения, все функции активации - сигмоиды.
Вы могли бы для такой сети привести КОНКРЕТНЫЕ ПРАВИЛЬНЫЕ формулы ( которые можно закодировать в виде программы ) :
- рекуррентного пересчета ошибки из выходного слоя сети на выход предыдущих скрытых слоев, вплоть до первого слоя;
- формулы подстройки весовых коэффициентов и смещений для выходного слоя;
- формулы подстройки весовых коэффициентов и смещений для предыдущих скрытых слоев (хотя бы одного) через пересчитанную ошибку выходного слоя.
Много различных вариантов встречается, есть отличия.
Для правильного понимания мне нужно самому все написать с нуля, без библиотек и движков.
Буду очень признателен за список хороших, конкретных, понятных первоисточников, литературы по проектированию и обучению нейросетей прямого распространения.
"нужно самому все написать с нуля, без библиотек и движков" -- сейчас мы именно этим на канале и занимаемся. Два вышедших видео (ruclips.net/video/xMz7XSaqdRA/видео.html и ruclips.net/video/bW4dKxtUFpg/видео.html), а также следующее, которое на подходе, как раз про это. Надеюсь, Вы найдёте в них часть ответов.
2:30 индекс i показывает вариант ответа или номер наблюдения? Если номер наблюдения, то что тогда такое zi и yi? Вектора предсказанных вероятностей и правильного ответа для наблюдения i? Но на 2:53 появляется индекс j. Это опечатка или тут другой уже индекс?
Привет! Планируешь дальше выпуски по нейросетям? У тебя очень хорошо получается! Может просто ушел куда-то на другую площадку?
В этом видео понял больше в курсе 70 часов про нейронные сети
Видео очень информативные, спасибо автору за них с:
Выходит, что обратное распространение ошибки - это когда сеть сама себя проверяет при подборе весов?
MSE - для регрессии, Cross-enthropy - для классификации?
Рассказывй еще про железо, особенно то что могут собрать простые смертные как я.
Будет
Здравствуйте. Подскажите как сохранить обученую нейронную сеть в программу для открытия на любом компе. В файл ехе. То есть по максимуму сделать автоматическое распознавание. Запустил программу она например фотографирует через веб камеру цифры и выдает результат.
Да,мне тоже интересно.
Есть множество вариантов. Если мы реализуем нейросеть на Python и в таком же виде её отправляем в продакшн (для инференса), то либо мы храним веса (а иногда и модель) в формате того фреймворка, на котором мы обучали (Pytorch, TensorFlow), либо в формате numpy. "На другом компе" нейросеть загружется в память с помощью соответствующих Python скрптов (Ваших). Если вы всё же хотите получить на выходе EXE (скомпилированный бинарный файл), то скорее всего Ваша нейросеть (а точнее программа её загрузки и выполнения) будет написана на языке типа C++. В таком случае и формат данных (веса нейросети) и процедуру их загрузки скоере всего придётся реализовать самостоятельно. Или использовать некий нейросетевой фоеймворк, поддерживающий C++. Таких тоже достаточно много. Тогда дополнително может потребоваться конвертация весов нейросети из формата, который использовался при обучении в формат, используемый при инференсе. Сейчас зачастую всё крутится вокруг формата ONNX (там можно хранить и модель и веса к ней).
@@user-uy8zl7qd2e Спасибо за обширный ответ. Я делал в jupyter notebook, все заработало. Но при попытке запустить на другом компе вылезли ошибки которые не удалось устранить. По этому и возник вопрос как то сохранить для возможности запуска на любом компе. Написание нейронки на си не рассматриваю, ведь для новичка на питоне больше примеров.
Привет, Дмитрий! Как можно вставить в мягкую игрушку нейронную сеть и начать её обучать человеку, который не умеет пользоваться компьютером? Предполагается что обучение будет проходить только через диалог, и если нужно подтвердить правильность выбора, то тоже через диалог или на крайний вариант две кнопки на мягкой игрушке "Да" или "Нет". Может такая игрушка уже создана и недорого состоит? Сколько будут стоить недорогие компоненты что бы мягкую игрушку снабдить всем необходимым?
Здравствуйте. Помогите пожалуйста создать и перевести оборудование электроподстанции через нейросеть
Жаль что я алгебру не учил)
Ставлю класс
Дмитрий,как с вами связаться?имеется коммерческое предложение
То есть для одной задачи два разных человека могут сделать разную нейронную сеть и в итоге, если даже в обоих случаях результат будет правильным, он может быть разным? Как разные картины?
Да
А при каком значение производной можно заканчивать обучение?
Я правильно понимаю что значение градиента это ошибка которая будет получена при определенном изменении весов, а сам градиентный график это все возможные комбинации весов, вернее их результирующее значение ошибки, среди которых ищется комбинация, дающая минимальное значение ошибки, и все возможные комбинации сканируются с определенным шагом альфа?
Не понимаю откуда берется функция ошибки. Ее же потом нужно дифференцировать? Значит она должна быть гладкой?
Отличные видеоролики!..Дети, вот светофор, он прямоугольный, устанавливается на вертикальностоящих столбах и навесных креплениях, у светофора есть три лампочки, к которым подходят провода, по которым идет переменный электрический ток, поверх каждой лампочки установлено плотное матовое стекло, каждое стекло своего цвета, расположение цветов следующее: снизу- зеленый, посередине - желтый, сверху - красный, цветные стекла помогают передать свет определенной длины волны, светофор устанавливается зачастую на неподвижных конструкциях, обращенных в определенную сторону, а его огни загораются поочередно... вам все понятно, дети?.. очень лаконично и красочно выглядит, но только непонятно ничего толком - (зачем все это нужно и самое главное как этим пользоваться на практике вообще не ясно).
Дмитрий, что означает б(только наоборот)?
Изменение того, что после б
ОоО,вот это уже сложнее тема
По-моему mse это не совсем евклидово расстояния. Евклидово расстояние с корнём, а у Вас с 1/n
Качество видео супер, но не для новичков к сожалению :(
Слишком много непонятных терминов из линейной алгебры, из-за чего смысл некоторых моментов перестаёт быть понятен
Нейросеть c 3 нейронами на выходе должна классифицировать входной сигнал на три различных взаимоисключающих класса.
Для правильной коррекции весов и смещений нейросети методом обратного распространения необходимо:
А) использовать в качестве сигнала ошибки ОДНО (ОДИНАКОВОЕ) значение среднеквадратического отклонения полученного результата и правильного результата для всех выходных нейронов ??? ИЛИ
Б) использовать в качестве сигнала ошибки для каждого нейрона его собственную разность реального и правильного сигнала ( 3 разных разности, для каждого нейрона - своя) ???
Очень много хорошего пишут о генетических методах обучения нейросетей.
да
Большое спасибо за качественное, содержательное видео. Ждем продолжения.
Любителям очень полезны и интересны подробные, конкретные примеры реализации и обучения простейших нейросетей, позволяющие правильно понять и сформулировать ПРИНЦИПЫ и АЛГОРИТМЫ.
Например, довольно симпатичное видео на эту тему:
ruclips.net/video/t-Jpm1axBko/видео.html
МНОГОСЛОЙНЫЕ НЕЙРОННЫЕ СЕТИ. ОБУЧЕНИЕ. Backpropogation: ОБРАТНОЕ РАСПРОСТРАНЕНИЕ ОШИБКИ
К его недостаткам примера следует отнести отсутствие смещения на входах нейронов, нет алгоритма коррекции значений смещения.
Сделайте круче! У Вас получится!
Спасибо за отзыв. Подобное видео есть в моём контент плане и уже находится в разработке.
@@user-uy8zl7qd2e Добрый день, Дмитрий!
Не могу до конца понять алгоритм обучения нейросети на стохастической выборке.
Пропустив всю выборку в прямом направлении, получим массивы ошибок на нейронах выходного слоя от каждого входного сигнала.
Можем вычислить суммарную ошибку, среднюю, среднеквадратическую и т.д.
Для пересчета ошибки на предыдущие слои, для коррекции весов и смещений необходимы ИНДИВИДУАЛЬНЫЕ значения входов, выходов нейронов, значения производной функции активации от суммирования (вход*вес - смещение).
Ошибка у нас «коллективная».
Какие значения input, output, derivative (sum) брать из всего доступного множества брать для последующих расчетов?
Прошу у Вас помощи и пояснений. Заранее благодарю. Владимир
Отличные ролики! А отсутствие фоновой музыки дает +1000 в карму.
Судя по комментариям я один понимаю из сказанного только союзы и предлоги... Особенно порадовало на 3:42 "А теперь влючаем Матан" Он всегда у вас влючён!
или "Самое простое можно просто посчитать евклидово расстояние или функцию MSE от этих двух векторов"...... Где тут просто? Никакого пояснения о чём речь вообще... ролик просто продолжается как будто я должен быть в курсе что это... Просто смотрите... я когда хочу НАЧАТЬ в чём-то разбираться... я топаю на ютюб... просто чтобы понять хоть какие-то основы.. но тут я по ощущениями роликов 100 до этого случайно не посмотрел чтобы просто понять о чём вы вообще... и да я смотрел первый ролик "Нейронные сети за 10 минут" та же история... я где-то курс по вышмату пропустил на него ссылки нет?
сразу практику бы видеть
Блин а можешь пж в конце видео делать вывод и все что говорил в этом видео говорить в кратче и очень коротко чтобы вывод был и остался
Всё сложно.😀
Котелок начал закипать к концу
усвоено 0 данных информации, я знаю как устроен персептрон, знаю про выборки и прочее, но как происходит обучение прям на самом дне с примерами мне не понятно
Я нифига не понимаю... Почему нельзя было привести пример на числах? Где брать эти веса, куда их перемножать, для чего. Сотни видосов посмотрел, так и не понял ничего про нейросети
Если вы не можете понять нейросети, значит вам либо недостаточно математики, либо недостаточно концентрации и внимания
батч)))) batch - партия, пакет, серия, группа. туземцы forever))))))
Откуда взялась "б" наоборот?
Это знак частной производной
Но ошибка это просто число. Как Вы от неё берёте производную? Непонятно...
Число - это для конкретного входа и конкретной матрицы весов. Ошибка - функция от входа ( аргумент Х) и матрицы весов (аргумент W).
здравствуйте программисты из мгсу
Тема сисег не раскрыта. Увы....
осталось непонятным как реализовать в коде
После 1:25 уже ничего не понял))
а где такоизе но для питона???
Хорошие видео, но гипержестикуляция отвлекает
бессмысленное бла бла бла
Ну да,что ждать от человека без мозгов вроде тебя.
А что именно тебя не устраивает? Сделай тогда сам объяснение получше\