Лекция. Пулинг. Операция пулинга
HTML-код
- Опубликовано: 2 окт 2024
- Занятие ведёт Татьяна Гайнцева.
Серия "Введение в CNN"
Видео 1: • Лекция. История развит...
Видео 2: • Лекция. Сверточные ней...
Видео 3: • Лекция. Пулинг. Операц...
Видео 4: • Лекция. Задачи компьют...
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_lear...
Официальный сайт: dls.samcs.ru/ru/
Официальная группа ВК: dlschoo...
Github-репозиторий: github.com/DLS...
Поддержать канал можно на Boosty: boosty.to/deep...
ФПМИ МФТИ
Официальный сайт: mipt.ru/educat...
Магистратура: mipt.ru/educat...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/educat...
в последнем слое не relu скорее всего, а софтмакс?
Да
12:50 у меня вопрос: какой смысл активационной функции после свертки, если дальше идет пуллинг, который берет максимальные значения? Наша активационная функция ReLU, которая берет max(0, x), и тот же макс пуллинг, который берет максимальное значение. На выходе будет матрица с максимальными значениям после пуллинга, что с активационной функцией, что без нее. Так в чем тогда смысл?
что-то не понял, если перемножить 13*13*256, то не получится 4096 (fc - слой)
@@ТатьянаАндреевнаГайнцева Да, теперь понятно. На тот момент думал, что имеются ввиду входящие размерности, а не исходящие. Ну и то, что предыдущий конв просто флаттенится/"разворачивается".
@@ТатьянаАндреевнаГайнцева Татьяна, подскажите пожалуйста, когда будет открыта запись на осенний курс 2021? И второй вопрос, как можно найти подборку именно ваших лекций по нейронным сетям (да и вообще по DL) (ваша подача материала "зашла" максимально комфортно)) )
@@dmytrobondarenko4796 набор будет открыт к началу сентября, скорее всего, на следующей неделе. Выборки чисто моих лекций нет, придется искать их в этих плейлистах. Я не все лекции читаю, только некоторые. И спасибо за отзыв, мне приятно 🥰🥰
@@tatianagaintseva8701 Собрал все ваши лекции за 2020 год)). А потом нашёл курс вашей школы на степике) Но, на степике есть и старые курсы и новые и это вводит в заблуждение(( Мне больше понравились новые (и это понятно, так как видно что подача материала улучшилась). Уже просмотрел половину, а ваши лекции все)). Такого доходчивого изложения материала больше нигде не встречал. И это все открыто!!! Вы делаете просто потрясающую работу. Но вот найти вас сложно(( Прямого перехода с вашего сайта на степик нет. А собирать видео из частей на ютубе ещё тот квест (непонятно что за чем идёт. Если бы было первое, основное видео в котором были бы ссылки на последующие части было бы значительно удобней). Но, в любом случае, огромное спасибо всей вашей команде за этот курс!!!
Если на карте активации большие отрицательные числа, то они не пройдут через MaxPooling. Почему это информация отбрасывается?
Вспомните опять же, что сеть учится целиком. Если мы ставим после conv слоя Макс пулинг, то отрицательные числа будут, как вы сказали, отбрасываться, и останутся только положительные. Conv слой подстроится под этот факт и будет учиться выдавать только ту инфу, которая после Макс пулинга будет иметь смысл
@@tatianagaintseva8701 , спасибо. Я про это не подумал. Я так понимаю, что conv слой по градиенту от Loss может сам решить, полезная информация от больших отрицательных числах или нет. И если так, то сделает параметры фильтры такими, что в карте активации они будут принимать противоположный знак.
Сложно принять, что это возможно. Есть ощущение, что может не хватить "силы" градиента для первых слоев. А вы проверяете какие значения принимают фильтры, карты активации на процессе обучения?
@@tatianagaintseva8701 , сейчас смотрю лекцию про Transfer Learning, уже 2 раз. У вас получилось очень круто, и не все понимаю. Нужна ваша помощь )
@@vadimosipov2147 нет, значения не проверяем. По поводу "не хватить градиента для первых слоев" - смотрите предыдущий урок про архитектуры conv сетей и skip connection
@@tatianagaintseva8701 , я смотрел. Задам тогда под тем видео сопутствующий вопрос. Спасибо.
Правильно ли понимаю, что pooling это то же, что и subsampling?
в примерах разницы расположения, как и на предыдущей презентации, изображены неправильные фильтры (вертикальные, хотя должны быть горизонтальные)