Введение в Vision Transformer. Лекция 11. Глубокое обучение

[@razinkov]

Есть новый курс "AI: от основ до трансформеров": ruclips.net/p/PL6-BrcpR2C5Q1ivGTQcglILJG6odT2oCY
И курс "Modern Deep Learning", полностью посвященный трансформерам: ruclips.net/p/PL6-BrcpR2C5Rc1RI7Z9LHOu-lz6yNml2A

[@АрманБрсикян]

Очень долго искал лекцию по трансформерам в CV. Огромное спасибо за такую подробную лекцию!

[@razinkov]

Рад, что лекция оказалась полезной!

[@ИванЖарский-к9э]

Сколько я материалов посмотрел про трансформер и нифига не было понятно, что происходит, а тут лектор просто волшебник, спасибо!

[@razinkov]

Спасибо за комплимент, очень приятно)

[@eduardb5555]

Блоки ViT:
• Layer Normalization 9:44
• Scaled Dot-Product Attention (SDPA) 16:21
• Multi-Head Attention (MHA) 56:23
• Feed-Forward Layer 1:14:55

[@razinkov]

Спасибо!

[@FirstnameLastname-rm2qi]

Большое спасибо за лекцию, очень понятная, а главное ценная информация для рускоязычного ютуба!

[@razinkov]

Спасибо, что смотрите!

[@tayjen59]

Отлично объяснено, Спасибо!

[@razinkov]

Спасибо, что смотрите :)

[@ЕвгенийВеснин-и1ц]

27:35 Если вычисляется софтмакс, который все приведет к единичной сумме, то делить на корень из dk нет никакого смысла, также как и умножать на любую константу.

[@razinkov]

Нет, это не так) Сумма не изменится (останется 1), а вот баланс между компонентами изменится

[@ЕвгенийВеснин-и1ц]

@@razinkov а как может измениться баланс если все компоненты делятся на одно и то же число? Возможно я что то упустил..

[@razinkov]

@@ЕвгенийВеснин-и1ц Они же делятся до возведения экспоненты в эту степень) А показательная функция - нелинейная)

[@АлександрБусаров-ю9х]

Можно ли использовать ViT для задач Super Resolution?

[@yakovkrelin1042]

Лучшая лекция, которую прослушал про Трансформеры после лекций в Иерусалимском, Тель-Авивском университетах.

[@razinkov]

Спасибо за лестный отзыв!

[@marina12345678911000]

можно ссылку на курсы в Иерусалимском, Тель-Авивском университетах?

[@СидрСемеров]

К сожалению нету ссылки на топовую архитектуру свёрток

[@razinkov]

Спасибо, что сообщили!
Вот и ссылка: arxiv.org/pdf/2201.03545.pdf

[@АндрейТаранов-ь8э]

12.01 - произведение Тамары????

[@razinkov]

Произведение Адамара)