Лекция. Трансформеры. Self-Attention
HTML-код
- Опубликовано: 1 авг 2024
- Занятие ведёт Антон Астахов.
Ссылка на вторую часть: • Лекция. Трансформеры. ...
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_learning_school_news
Официальный сайт: dls.samcs.ru/ru/
Официальная группа ВК: dlschool_mipt
Github-репозиторий: github.com/DLSchool/dlschool
Поддержать канал можно на Boosty: boosty.to/deeplearningschool
ФПМИ МФТИ
Официальный сайт: mipt.ru/education/departments...
Магистратура: mipt.ru/education/departments...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/education/departments...
---
Навигация:
0:00 Вступление
5:31 Encoder Side
15:27 Self-Attention
48:30 Multi-Head
---
Спасибо большое за разъяснение механизма самовнимания в подробностях!
Не знаю, что другим не понравилось, но мне показалось очень полезным и понятным объяснение.
накнец у Антона получилось хорошо рассказать, держу пари ему нравится эта тема
Я нихрена не понял.
@@user--------- ничем не могу помочь, как говорится "виноваты обои"
@@shandi1241 да не обои виноваты, они то причём здесь? Обои и обои, висят себе, глаз радуют. А вот мальчик, который зачем-то решил преподавать, не умеет этого делать.
Побудем душными типами) Позабавило
❤❤❤❤❤
Дивлюсь тебе! Пиши відоси й надалі! Дякую!
Вай баля хорошо сделал
прикольно блин
а ссылку на презентацию можно?
Антон, не надо заниматься тем, что не нравиться. Берегите уважение к себе. Вам не нравится учить людей, но вероятно нравятся нейронные сети. надо найти своем место в этой области
Тип того, зачем учить если не можешь? Если хочешь, научись это делать, а самое главное - разберись сам в предмете.
На моменте 43:20 у А с крышкой размерность (3, L), а не (L, L)
Угм? - Слово паразит
Чё блин за А итое, откуда оно взялось ???? Ещё и А-итое с крышкой !!! Всё через задницу 🙂 Совершенно не понятно как это работает целиком, и смысл этих вычислений в плане абстракции, что делает Трансформер ???? Даже размерность не уменьшается, а если несколько энкодеров, то как они работают? Куча лекторов, но таланта к объяснениям нет ни у одного, друг у друга списывают одни и те же тупые слайды показывающие мелкие части пазла максимально бессвязно между собой :-(
душный