Лекция. Внимание (Attention)
HTML-код
- Опубликовано: 21 мар 2021
- Занятие ведёт Татьяна Гайнцева.
Ссылка на первую часть: • Лекция. Seq2Seq, машин...
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_learning_school_news
Официальный сайт: dls.samcs.ru/ru/
Официальная группа ВК: dlschool_mipt
Github-репозиторий: github.com/DLSchool/dlschool
Поддержать канал можно на Boosty: boosty.to/deeplearningschool
ФПМИ МФТИ
Официальный сайт: mipt.ru/education/departments...
Магистратура: mipt.ru/education/departments...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/education/departments...
Татьяна, спасибо, что своим качественным аттеншеном вы декодировали эмбеддинги этой темы в русский язык в форме, в которой я могу с низким уровнем потерь закодировать эту тему в свои эмбеддинги
Ввожу новую лемму: если лекцию ведёт Татьяна, то лекция будет отличная!
А все, лавочка закрылась)
@@tatianagaintseva8701 Больше не будет лекций?
@@dimka11ggg в смысле?
@@DeepLearningSchoolну Татьяна же сказала что лавочка закрылась
Лучшее объяснение для attention во всём интернете на русском и английском. Спасибо большое❤🔥
Очень понятное обьяснение, спасибо!
Attention is all you need ❤️
Топовая лекция, топовый лектор
3:24 В чём неполноценность RNN-экнодера и RNN-декодера
5:30 Общими словами: Как attention решает проблему "забывчивости" обычных rnn декодера и энкодера
8:10 Математика и архитектура, как attention помогает декодеру смотреть на всё предложение целиком и учитывать контекст
13:43 Что лежит внутри функции attention?
18:50 отступление, доказательства того, что attention действительно state-of-the-art...
20:49 Self-attention как надстройка над attention. Идея
23:46 Архитектура, self-attention в декодере.
27:06 Архитектура, self-attention в энкодере.
28:26 multi-head attention
30:00 некоторые выводы по лекции
31:00 пару слов о транформерах
33:24 Визуализация работы трансформера (гифка)
34:16 ещё один пример внимания на предложении
постоянно возвращаюсь к этой лекции! Прекрасная лекторка, спасибо Татьяне!
Первая лекция в ЖИЗНИ, ни одно слово которой не прошло мимо ушей
Пожалуй, лучшее объяснение идеи Self-Attention, которое я нашел на русском и английском языке. Все понятно, спасибо.
36:06 it/il/elle это местоимение а не артикль
но в целом изложение просто супер, в плане доходчивости
focus Attention on the most tricky stuff is all you need
В примере про трансформер - это не артикль. Это местоимение - il, elle (он, она). Выбирается исходя из рода существительного: un animal, une rue. Но концептуально - понятно )
@DeepLearningSchool Добавьте, пожалуйста, данную лекцию в плейлист "Вторая часть курса Deep Learning School" :)
Почему не было связей от tired и wide?
Малаца, всё понятно, я доволен
Татьяна, а можно попросить записать видео по Transformer?
На последнем слайде можно слово "животное" заменить на слово "кошка", тогда "она" будет и про дорогу, и про кошку :) Очень классная лекция, спасибо!
А качество только такое будет?
ютуб раскодирует в очереди
уже есть 1080@60
Я б перевёл "человек с попугаем на плече зашли в бар". Попугай - живое существо, а не вещь, над о уважать его индивидуальность ).
Давно хотел разобраться с вниманием и вот после этого (и ещё кучки других) видео, чуть-чуть понятнее стало. Вот по поводу self-attentions не понял. Их специализация распознавать род, падежи и прочее как-то явно задаётся при обучении (скажем, score за это) или "оно само так выходит" и как они вообще обучаются?
Можно ли говорить, что attention это такой более навороченный embedding для предложений с сохранением вклада каждого слова? Или он не имеет смысла сам по себе, только для конкретной языковой пары и конкретной пары предложений? Вообще вот как хорошие переводчики переводят, они воспринимают смысл сказанного, а потом подбирают аналогичный по смыслу перевод. По словам точно нельзя переводить, даже по сочетаниям слов далеко не всегда можно. Но attention это всё-таки не совсем смысл предложения. Интересно, не будет ли более эффективным именно что-то с учётом смысла, разного рода ассоциаций между базовыми понятиями с генерацией более сложных, абстрактных. Интересно это даже не для перевода, который и так улучшился многократно, а в плане создания моделей, именно понимающих явления, способных логически рассуждать и оперировать понятиями так, как это делает человек, который научился этому, не читая все тексты интернета.
Нет, "Человек с попугаем" здесь одно подлежащее, поэтому "зашел". Если бы было "Человек и попугай на его плече", то тогда два подлежащих и будет "зашли"
Вес вообще-то не омега, а дубль-вэ.
"скор" по-русски оценка
гуглА - это чтобы подчеркнуть свою причастность к узким кругам.
Не поняла :)
я простой человек и не могу панибратски говорить гуглА :)
@@bluxer4225 что-то я никогда об этом не задумывалась и всегда говорила "у гуглА"
@@tatianagaintseva8701 такому редкому сочетанию ума и красоты позволено всё!
@@bluxer4225 ну тагдя ладня ~(˘▾˘~)