Лекция. Контестные эмбеддинги. Word2Vec.
HTML-код
- Опубликовано: 20 окт 2024
- Занятие ведёт Татьяна Гайнцева.
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_lear...
Официальный сайт: dls.samcs.ru/ru/
Официальная группа ВК: dlschoo...
Github-репозиторий: github.com/DLS...
Поддержать канал можно на Boosty: boosty.to/deep...
ФПМИ МФТИ
Официальный сайт: mipt.ru/educat...
Магистратура: mipt.ru/educat...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/educat...
Какое мастерство!! Кристально ясная подача материала. Столько роликов просмотрела, но только после Вашего объяснения все стало на свои места. Спасибо!
Прекрасный лектор, прекрасное объяснение и прекрасная презентация. Спасибо!
Татьяна - вы прекрасны! Спасибо!
Отличное объяснение, структурированно и лаконично🎉 ну и естественно приятный лектор) пс в 16:01 все таки не вектор столбец умножается а вектор строка..
лекция огонь! на одном дыхании!😃
Очень хороший материал, но лектор слишком красивый.
Очень хорошо объяснили
Спасибо за лекцию! А при обучении word2vec 15:15 мы может использовать сразу сравнивать вектор из НС с вектором с несколькими единицами (несколькими словами), а не по одной единице и соответственно слову?
Почему-то в playlist "Deep Learning: часть 2. Обработка естественного языка. 2023 год" этот ролик на 4-й позиции, хотя должен быть на второй.
поправим, спасибо
@@DeepLearningSchool Когда ?
У машины бывает рама, только она мало кому видна и уж тем более мало кто красит ее в красивый белый цвет :)
Почему так мало видео на русском про данную тему. Вообще-то это единственное видео которое я нашел об этом.
Было сказано, что i-тая строка матрицы А является эмбеддингом входного слова, а j-тый столбец матрицы B эмбеддингом контекстоного слова, но как получаются то сами эти эмбеддинги? Как они расчитывается?
в процессе обучения сетки
А что из себя представляют матрицы A и B, как определяются значения в строках, столбцах?
они выучиваются с помощью градиентного спуска
Поясните, пожалуйста, почему на эмбеддингах работает векторная арифметика (например, королева = король - мужчина + женщина)?
Из того, как мы их получили, следует, что в них закодирован их контекст, поэтому эмбединги похожих слов будут похожи, т.е. их косинусное расстояние будет большим.
А вот то что на данных эмбеддингах будет работать векторная арифметика, мне не совсем понятно.
Нашел объяснение:
Alex Gittens, Dimitris Achlioptas, and Michael W. Mahoney. 2017. Skip-Gram − Zipf + Uniform = Vector Additivity. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 69-76, Vancouver, Canada. Association for Computational Linguistics.
А кто может пояснить почему работает арифметика сложения и вычитания с эмбедингами и при этом смысл слов соответствует ? Король женщина королева
Не совсем верно (21:50), что чем больше embedding, тем больше смысла он может содержать. До какой-то степени - да, потом - скорее всего, полезность будет расти медленно с ростом k. Интуиция подсказывает, что - логарифмически ассимптотически приближаясь к какому-то пределу. Либо при k равном размеру словаря, либо, при более сложной обработке при исчерпании информации в тексте.
Интересно, есть ли исследования, показывающие на реальных текстах зависимость результативности и правильности обучения от величины k? Было бы интересно изучить.
Всё-таки k сильно влияет на ресурсы на больших текстах.
Спасибо. Толковое и последовательное изложение.
Хорошо бы добавить к этой лекции объяснение, какую именно практическую задачу мы решаем в данном случае, как это сделано у Вас в целом в ruclips.net/video/StZaHBNWiOs/видео.html. Там - перечислено множество задач, но в этом уроке хотелось бы знать, какую задачу мы решаем в данном случае.
Инструмент описан очень хорошо, но без описания цели сложно понять, зачем выбирать именно его при наличии более простых, хорошо отлаживаемых и пресказуемых механизмов. Вопрос не праздный. К примеру, если речь идёт о предсказании текста, то возникает вопрос, чем метод цепей Маркова хуже или чем не подходит та же таблица с 3:13 ?
Вы показываете сложные алгоритмы, подключаете использование нейронных сетей, которые достаточно сложно отлаживать - это должно оправдываться задачей. Если они работают лучше, чем цепи Маркова - было бы здорово показать задачу, на которой это так.
Я не спорю, что Вы правы - у этого подхода много преимуществ, в том числе - в возможности расширения и гибкости, но это - абстрактные слова. Сильно поможет, если будет показана задача и объяснено, чем такой подход лучше детерминированного подхода цепей Маркова и таблицы, которую Вы предложили.
Обыскал весь интернет в поисках нормального объяснения word2vec. Ничего не нашел кроме статьей шарлатанов, которые сами не понимают, как оно работает (аля «ну я кнопку нажал и получил эмбединг»).
А здесь ультрасуперское объяснение с понятной логикой и смыслом того, как это устроено!!!
привет красивая женщина
Мля, разрабы языков программирования и всяких других технологий продались дядям. Спасибо 2000х годам хатя бы дали нам PHP, Dreamweaver, Photoshop. И книги по ним печатались тоннами для любого уровня. Зажали ска рекомендации для сайтов, иначе ютубы всякие не стали бы монополистами. Сейчас мне на сайт эти все машинные куски дерьма дайте и я ваш ютуб обгоню по посещаемости. Ленивые люди привыкли что им все нейросеть подбирает и за ними мысль заканчивает.