Лекция. Контестные эмбеддинги. Word2Vec.

Поделиться
HTML-код
  • Опубликовано: 12 дек 2024

Комментарии • 27

  • @ilona7051
    @ilona7051 Год назад +16

    Какое мастерство!! Кристально ясная подача материала. Столько роликов просмотрела, но только после Вашего объяснения все стало на свои места. Спасибо!

  • @РоманПеликан-щ6ч
    @РоманПеликан-щ6ч Год назад +14

    Прекрасный лектор, прекрасное объяснение и прекрасная презентация. Спасибо!

  • @AskoLd1ee
    @AskoLd1ee Год назад +10

    Татьяна - вы прекрасны! Спасибо!

  • @Enerdzizer
    @Enerdzizer 5 месяцев назад +3

    Отличное объяснение, структурированно и лаконично🎉 ну и естественно приятный лектор) пс в 16:01 все таки не вектор столбец умножается а вектор строка..

  • @АндрейХохлов-ц8ж
    @АндрейХохлов-ц8ж 9 месяцев назад

    лекция огонь! на одном дыхании!😃

  • @乇乇尺卂乇几尺乇尺
    @乇乇尺卂乇几尺乇尺 10 месяцев назад +9

    Очень хороший материал, но лектор слишком красивый.

  • @EsinaViwn9
    @EsinaViwn9 8 месяцев назад

    Очень хорошо объяснили

  • @jewgenijmoldawski3306
    @jewgenijmoldawski3306 11 месяцев назад +8

    Почему-то в playlist "Deep Learning: часть 2. Обработка естественного языка. 2023 год" этот ролик на 4-й позиции, хотя должен быть на второй.

  • @mihailnikolaev1561
    @mihailnikolaev1561 2 месяца назад

    Спасибо за лекцию! А при обучении word2vec 15:15 мы может использовать сразу сравнивать вектор из НС с вектором с несколькими единицами (несколькими словами), а не по одной единице и соответственно слову?

  • @astma6140
    @astma6140 21 день назад

    15:46 как вектор размера nx1 умножается на матрицу nxk? Ведь для перемножения кол-во столбцов первого должно быть равно количеству строк второго. Не понял этот момент

  • @danil-old-web
    @danil-old-web 3 месяца назад +1

    Почему так мало видео на русском про данную тему. Вообще-то это единственное видео которое я нашел об этом.

  • @Arseny150
    @Arseny150 Год назад +3

    У машины бывает рама, только она мало кому видна и уж тем более мало кто красит ее в красивый белый цвет :)

    • @sergeyivzhenko4299
      @sergeyivzhenko4299 17 дней назад

      У рамного авто есть рама. А у автомобиля с несущим кузовом рамы нет

  • @user-danche
    @user-danche Год назад +1

    А что из себя представляют матрицы A и B, как определяются значения в строках, столбцах?

  • @artem5753
    @artem5753 9 месяцев назад +1

    Было сказано, что i-тая строка матрицы А является эмбеддингом входного слова, а j-тый столбец матрицы B эмбеддингом контекстоного слова, но как получаются то сами эти эмбеддинги? Как они расчитывается?

    • @me_andrei
      @me_andrei 2 месяца назад

      в процессе обучения сетки

  • @АндрейКениг-б6д
    @АндрейКениг-б6д 5 месяцев назад

    Поясните, пожалуйста, почему на эмбеддингах работает векторная арифметика (например, королева = король - мужчина + женщина)?
    Из того, как мы их получили, следует, что в них закодирован их контекст, поэтому эмбединги похожих слов будут похожи, т.е. их косинусное расстояние будет большим.
    А вот то что на данных эмбеддингах будет работать векторная арифметика, мне не совсем понятно.

    • @АндрейКениг-б6д
      @АндрейКениг-б6д 5 месяцев назад

      Нашел объяснение:
      Alex Gittens, Dimitris Achlioptas, and Michael W. Mahoney. 2017. Skip-Gram − Zipf + Uniform = Vector Additivity. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 69-76, Vancouver, Canada. Association for Computational Linguistics.

  • @damirtenishev6874
    @damirtenishev6874 Год назад +1

    Не совсем верно (21:50), что чем больше embedding, тем больше смысла он может содержать. До какой-то степени - да, потом - скорее всего, полезность будет расти медленно с ростом k. Интуиция подсказывает, что - логарифмически ассимптотически приближаясь к какому-то пределу. Либо при k равном размеру словаря, либо, при более сложной обработке при исчерпании информации в тексте.
    Интересно, есть ли исследования, показывающие на реальных текстах зависимость результативности и правильности обучения от величины k? Было бы интересно изучить.
    Всё-таки k сильно влияет на ресурсы на больших текстах.

  • @damirtenishev6874
    @damirtenishev6874 Год назад +1

    Спасибо. Толковое и последовательное изложение.
    Хорошо бы добавить к этой лекции объяснение, какую именно практическую задачу мы решаем в данном случае, как это сделано у Вас в целом в ruclips.net/video/StZaHBNWiOs/видео.html. Там - перечислено множество задач, но в этом уроке хотелось бы знать, какую задачу мы решаем в данном случае.
    Инструмент описан очень хорошо, но без описания цели сложно понять, зачем выбирать именно его при наличии более простых, хорошо отлаживаемых и пресказуемых механизмов. Вопрос не праздный. К примеру, если речь идёт о предсказании текста, то возникает вопрос, чем метод цепей Маркова хуже или чем не подходит та же таблица с 3:13 ?
    Вы показываете сложные алгоритмы, подключаете использование нейронных сетей, которые достаточно сложно отлаживать - это должно оправдываться задачей. Если они работают лучше, чем цепи Маркова - было бы здорово показать задачу, на которой это так.
    Я не спорю, что Вы правы - у этого подхода много преимуществ, в том числе - в возможности расширения и гибкости, но это - абстрактные слова. Сильно поможет, если будет показана задача и объяснено, чем такой подход лучше детерминированного подхода цепей Маркова и таблицы, которую Вы предложили.

  • @Enerdzizer
    @Enerdzizer 5 месяцев назад

    А кто может пояснить почему работает арифметика сложения и вычитания с эмбедингами и при этом смысл слов соответствует ? Король женщина королева

  • @Perfffffffect
    @Perfffffffect 7 месяцев назад

    Обыскал весь интернет в поисках нормального объяснения word2vec. Ничего не нашел кроме статьей шарлатанов, которые сами не понимают, как оно работает (аля «ну я кнопку нажал и получил эмбединг»).
    А здесь ультрасуперское объяснение с понятной логикой и смыслом того, как это устроено!!!

  • @Pcheetos
    @Pcheetos 11 месяцев назад

    привет красивая женщина

  • @danil-old-web
    @danil-old-web 3 месяца назад

    Мля, разрабы языков программирования и всяких других технологий продались дядям. Спасибо 2000х годам хатя бы дали нам PHP, Dreamweaver, Photoshop. И книги по ним печатались тоннами для любого уровня. Зажали ска рекомендации для сайтов, иначе ютубы всякие не стали бы монополистами. Сейчас мне на сайт эти все машинные куски дерьма дайте и я ваш ютуб обгоню по посещаемости. Ленивые люди привыкли что им все нейросеть подбирает и за ними мысль заканчивает.