13 Transformer的多头注意力，Multi-Head Self-Attention（从空间角度解释为什么做多头）

Поделиться
HTML-код
  • Опубликовано: 17 окт 2024

Комментарии • 2

  • @zixiqin6634
    @zixiqin6634 11 месяцев назад +1

    感谢大佬救我大命！！！！感激不尽！！！我本来在看contrastive learning的，看着看着论文，就有文章用了attention，然后只能临时来找补！感激！

  • @skyacaniadev2229
    @skyacaniadev2229 6 месяцев назад

    不应该是把X复制8分输入到每个头里吗？

Следующие
Автовоспроизведение
Illustrated Guide to Transformers Neural Network: A step by step explanation15:01Illustrated Guide to Transformers Neural Network: A step by step explanation
Illustrated Guide to Transformers Neural Network: A step by step explanationThe AI Hacker
Просмотров 976 тыс.
RoPE (Rotary positional embeddings) explained: The positional workhorse of modern LLMs14:06RoPE (Rotary positional embeddings) explained: The positional workhorse of modern LLMs
RoPE (Rotary positional embeddings) explained: The positional workhorse of modern LLMsDeepLearning Hero
Просмотров 25 тыс.
【機器學習2021】自注意力機制 (Self-attention) (上)28:18【機器學習2021】自注意力機制 (Self-attention) (上)
【機器學習2021】自注意力機制 (Self-attention) (上)Hung-yi Lee
Просмотров 231 тыс.
7 Days Exploring An Underground City20:357 Days Exploring An Underground City
7 Days Exploring An Underground CityMrBeast
Просмотров 61 млн
Bridesmaid Speech - SNL04:51Bridesmaid Speech - SNL
Bridesmaid Speech - SNLSaturday Night Live
Просмотров 2,9 млн
[4K] Watch SpaceX Catch A Starship Rocket From Space!!! #IFT54:01:11[4K] Watch SpaceX Catch A Starship Rocket From Space!!! #IFT5
[4K] Watch SpaceX Catch A Starship Rocket From Space!!! #IFT5Everyday Astronaut
Просмотров 2,7 млн
Three Idiots vs Ultra Instinct Goku Sparking Zero Raid56:58Three Idiots vs Ultra Instinct Goku Sparking Zero Raid
Three Idiots vs Ultra Instinct Goku Sparking Zero RaidRhymestyle
Просмотров 493 тыс.
RNN模型与NLP应用(8/9)：Attention (注意力机制)16:51RNN模型与NLP应用(8/9)：Attention (注意力机制)
RNN模型与NLP应用(8/9)：Attention (注意力机制)Shusen Wang
Просмотров 30 тыс.
Attention in transformers, visually explained | Chapter 6, Deep Learning26:10Attention in transformers, visually explained | Chapter 6, Deep Learning
Attention in transformers, visually explained | Chapter 6, Deep Learning3Blue1Brown
Просмотров 1,7 млн
Vision Transformer Basics30:49Vision Transformer Basics
Vision Transformer BasicsSamuel Albanie
Просмотров 28 тыс.
台大資訊 深度學習之應用 | ADL 4.3: Self-Attention 自我注意力機制29:20台大資訊 深度學習之應用 | ADL 4.3: Self-Attention 自我注意力機制
台大資訊 深度學習之應用 | ADL 4.3: Self-Attention 自我注意力機制陳縕儂 Vivian NTU MiuLab
Просмотров 2,8 тыс.
The math behind Attention: Keys, Queries, and Values matrices36:16The math behind Attention: Keys, Queries, and Values matrices
The math behind Attention: Keys, Queries, and Values matricesSerrano.Academy
Просмотров 251 тыс.
台大資訊 深度學習之應用 | ADL 4.4: Multi-Head Attention 不同類型的注意力關係16:17台大資訊 深度學習之應用 | ADL 4.4: Multi-Head Attention 不同類型的注意力關係
台大資訊 深度學習之應用 | ADL 4.4: Multi-Head Attention 不同類型的注意力關係陳縕儂 Vivian NTU MiuLab
Просмотров 1,8 тыс.
Multi Head Attention in Transformer Neural Networks with Code!15:59Multi Head Attention in Transformer Neural Networks with Code!
Multi Head Attention in Transformer Neural Networks with Code!CodeEmporium
Просмотров 48 тыс.
Attention is all you need (Transformer) - Model explanation (including math), Inference and Training58:04Attention is all you need (Transformer) - Model explanation (including math), Inference and Training
Attention is all you need (Transformer) - Model explanation (including math), Inference and TrainingUmar Jamil
Просмотров 396 тыс.
【機器學習2021】Transformer (上)32:48【機器學習2021】Transformer (上)
【機器學習2021】Transformer (上)Hung-yi Lee
Просмотров 208 тыс.
Mübariz İbrahimovun atası vəfat etdi00:14Mübariz İbrahimovun atası vəfat etdi
Mübariz İbrahimovun atası vəfat etdiİCTİMAİ TV
Просмотров 144 тыс.
ХОТЕЛА НАЧАТЬ ЖИТЬ ЗАНОВО НО УЗНАВ О СВОЁМ ДИАГНОЗЕ И ЗАПЛАКАЛА.22:58ХОТЕЛА НАЧАТЬ ЖИТЬ ЗАНОВО НО УЗНАВ О СВОЁМ ДИАГНОЗЕ И ЗАПЛАКАЛА.
ХОТЕЛА НАЧАТЬ ЖИТЬ ЗАНОВО НО УЗНАВ О СВОЁМ ДИАГНОЗЕ И ЗАПЛАКАЛА.ВАСЯ НА СЕНЕ
Просмотров 604 тыс.
KIA K5: Гуталиновый масложор (160 ткм)30:35KIA K5: Гуталиновый масложор (160 ткм)
KIA K5: Гуталиновый масложор (160 ткм)KPOWERtuning
Просмотров 195 тыс.
Lp. Сердце Вселенной #31 КОНЕЦ ЧЕЛОВЕЧЕСТВА • Майнкрафт33:28Lp. Сердце Вселенной #31 КОНЕЦ ЧЕЛОВЕЧЕСТВА • Майнкрафт
Lp. Сердце Вселенной #31 КОНЕЦ ЧЕЛОВЕЧЕСТВА • МайнкрафтMrLololoshka (Роман Фильченков)
Просмотров 790 тыс.
Хоронженко VS Хамзат - ЖЕСТКИЙ КОНФЛИКТ. Искандар VS Маэстро. НОКАУТ НА КОНФЕ. Лендруш VS Калмыков2:59:04Хоронженко VS Хамзат – ЖЕСТКИЙ КОНФЛИКТ. Искандар VS Маэстро. НОКАУТ НА КОНФЕ. Лендруш VS Калмыков
Хоронженко VS Хамзат - ЖЕСТКИЙ КОНФЛИКТ. Искандар VS Маэстро. НОКАУТ НА КОНФЕ. Лендруш VS КалмыковHardcore Fighting Championship
Просмотров 1,2 млн
Outsmarted 😂00:20Outsmarted 😂
Outsmarted 😂ILYA BORZOV
Просмотров 6 млн
Wildest 10 SECONDS OF HIS LIFE 🤯 @TomIsted00:14Wildest 10 SECONDS OF HIS LIFE 🤯 @TomIsted
Wildest 10 SECONDS OF HIS LIFE 🤯 @TomIstedRed Bull Bike
Просмотров 4,8 млн
Я в детстве с маминым дорогим шампунем:🧼00:17Я в детстве с маминым дорогим шампунем:🧼
Я в детстве с маминым дорогим шампунем:🧼DO$HIK
Просмотров 2 млн