模型压缩的开山之作：谷歌的《知识蒸馏》讲了什么？

Поделиться
HTML-код
  • Опубликовано: 19 окт 2024

Комментарии • 5

  • @yunbow5630
    @yunbow5630 3 месяца назад

    llma 学习gpt4 老板是怎么学习的 有没有github 来一个 想做一下这个方面的应用

    • @phdvlog2024
      @phdvlog2024  3 месяца назад

      一般是输入输出式学习 毕竟gpt2之后的都不开源

  • @yangyang1412
    @yangyang1412 6 месяцев назад

    不知道oriol vinyals的paper博主...

    • @phdvlog2024
      @phdvlog2024  6 месяцев назад +6

      我是搞应用的，不知道他，但我知道他是个牛人就是了。一些老paper我没读过，我只是复现结果罢了。。。

    • @r.m.4590
      @r.m.4590 6 месяцев назад +1

      ​@@phdvlog2024 博主加油💪很有用的视频系列

Следующие
Автовоспроизведение
震惊！ChatGPT被偷走了！能成功吗？怎么做到的？10:59震惊！ChatGPT被偷走了！能成功吗？怎么做到的？
震惊！ChatGPT被偷走了！能成功吗？怎么做到的？Ph.D. Vlog
Просмотров 368
ColBert คืออะไร ช่วยทำ Reranker ในกระบวนการ RAG ได้หรือไม่11:47ColBert คืออะไร ช่วยทำ Reranker ในกระบวนการ RAG ได้หรือไม่
ColBert คืออะไร ช่วยทำ Reranker ในกระบวนการ RAG ได้หรือไม่Softnix
Просмотров 29
如何花20美元掘一下互联网的根？9:41如何花20美元掘一下互联网的根？
如何花20美元掘一下互联网的根？量子位
Просмотров 11 тыс.
GEEK TIMË [OFFICIAL AUDIO]02:51GEEK TIMË [OFFICIAL AUDIO]
GEEK TIMË [OFFICIAL AUDIO]Yeat Music
Просмотров 282 тыс.
Chino Pacas - Modo Capone (with Drake & Fuerza Regida) [Video Oficial]03:23Chino Pacas - Modo Capone (with Drake & Fuerza Regida) [Video Oficial]
Chino Pacas - Modo Capone (with Drake & Fuerza Regida) [Video Oficial]Chino Pacas
Просмотров 863 тыс.
FIRST LOOK: Ferrari F80 - 1200hp, 4WD, LaFerrari Successor!17:37FIRST LOOK: Ferrari F80 – 1200hp, 4WD, LaFerrari Successor!
FIRST LOOK: Ferrari F80 - 1200hp, 4WD, LaFerrari Successor!Top Gear
Просмотров 800 тыс.
“Dragon Ball DAIMA” The Opening animation / "Jaka Jaan”01:31“Dragon Ball DAIMA” The Opening animation / "Jaka Jaan”
“Dragon Ball DAIMA” The Opening animation / "Jaka Jaan”東映アニメーション公式YouTubeチャンネル
Просмотров 1,1 млн
AI, Machine Learning, Deep Learning and Generative AI Explained10:01AI, Machine Learning, Deep Learning and Generative AI Explained
AI, Machine Learning, Deep Learning and Generative AI ExplainedIBM Technology
Просмотров 372 тыс.
三体问题究竟是什么？为什么说科学的尽头是神学？23:24三体问题究竟是什么？为什么说科学的尽头是神学？
三体问题究竟是什么？为什么说科学的尽头是神学？李永乐老师
Просмотров 1,4 млн
从零开始学习大语言模型（一）20:13从零开始学习大语言模型（一）
从零开始学习大语言模型（一）林亦LYi
Просмотров 220 тыс.
YOLOV9 實作指南：從零開始的手把手教學 | You Only Look Once | 沒有困難的理論只有快速的實作教學 | 使用自己的資料集訓練辨識11:56YOLOV9 實作指南：從零開始的手把手教學 | You Only Look Once | 沒有困難的理論只有快速的實作教學 | 使用自己的資料集訓練辨識
YOLOV9 實作指南：從零開始的手把手教學 | You Only Look Once | 沒有困難的理論只有快速的實作教學 | 使用自己的資料集訓練辨識工程師の師
Просмотров 2,8 тыс.
【生成式AI導論 2024】第1講：生成式AI是什麼？29:29【生成式AI導論 2024】第1講：生成式AI是什麼？
【生成式AI導論 2024】第1講：生成式AI是什麼？Hung-yi Lee
Просмотров 217 тыс.
深度强化学习(1/5)：基本概念 Deep Reinforcement Learning (1/5)40:01深度强化学习(1/5)：基本概念 Deep Reinforcement Learning (1/5)
深度强化学习(1/5)：基本概念 Deep Reinforcement Learning (1/5)Shusen Wang
Просмотров 101 тыс.
Why Does Diffusion Work Better than Auto-Regression?20:18Why Does Diffusion Work Better than Auto-Regression?
Why Does Diffusion Work Better than Auto-Regression?Algorithmic Simplicity
Просмотров 350 тыс.
ViT太慢了，知识蒸馏后得到的DeiT又快又好！39:07ViT太慢了，知识蒸馏后得到的DeiT又快又好！
ViT太慢了，知识蒸馏后得到的DeiT又快又好！Ph.D. Vlog
Просмотров 492
Виталику заготовлен отдельный котёл01:00Виталику заготовлен отдельный котёл
Виталику заготовлен отдельный котёлCadrol&Fatich
Просмотров 837 тыс.
Впервые у экстрасенса01:00Впервые у экстрасенса
Впервые у экстрасенсаCadrol&Fatich
Просмотров 173 тыс.
Дело Фургала. Прокурор считает пост губернатора прикрытием для преступника #фургал #суд #shorts00:38Дело Фургала. Прокурор считает пост губернатора прикрытием для преступника #фургал #суд #shorts
Дело Фургала. Прокурор считает пост губернатора прикрытием для преступника #фургал #суд #shortssotavision
Просмотров 255 тыс.
С 1956 года В ОДНОЙ СЕМЬЕ! СЛОВО ПАЦАНА, что мы её ВОССТАНОВИМ!53:17С 1956 года В ОДНОЙ СЕМЬЕ! СЛОВО ПАЦАНА, что мы её ВОССТАНОВИМ!
С 1956 года В ОДНОЙ СЕМЬЕ! СЛОВО ПАЦАНА, что мы её ВОССТАНОВИМ!ФОРСАЖ
Просмотров 879 тыс.
КАМИЛЬ ПОПАЛ В ТЮРЬМУ 😨 РАЗБИЛИ СТЕКЛО ТАЧКИ АМИНА ПОДРУЖИЛАСЬ С КВАДРОБЕРОМ ?13:02КАМИЛЬ ПОПАЛ В ТЮРЬМУ 😨 РАЗБИЛИ СТЕКЛО ТАЧКИ АМИНА ПОДРУЖИЛАСЬ С КВАДРОБЕРОМ ?
КАМИЛЬ ПОПАЛ В ТЮРЬМУ 😨 РАЗБИЛИ СТЕКЛО ТАЧКИ АМИНА ПОДРУЖИЛАСЬ С КВАДРОБЕРОМ ?KiKiDo
Просмотров 708 тыс.
Егор Сплит / Крид - Сплит ( Премьера Клипа 2024 )02:44Егор Сплит / Крид - Сплит ( Премьера Клипа 2024 )
Егор Сплит / Крид - Сплит ( Премьера Клипа 2024 )Егор Крид
Просмотров 197 тыс.
Кто-то купил WinRar? #shorts #шортс #новости #факты00:53Кто-то купил WinRar? #shorts #шортс #новости #факты
Кто-то купил WinRar? #shorts #шортс #новости #фактыThis is Хорошо
Просмотров 286 тыс.
МЫ ИСКАЛИ ЕЁ ТРИ ГОДА, но никто не ожидал что будет дальше…38:49МЫ ИСКАЛИ ЕЁ ТРИ ГОДА, но никто не ожидал что будет дальше…
МЫ ИСКАЛИ ЕЁ ТРИ ГОДА, но никто не ожидал что будет дальше…СЛОВО ПАЦАНА
Просмотров 708 тыс.