DistServe: disaggregating prefill and decoding for goodput-optimized LLM inference

Поделиться
HTML-код
  • Опубликовано: 2 фев 2025

Комментарии • 3

  • @SC-uv5le
    @SC-uv5le 17 дней назад

    Safes me from reading the entire paper on a Friday 😂! Thanks very insightful! Great questions as well.

  • @kartikramesh9649
    @kartikramesh9649 18 дней назад

    really cool talk, thanks!

  • @PyTorch
    @PyTorch  3 месяца назад

    Slides available at: drive.google.com/file/d/1MDw6zBzQFc2mkgUCy09ORwFRZYb-UuyU/view

Следующие
Автовоспроизведение
Understanding the LLM Inference Workload - Mark Moyou, NVIDIA34:14Understanding the LLM Inference Workload - Mark Moyou, NVIDIA
Understanding the LLM Inference Workload - Mark Moyou, NVIDIAPyTorch
Просмотров 7 тыс.
PyTorch Expert Exchange Hacker Cup AI29:18PyTorch Expert Exchange Hacker Cup AI
PyTorch Expert Exchange Hacker Cup AIPyTorch
Просмотров 1,2 тыс.
BAD NEWS FOR PALANTIR LEAKED BEFORE FEB 3?❗IF YOU OWN MORE THAN $1,000 WORTH OF PALANTIR STOCK-WATCH9:18BAD NEWS FOR PALANTIR LEAKED BEFORE FEB 3?❗IF YOU OWN MORE THAN $1,000 WORTH OF PALANTIR STOCK-WATCH
BAD NEWS FOR PALANTIR LEAKED BEFORE FEB 3?❗IF YOU OWN MORE THAN $1,000 WORTH OF PALANTIR STOCK-WATCHJourney2Wealth
Просмотров 2,4 тыс.
Stray Kids Answers 30 Questions As Quickly As Possible05:56Stray Kids Answers 30 Questions As Quickly As Possible
Stray Kids Answers 30 Questions As Quickly As PossibleBuzzFeed Celeb
Просмотров 425 тыс.
Rory McIlroy, Scottie Scheffler vs Bryson DeChambeau, Brooks Koepka | Crypto.com Showdown Highlights20:22Rory McIlroy, Scottie Scheffler vs Bryson DeChambeau, Brooks Koepka | Crypto.com Showdown Highlights
Rory McIlroy, Scottie Scheffler vs Bryson DeChambeau, Brooks Koepka | Crypto.com Showdown HighlightsBleacher Report
Просмотров 190 тыс.
SIDEMEN AMONG US MAGE ROLE: CAST A LIGHTNING STRIKE TO WIN45:06SIDEMEN AMONG US MAGE ROLE: CAST A LIGHTNING STRIKE TO WIN
SIDEMEN AMONG US MAGE ROLE: CAST A LIGHTNING STRIKE TO WINMoreSidemen
Просмотров 3,9 млн
Exposing the Blox Fruits Dragon Update22:40Exposing the Blox Fruits Dragon Update
Exposing the Blox Fruits Dragon UpdateKoopekool
Просмотров 1,4 млн
Ilya Sutskever: "Sequence to sequence learning with neural networks: what a decade"24:37Ilya Sutskever: "Sequence to sequence learning with neural networks: what a decade"
Ilya Sutskever: "Sequence to sequence learning with neural networks: what a decade"seremot
Просмотров 171 тыс.
Visualizing transformers and attention | Talk for TNG Big Tech Day '2457:45Visualizing transformers and attention | Talk for TNG Big Tech Day '24
Visualizing transformers and attention | Talk for TNG Big Tech Day '24Grant Sanderson
Просмотров 399 тыс.
vLLM: Easy, Fast, and Cheap LLM Serving, Woosuk Kwon, UC Berkeley22:30vLLM: Easy, Fast, and Cheap LLM Serving, Woosuk Kwon, UC Berkeley
vLLM: Easy, Fast, and Cheap LLM Serving, Woosuk Kwon, UC BerkeleyAMD Developer Central
Просмотров 488
OSDI '24 - DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language...14:52OSDI '24 - DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language...
OSDI '24 - DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language...USENIX
Просмотров 564
Accelerating scientific discovery with AI29:02Accelerating scientific discovery with AI
Accelerating scientific discovery with AIVetenskapsakademien
Просмотров 58 тыс.
Keynote: PyTorch 2.1 Technical Deep Dive - Mario, Mark, Mergen, Joe, Peng, Will, Yanan53:46Keynote: PyTorch 2.1 Technical Deep Dive - Mario, Mark, Mergen, Joe, Peng, Will, Yanan
Keynote: PyTorch 2.1 Technical Deep Dive - Mario, Mark, Mergen, Joe, Peng, Will, YananPyTorch
Просмотров 6 тыс.
Running State-of-Art Gen AI Models on-Device with NPU Acceleration - Felix Baum, Qualcomm24:21Running State-of-Art Gen AI Models on-Device with NPU Acceleration - Felix Baum, Qualcomm
Running State-of-Art Gen AI Models on-Device with NPU Acceleration - Felix Baum, QualcommPyTorch
Просмотров 1 тыс.
AI Is Making You An Illiterate Programmer27:22AI Is Making You An Illiterate Programmer
AI Is Making You An Illiterate ProgrammerThePrimeTime
Просмотров 268 тыс.
Andrew Ng Explores The Rise Of AI Agents And Agentic Reasoning | BUILD 2024 Keynote26:52Andrew Ng Explores The Rise Of AI Agents And Agentic Reasoning | BUILD 2024 Keynote
Andrew Ng Explores The Rise Of AI Agents And Agentic Reasoning | BUILD 2024 KeynoteSnowflake Inc.
Просмотров 526 тыс.
#makeup #makeupshorts #makeuptutorial #shortsvideo #makeupartist #makeupreview #trend00:57#makeup #makeupshorts #makeuptutorial #shortsvideo #makeupartist #makeupreview #trend
#makeup #makeupshorts #makeuptutorial #shortsvideo #makeupartist #makeupreview #trendباتو مارديني | Bato Mardini
Просмотров 1 млн
Cat 🐈‍⬛😂00:19Cat 🐈‍⬛😂
Cat 🐈‍⬛😂Nadir Show
Просмотров 1,5 млн
[ОПЕЧАТКИ] Готовлю ТРИ дня! Шедевр! Теперь и на продажу можно печь, и для подарков! Печенье ЛЮБИМОЕ12:02[ОПЕЧАТКИ] Готовлю ТРИ дня! Шедевр! Теперь и на продажу можно печь, и для подарков! Печенье ЛЮБИМОЕ
[ОПЕЧАТКИ] Готовлю ТРИ дня! Шедевр! Теперь и на продажу можно печь, и для подарков! Печенье ЛЮБИМОЕКухня наизнанку
Просмотров 103 тыс.
Сестра плохому не научит 😃00:44Сестра плохому не научит 😃
Сестра плохому не научит 😃Viki Show
Просмотров 670 тыс.
Купил ЗАКРЫТЫЙ КОНТЕЙНЕР на Аукционе и нашел ИГРОВОЙ АВТОМАТ!37:38Купил ЗАКРЫТЫЙ КОНТЕЙНЕР на Аукционе и нашел ИГРОВОЙ АВТОМАТ!
Купил ЗАКРЫТЫЙ КОНТЕЙНЕР на Аукционе и нашел ИГРОВОЙ АВТОМАТ!Антон ЛАВ Лазарев
Просмотров 132 тыс.
СОТРУДНИК ИЗДЕВАЕТСЯ НАД ПОКУПАТЕЛЯМИ, УГP0ЖAET И СМЕЕТСЯ? 10 ЧАСОВ В МАГАЗИНЕ! ИЗЪЯЛИ НА 200 000руб1:39:36СОТРУДНИК ИЗДЕВАЕТСЯ НАД ПОКУПАТЕЛЯМИ, УГP0ЖAET И СМЕЕТСЯ? 10 ЧАСОВ В МАГАЗИНЕ! ИЗЪЯЛИ НА 200 000руб
СОТРУДНИК ИЗДЕВАЕТСЯ НАД ПОКУПАТЕЛЯМИ, УГP0ЖAET И СМЕЕТСЯ? 10 ЧАСОВ В МАГАЗИНЕ! ИЗЪЯЛИ НА 200 000рубARTEM WOLF
Просмотров 679 тыс.
ВСЕ УМЕРЛИ?! Поппи Плейтайм 4 #5 - Poppy Playtime Chapter 431:55ВСЕ УМЕРЛИ?! Поппи Плейтайм 4 #5 - Poppy Playtime Chapter 4
ВСЕ УМЕРЛИ?! Поппи Плейтайм 4 #5 - Poppy Playtime Chapter 4windy31
Просмотров 943 тыс.
МОЖНО ПОТЕРЯТЬ СЛУХ НА КОНЦЕРТЕ СИГМА БОЯ? #янгер #shorts00:20МОЖНО ПОТЕРЯТЬ СЛУХ НА КОНЦЕРТЕ СИГМА БОЯ? #янгер #shorts
МОЖНО ПОТЕРЯТЬ СЛУХ НА КОНЦЕРТЕ СИГМА БОЯ? #янгер #shortsЯНГЕР
Просмотров 453 тыс.