Lightning Talk: Exploring PiPPY, Tensor Parallel and Torchserve for Large... - Hamid Shojanazeri

Поделиться
HTML-код
  • Опубликовано: 15 сен 2024
  • Lightning Talk: Exploring PiPPY, Tensor Parallel and Torchserve for Large Model Inference - Hamid Shojanazeri, Meta
    Here, we talk about large model inference with Torchserve, using PiPPy, Tensor Parallel, challenges of distributed inference and available solutions. Discuss the features that Torchserve provide today for serving LLMs in production today.

Комментарии •

Следующие
Автовоспроизведение
Lightning Talk: The Fastest Path to Production: PyTorch Inference in Python - Mark Saroufim, Meta13:34Lightning Talk: The Fastest Path to Production: PyTorch Inference in Python - Mark Saroufim, Meta
Lightning Talk: The Fastest Path to Production: PyTorch Inference in Python - Mark Saroufim, MetaPyTorch
Просмотров 1,6 тыс.
Lightning Talk: Triton Compiler - Thomas Raoux, OpenAI16:13Lightning Talk: Triton Compiler - Thomas Raoux, OpenAI
Lightning Talk: Triton Compiler - Thomas Raoux, OpenAIPyTorch
Просмотров 8 тыс.
Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral30:25Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral
Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO MistralMLOps.community
Просмотров 14 тыс.
Thank You.08:08Thank You.
Thank You.TenZ
Просмотров 1,2 млн
Race Highlights | 2024 Azerbaijan Grand Prix08:11Race Highlights | 2024 Azerbaijan Grand Prix
Race Highlights | 2024 Azerbaijan Grand PrixFORMULA 1
Просмотров 4,7 млн
$1000 vs $9300 Drag Racing Tires | HiLow29:54$1000 vs $9300 Drag Racing Tires | HiLow
$1000 vs $9300 Drag Racing Tires | HiLowDonut
Просмотров 1 млн
Eminem - Like My Shit [Official Audio]03:48Eminem - Like My Shit [Official Audio]
Eminem - Like My Shit [Official Audio]EminemMusic
Просмотров 634 тыс.
AI can't cross this line and we don't know why.24:07AI can't cross this line and we don't know why.
AI can't cross this line and we don't know why.Welch Labs
Просмотров 317 тыс.
Gentle Introduction to Global Point Cloud Registration using Open3D21:23Gentle Introduction to Global Point Cloud Registration using Open3D
Gentle Introduction to Global Point Cloud Registration using Open3DAmnah's Lab
Просмотров 1,4 тыс.
Lightning Talk: PyTorch 2.0 on the ROCm Platform - Douglas Lehr, AMD11:31Lightning Talk: PyTorch 2.0 on the ROCm Platform - Douglas Lehr, AMD
Lightning Talk: PyTorch 2.0 on the ROCm Platform - Douglas Lehr, AMDPyTorch
Просмотров 4,9 тыс.
Official PyTorch Documentary: Powering the AI Revolution35:53Official PyTorch Documentary: Powering the AI Revolution
Official PyTorch Documentary: Powering the AI RevolutionPyTorch
Просмотров 180 тыс.
Introducing ExecuTorch from PyTorch Edge: On-Device AI... - Mergen Nachin & Orion Reblitz-Richardson22:07Introducing ExecuTorch from PyTorch Edge: On-Device AI... - Mergen Nachin & Orion Reblitz-Richardson
Introducing ExecuTorch from PyTorch Edge: On-Device AI... - Mergen Nachin & Orion Reblitz-RichardsonPyTorch
Просмотров 2,8 тыс.
PyTorch 2.0: Unlocking the Power of Deep Learning with the Torch Compile API - Christian Keller15:23PyTorch 2.0: Unlocking the Power of Deep Learning with the Torch Compile API - Christian Keller
PyTorch 2.0: Unlocking the Power of Deep Learning with the Torch Compile API - Christian KellerThe Linux Foundation
Просмотров 3,1 тыс.
Microservices with Databases can be challenging...20:52Microservices with Databases can be challenging...
Microservices with Databases can be challenging...Software Developer Diaries
Просмотров 32 тыс.
What's New for PyTorch Developer Infrastructure - Eli Uriegas & Omkar Salpekar20:47What's New for PyTorch Developer Infrastructure - Eli Uriegas & Omkar Salpekar
What's New for PyTorch Developer Infrastructure - Eli Uriegas & Omkar SalpekarPyTorch
Просмотров 1,3 тыс.
Invited Talk: PyTorch Distributed (DDP, RPC) - By Facebook Research Scientist Shen Li1:07:10Invited Talk: PyTorch Distributed (DDP, RPC) - By Facebook Research Scientist Shen Li
Invited Talk: PyTorch Distributed (DDP, RPC) - By Facebook Research Scientist Shen LiChaoyang He
Просмотров 18 тыс.
МОЙ ДРОН ЗАСНЯЛ РЕАЛЬНУЮ ЭЛЬ ГРАН МАЙЯ в Реальной Жизни!24:21МОЙ ДРОН ЗАСНЯЛ РЕАЛЬНУЮ ЭЛЬ ГРАН МАЙЯ в Реальной Жизни!
МОЙ ДРОН ЗАСНЯЛ РЕАЛЬНУЮ ЭЛЬ ГРАН МАЙЯ в Реальной Жизни!Аришнев
Просмотров 583 тыс.
Опозорил ЧИТЕРА на глазах ВСЕГО КЛАССА на Уроке в ZOOM...17:39Опозорил ЧИТЕРА на глазах ВСЕГО КЛАССА на Уроке в ZOOM...
Опозорил ЧИТЕРА на глазах ВСЕГО КЛАССА на Уроке в ZOOM...Domer Grief
Просмотров 882 тыс.
Brook steals pantsu from Jinx 💀 #onepiece #jinx #cosplay00:12Brook steals pantsu from Jinx 💀 #onepiece #jinx #cosplay
Brook steals pantsu from Jinx 💀 #onepiece #jinx #cosplayD Piddy
Просмотров 1,2 млн
News Weekly: legal firestorm, MicroStrategy boosts Bitcoin holdings, $HMSTR token ⚡️ Hamster News02:35News Weekly: legal firestorm, MicroStrategy boosts Bitcoin holdings, $HMSTR token ⚡️ Hamster News
News Weekly: legal firestorm, MicroStrategy boosts Bitcoin holdings, $HMSTR token ⚡️ Hamster NewsHamster Kombat
Просмотров 6 млн
MINECRAFT CREPPER EXPLODES SHARK PUPPET!00:15MINECRAFT CREPPER EXPLODES SHARK PUPPET!
MINECRAFT CREPPER EXPLODES SHARK PUPPET!Shark Puppet
Просмотров 6 млн
Я ЕЗЖУ НА ЧАЙКЕ КАЖДЫЙ ДЕНЬ И КАЙФУЮ.34:19Я ЕЗЖУ НА ЧАЙКЕ КАЖДЫЙ ДЕНЬ И КАЙФУЮ.
Я ЕЗЖУ НА ЧАЙКЕ КАЖДЫЙ ДЕНЬ И КАЙФУЮ.AcademeG DailyStream
Просмотров 297 тыс.
Pure Comedy #ti1300:38Pure Comedy #ti13
Pure Comedy #ti13ESL Dota 2
Просмотров 213 тыс.
ОБЗОР UFC 306 | ВСЕ БОИ | Шон О’Мэлли, Мераб Двалишвили, Алекса Грассо Валентина Шевченко16:24ОБЗОР UFC 306 | ВСЕ БОИ | Шон О’Мэлли, Мераб Двалишвили, Алекса Грассо Валентина Шевченко
ОБЗОР UFC 306 | ВСЕ БОИ | Шон О’Мэлли, Мераб Двалишвили, Алекса Грассо Валентина ШевченкоДикий бой
Просмотров 196 тыс.