[vLLM Office Hours] 2024 Highlights and 2025 Roadmap

Поделиться
HTML-код
  • Опубликовано: 19 дек 2024

Комментарии • 1

  • @mfc1190
    @mfc1190 35 минут назад

    Great work on this project! I’ve loved the simplicity + perf when using it.

Следующие
Автовоспроизведение
vLLM Office Hours - Advanced Techniques for Maximizing vLLM Performance - September 19, 202452:35vLLM Office Hours - Advanced Techniques for Maximizing vLLM Performance - September 19, 2024
vLLM Office Hours - Advanced Techniques for Maximizing vLLM Performance - September 19, 2024Neural Magic
Просмотров 1,8 тыс.
vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 202456:09vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024
vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024Neural Magic
Просмотров 1,6 тыс.
vLLM Office Hours - SOTA Tool-Calling Implementation in vLLM - November 7, 202459:55vLLM Office Hours - SOTA Tool-Calling Implementation in vLLM - November 7, 2024
vLLM Office Hours - SOTA Tool-Calling Implementation in vLLM - November 7, 2024Neural Magic
Просмотров 472
Marvel Rivals | Winter Celebration, Joyful Jubilation01:50Marvel Rivals | Winter Celebration, Joyful Jubilation
Marvel Rivals | Winter Celebration, Joyful JubilationMarvel Rivals
Просмотров 1 млн
The White Lotus Season 3 | Official Teaser | Max01:34The White Lotus Season 3 | Official Teaser | Max
The White Lotus Season 3 | Official Teaser | MaxMax
Просмотров 1,3 млн
Superman - Teaser Trailer Tomorrow00:31Superman - Teaser Trailer Tomorrow
Superman - Teaser Trailer TomorrowDC
Просмотров 1,1 млн
The Breakfast Club Reacts To Jay-Z’s Attorney Saying Him & Diddy Aren’t Friends + More13:45The Breakfast Club Reacts To Jay-Z’s Attorney Saying Him & Diddy Aren’t Friends + More
The Breakfast Club Reacts To Jay-Z’s Attorney Saying Him & Diddy Aren’t Friends + MoreBreakfast Club Power 105.1 FM
Просмотров 704 тыс.
vLLM Office Hours - Disaggregated Prefill and KV Cache Storage in vLLM - November 14, 202448:06vLLM Office Hours - Disaggregated Prefill and KV Cache Storage in vLLM - November 14, 2024
vLLM Office Hours - Disaggregated Prefill and KV Cache Storage in vLLM - November 14, 2024Neural Magic
Просмотров 549
vLLM Office Hours - Speculative Decoding in vLLM - October 3, 20241:04:28vLLM Office Hours - Speculative Decoding in vLLM - October 3, 2024
vLLM Office Hours - Speculative Decoding in vLLM - October 3, 2024Neural Magic
Просмотров 993
vLLM Office Hours - Deep Dive into Mistral on vLLM - October 17, 202449:38vLLM Office Hours - Deep Dive into Mistral on vLLM - October 17, 2024
vLLM Office Hours - Deep Dive into Mistral on vLLM - October 17, 2024Neural Magic
Просмотров 782
vLLM Office Hours - Exploring Machete, a Mixed-Input GEMM Kernel for Hopper GPUs - December 5, 202444:31vLLM Office Hours - Exploring Machete, a Mixed-Input GEMM Kernel for Hopper GPUs - December 5, 2024
vLLM Office Hours - Exploring Machete, a Mixed-Input GEMM Kernel for Hopper GPUs - December 5, 2024Neural Magic
Просмотров 425
vLLM Office Hours - vLLM on AMD GPUs and Google TPUs - August 21, 202448:13vLLM Office Hours - vLLM on AMD GPUs and Google TPUs - August 21, 2024
vLLM Office Hours - vLLM on AMD GPUs and Google TPUs - August 21, 2024Neural Magic
Просмотров 662
vLLM Office Hours - Using NVIDIA CUTLASS for High-Performance Inference - September 05, 20241:13:14vLLM Office Hours - Using NVIDIA CUTLASS for High-Performance Inference - September 05, 2024
vLLM Office Hours - Using NVIDIA CUTLASS for High-Performance Inference - September 05, 2024Neural Magic
Просмотров 2,4 тыс.
Unlock Faster and More Efficient LLMs with SparseGPT42:27Unlock Faster and More Efficient LLMs with SparseGPT
Unlock Faster and More Efficient LLMs with SparseGPTNeural Magic
Просмотров 2,2 тыс.
Market dip a buying opportunity, says Fundstrats' Tom Lee5:11Market dip a buying opportunity, says Fundstrats' Tom Lee
Market dip a buying opportunity, says Fundstrats' Tom LeeCNBC Television
Просмотров 152 тыс.
Deploy LLMs More Efficiently with vLLM and Neural Magic33:21Deploy LLMs More Efficiently with vLLM and Neural Magic
Deploy LLMs More Efficiently with vLLM and Neural MagicNeural Magic
Просмотров 1,1 тыс.
Крушение поездов под Мурманском на станции Княжая!08:47Крушение поездов под Мурманском на станции Княжая!
Крушение поездов под Мурманском на станции Княжая!PRO МЕТРО
Просмотров 151 тыс.
ЕКАТЕРИНА ШУЛЬМАН: когда закончится февраль, о Трампе и спорах в оппозиции1:53:44ЕКАТЕРИНА ШУЛЬМАН: когда закончится февраль, о Трампе и спорах в оппозиции
ЕКАТЕРИНА ШУЛЬМАН: когда закончится февраль, о Трампе и спорах в оппозицииОсторожно: Собчак
Просмотров 1,9 млн
[L🎧R] WAIT✋ #cover #singing00:15[L🎧R] WAIT✋ #cover #singing
[L🎧R] WAIT✋ #cover #singingCha Dabin
Просмотров 2,2 млн
Егор Жуков - куда и почему он пропал / вДудь3:32:29Егор Жуков – куда и почему он пропал / вДудь
Егор Жуков - куда и почему он пропал / вДудьвДудь
Просмотров 899 тыс.
БЫВШАЯ ВЕРНУЛАСЬ В КАМПУС 😱 ОПОЗОРИЛАСЬ ПЕРЕД КЛАССОМ 👎 КАМИЛЬ ПОРУГАЛСЯ ДРУГОМ ИЗ ЗА ДЕВЧОНКИ14:50БЫВШАЯ ВЕРНУЛАСЬ В КАМПУС 😱 ОПОЗОРИЛАСЬ ПЕРЕД КЛАССОМ 👎 КАМИЛЬ ПОРУГАЛСЯ ДРУГОМ ИЗ ЗА ДЕВЧОНКИ
БЫВШАЯ ВЕРНУЛАСЬ В КАМПУС 😱 ОПОЗОРИЛАСЬ ПЕРЕД КЛАССОМ 👎 КАМИЛЬ ПОРУГАЛСЯ ДРУГОМ ИЗ ЗА ДЕВЧОНКИKiKiDo
Просмотров 593 тыс.
Qizim 164-qism | Zilola bunaqa qaynonaga chidolmaydi01:35Qizim 164-qism | Zilola bunaqa qaynonaga chidolmaydi
Qizim 164-qism | Zilola bunaqa qaynonaga chidolmaydiCineMediA
Просмотров 485 тыс.
200 СУНДУКОВ С АРКАНОЙ НА ВР! И Новогодние Подарки в Dota 215:43200 СУНДУКОВ С АРКАНОЙ НА ВР! И Новогодние Подарки в Dota 2
200 СУНДУКОВ С АРКАНОЙ НА ВР! И Новогодние Подарки в Dota 2finargot
Просмотров 53 тыс.
ТЕСЛА против ФОЛЬКСВАГЕН ПОЛО. ДОРОХОВ х АСАФЬЕВ / РАЗГОН НА ТРЕКЕ54:18ТЕСЛА против ФОЛЬКСВАГЕН ПОЛО. ДОРОХОВ х АСАФЬЕВ / РАЗГОН НА ТРЕКЕ
ТЕСЛА против ФОЛЬКСВАГЕН ПОЛО. ДОРОХОВ х АСАФЬЕВ / РАЗГОН НА ТРЕКЕРазгон
Просмотров 445 тыс.