MLSys'24 Best Paper - AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

Поделиться
HTML-код
  • Опубликовано: 13 дек 2024
  • Talk video for MLSys 2024 Best Paper: "AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration" (May 14th at Santa Clara Convention Center, CA, US)
    Ji Lin*, Jiaming Tang*, Haotian Tang†, Shang Yang†, Wei-Ming Chen, Wei-Chen Wang, Guangxuan Xiao, Xingyu Dang, Chuang Gan, Song Han
    For more info, please visit:
    AWQ website: hanlab.mit.edu...
    Paper: arxiv.org/abs/...
    Code: github.com/mit...
  • РазвлеченияРазвлечения

Комментарии •

Следующие
Автовоспроизведение
Visualizing transformers and attention | Talk for TNG Big Tech Day '2457:45Visualizing transformers and attention | Talk for TNG Big Tech Day '24
Visualizing transformers and attention | Talk for TNG Big Tech Day '24Grant Sanderson
Просмотров 206 тыс.
Quantization vs Pruning vs Distillation: Optimizing NNs for Inference19:46Quantization vs Pruning vs Distillation: Optimizing NNs for Inference
Quantization vs Pruning vs Distillation: Optimizing NNs for InferenceEfficient NLP
Просмотров 24 тыс.
What Is an AI Anyway? | Mustafa Suleyman | TED22:02What Is an AI Anyway? | Mustafa Suleyman | TED
What Is an AI Anyway? | Mustafa Suleyman | TEDTED
Просмотров 1,8 млн
Peysoh - God, i needa know (Official Video)03:22Peysoh - God, i needa know (Official Video)
Peysoh - God, i needa know (Official Video)Peysoh
Просмотров 64 тыс.
We Bought Every Icon Tool at Harbor Freight48:02We Bought Every Icon Tool at Harbor Freight
We Bought Every Icon Tool at Harbor FreightBigTime
Просмотров 504 тыс.
CookinWitKya Pulled Up On Me…😍56:37CookinWitKya Pulled Up On Me…😍
CookinWitKya Pulled Up On Me…😍PontiacMadeDDG
Просмотров 723 тыс.
Jarahn - On My Way (Official Music Video) Jarahn feat. Studd Cruiser x Yansa Q03:58Jarahn - On My Way (Official Music Video) Jarahn feat. Studd Cruiser x Yansa Q
Jarahn - On My Way (Official Music Video) Jarahn feat. Studd Cruiser x Yansa QJarahn
Просмотров 58 тыс.
Stanford Webinar - Large Language Models Get the Hype, but Compound Systems Are the Future of AI58:06Stanford Webinar - Large Language Models Get the Hype, but Compound Systems Are the Future of AI
Stanford Webinar - Large Language Models Get the Hype, but Compound Systems Are the Future of AIStanford Online
Просмотров 43 тыс.
PyConEstonia 24: Rakhim Davletkaliyev, "Quantum Computing Is Kind of Real, and Python is in its DNA"43:24PyConEstonia 24: Rakhim Davletkaliyev, "Quantum Computing Is Kind of Real, and Python is in its DNA"
PyConEstonia 24: Rakhim Davletkaliyev, "Quantum Computing Is Kind of Real, and Python is in its DNA"Python Estonia
Просмотров 694
AWQ for LLM Quantization20:40AWQ for LLM Quantization
AWQ for LLM QuantizationMIT HAN Lab
Просмотров 8 тыс.
Lecture 2: Experimental Facts of Life1:20:12Lecture 2: Experimental Facts of Life
Lecture 2: Experimental Facts of LifeMIT OpenCourseWare
Просмотров 1,7 млн
Speculations on Test-Time Scaling (o1)47:56Speculations on Test-Time Scaling (o1)
Speculations on Test-Time Scaling (o1)Sasha Rush 🤗
Просмотров 16 тыс.
How To Prepare AI For Uses In Science23:49How To Prepare AI For Uses In Science
How To Prepare AI For Uses In ScienceForbes
Просмотров 27 тыс.
LoRA explained (and a bit about precision and quantization)17:07LoRA explained (and a bit about precision and quantization)
LoRA explained (and a bit about precision and quantization)DeepFindr
Просмотров 68 тыс.
Jochen Cremer - Opportunities & Challenges in Graph-Based Learning for Power System Application43:30Jochen Cremer - Opportunities & Challenges in Graph-Based Learning for Power System Application
Jochen Cremer - Opportunities & Challenges in Graph-Based Learning for Power System ApplicationElvin isufi
Просмотров 2
Jeff Dean (Google): Exciting Trends in Machine Learning1:12:30Jeff Dean (Google): Exciting Trends in Machine Learning
Jeff Dean (Google): Exciting Trends in Machine LearningRice Ken Kennedy Institute
Просмотров 176 тыс.
Новенькая в деревне втащила дерзкой продавщице #лучшеекино #лучшиесериалы00:55Новенькая в деревне втащила дерзкой продавщице #лучшеекино #лучшиесериалы
Новенькая в деревне втащила дерзкой продавщице #лучшеекино #лучшиесериалыОстаться в живых
Просмотров 3,9 млн
Угар 🤣 Аня Дима Тео #аняищук #димасблог00:43Угар 🤣 Аня Дима Тео #аняищук #димасблог
Угар 🤣 Аня Дима Тео #аняищук #димасблогАня Ищук и Димасблог фан канал
Просмотров 5 млн
Глаза уже не те 🤣🤣00:58Глаза уже не те 🤣🤣
Глаза уже не те 🤣🤣RofloRezka
Просмотров 4,3 млн
Гусеница стала бабочкой 🦋00:42Гусеница стала бабочкой 🦋
Гусеница стала бабочкой 🦋Einstein_shorts
Просмотров 3,1 млн
🛑обоюдная!00:16🛑обоюдная!
🛑обоюдная!Арсений Бардаш
Просмотров 7 млн
Валокордин и Корвалол: надежные средства для успокоения?00:47Валокордин и Корвалол: надежные средства для успокоения?
Валокордин и Корвалол: надежные средства для успокоения?ФактоФабрика🧠
Просмотров 2,6 млн
КАК РЕАГИРОВАТЬ НА АГРЕССИЮ ТУТ🫶00:16КАК РЕАГИРОВАТЬ НА АГРЕССИЮ ТУТ🫶
КАК РЕАГИРОВАТЬ НА АГРЕССИЮ ТУТ🫶Виктория Аноприкова. Ключ к изобилию
Просмотров 1,6 млн
ДЕД ЗНАЕТ, ЧТО ТОЛКАТЬ 😂🤣🚘00:18ДЕД ЗНАЕТ, ЧТО ТОЛКАТЬ 😂🤣🚘
ДЕД ЗНАЕТ, ЧТО ТОЛКАТЬ 😂🤣🚘ShortsVoronin
Просмотров 3,5 млн