What is LLM quantization?

Поделиться
HTML-код
  • Опубликовано: 11 сен 2024

Комментарии • 7

  • @DeanCassady
    @DeanCassady 2 месяца назад +1

    Most clear definition of quantization, thx!!!!

    • @envynoir
      @envynoir 2 месяца назад

      what kind of off-brand emojis are you using?

  • @MagusArtStudios
    @MagusArtStudios 10 месяцев назад +3

    nice video very interesting

    • @AirtrainAI
      @AirtrainAI  10 месяцев назад

      Glad you liked it!

    • @victorchaba3599
      @victorchaba3599 5 месяцев назад

      Clear and easy to understand explanation. Nice video.

  • @ZachariasMaurice
    @ZachariasMaurice 10 дней назад

    224 Juliet Shores

  • @jacobgoodman2558
    @jacobgoodman2558 9 месяцев назад

    😇 'promo sm'

Следующие
Автовоспроизведение
Better not Bigger: Distilling LLMs into Specialized Models16:49Better not Bigger: Distilling LLMs into Specialized Models
Better not Bigger: Distilling LLMs into Specialized ModelsSnorkel AI
Просмотров 3,4 тыс.
But what is a GPT? Visual intro to transformers | Chapter 5, Deep Learning27:14But what is a GPT? Visual intro to transformers | Chapter 5, Deep Learning
But what is a GPT? Visual intro to transformers | Chapter 5, Deep Learning3Blue1Brown
Просмотров 3 млн
Quantization vs Pruning vs Distillation: Optimizing NNs for Inference19:46Quantization vs Pruning vs Distillation: Optimizing NNs for Inference
Quantization vs Pruning vs Distillation: Optimizing NNs for InferenceEfficient NLP
Просмотров 18 тыс.
Men Vs Women Survive The Wilderness For $500,00031:48Men Vs Women Survive The Wilderness For $500,000
Men Vs Women Survive The Wilderness For $500,000MrBeast
Просмотров 80 млн
iPhone 16 & 16 Pro First Look - Don’t Go Pro!?08:17iPhone 16 & 16 Pro First Look - Don’t Go Pro!?
iPhone 16 & 16 Pro First Look - Don’t Go Pro!?The Tech Chap
Просмотров 549 тыс.
nba 2k25 has cured my depression for the moment..10:47nba 2k25 has cured my depression for the moment..
nba 2k25 has cured my depression for the moment..GMAN
Просмотров 367 тыс.
Two Steps Ahead25:04Two Steps Ahead
Two Steps AheadNikocado Avocado
Просмотров 39 млн
Cursor Is Beating VS Code (...by forking it)18:00Cursor Is Beating VS Code (...by forking it)
Cursor Is Beating VS Code (...by forking it)Theo - t3․gg
Просмотров 69 тыс.
Exploring the Rise of Small Language Models2:42Exploring the Rise of Small Language Models
Exploring the Rise of Small Language ModelsNeudesic, an IBM Company
Просмотров 4,8 тыс.
LLaMa GPTQ 4-Bit Quantization. Billions of Parameters Made Smaller and Smarter. How Does it Work?11:03LLaMa GPTQ 4-Bit Quantization. Billions of Parameters Made Smaller and Smarter. How Does it Work?
LLaMa GPTQ 4-Bit Quantization. Billions of Parameters Made Smaller and Smarter. How Does it Work?AemonAlgiz
Просмотров 23 тыс.
LoRA & QLoRA Fine-tuning Explained In-Depth14:39LoRA & QLoRA Fine-tuning Explained In-Depth
LoRA & QLoRA Fine-tuning Explained In-DepthEntry Point AI
Просмотров 39 тыс.
Llama 1-bit quantization - why NVIDIA should be scared6:08Llama 1-bit quantization - why NVIDIA should be scared
Llama 1-bit quantization - why NVIDIA should be scaredGeorge Xian
Просмотров 23 тыс.
AWQ for LLM Quantization20:40AWQ for LLM Quantization
AWQ for LLM QuantizationMIT HAN Lab
Просмотров 7 тыс.
What is Retrieval-Augmented Generation (RAG)?6:36What is Retrieval-Augmented Generation (RAG)?
What is Retrieval-Augmented Generation (RAG)?IBM Technology
Просмотров 696 тыс.
Little-Known AI Tools Giving Academics an Unfair Advantage9:58Little-Known AI Tools Giving Academics an Unfair Advantage
Little-Known AI Tools Giving Academics an Unfair AdvantageAndy Stapleton
Просмотров 12 тыс.
Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral30:25Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral
Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO MistralMLOps.community
Просмотров 14 тыс.
Планы ВСУ провалились! #украина #россия #политика #новости #сво #всу #курск #покровск #shorts00:23Планы ВСУ провалились! #украина #россия #политика #новости #сво #всу #курск #покровск #shorts
Планы ВСУ провалились! #украина #россия #политика #новости #сво #всу #курск #покровск #shortsCTVBY
Просмотров 2,5 млн
Вопрос Ребром - Булкин59:32Вопрос Ребром - Булкин
Вопрос Ребром - БулкинGazgolder
Просмотров 998 тыс.
Почему не Попал?!00:15Почему не Попал?!
Почему не Попал?!Family Box
Просмотров 27 тыс.
Even Topsons insane reactions couldn't predict this #ti1300:27Even Topsons insane reactions couldn't predict this #ti13
Even Topsons insane reactions couldn't predict this #ti13ESL Dota 2
Просмотров 570 тыс.
A small kitten was dumped #cat #kitten #cutecat00:41A small kitten was dumped #cat #kitten #cutecat
A small kitten was dumped #cat #kitten #cutecatStocat
Просмотров 5 млн
BeastMasters Hawk just had enough #ti1300:30BeastMasters Hawk just had enough #ti13
BeastMasters Hawk just had enough #ti13ESL Dota 2
Просмотров 358 тыс.
Угадаете, с кем я провел целый день в Баку? 😉 #emin #baku #seabreeze #azerbaycan00:33Угадаете, с кем я провел целый день в Баку? 😉 #emin #baku #seabreeze #azerbaycan
Угадаете, с кем я провел целый день в Баку? 😉 #emin #baku #seabreeze #azerbaycanEminOfficial
Просмотров 218 тыс.
ПОСТОЯННИК ЛОМБАРДА #шоу #юмор #спб #фитнес #вау00:27ПОСТОЯННИК ЛОМБАРДА #шоу #юмор #спб #фитнес #вау
ПОСТОЯННИК ЛОМБАРДА #шоу #юмор #спб #фитнес #вауKURUCHBRO
Просмотров 650 тыс.