从0.5B到340B的LLM都需要多少显存？

本期视频介绍了LLM推理时所需显存与推理速度，以及Batch-Size，上下文长度，不同量化如何影响显存与推理速度。

[@techdiylife]

视频中资料：techdiylife.github.io/blog/topic.html?category2=t08&blogid=0058

[@vaelephant]

清晰易懂，干货满满

[@xueyuandu]

这种总结最实在，最受用！辛苦了！