小显卡玩转大模型，模型分层推理法

本期视频为您介绍模型分层推理法，它可以让您在小显存GPU上运行大模型。快来看看我在7B和14B模型上的测试结果吧！
0:00 内容介绍
0:57 模型分层法
2:51 推理速度评测
6:09 总结与模型推理设置
#LLM #qwen #大模型 #推理 #Inference #Huggingface

[@techdiylife]

本视频对应文档：
techdiylife.github.io/blog/blog.html?category1=c02&blogid=0033
自己学不如一起学，欢迎加入 AI 共学会：
techdiylife.github.io/blog/blog.html?category1=c05&blogid=0032

[@rogerroan7583]

這推理速度實在太悲慘，還是乖乖的買h100或是用together ai grok等雲端跑開源大型模型

[@abner7502]

想知道下UP主 物理机具体的配置清单，能说下吗，谢谢。

[@abner7502]

想知道下up主 物理机 具体的配置清单，能说下吗？谢谢。

[@techdiylife]

64G内存，24G 3090 GPU x 2

[@abner7502]

@@techdiylife 用的什么主板呀

[@techdiylife]

@@abner7502 不是自己组装的