Размер видео: 1280 X 720853 X 480640 X 360
Показать панель управления
Автовоспроизведение
Автоповтор
视频中资料:techdiylife.github.io/blog/topic.html?category2=t08&blogid=0058
清晰易懂,干货满满
这种总结最实在,最受用!辛苦了!
看标题进来的,但实际没听到与标题直接相关的干货结论。
实际情况比较复杂,不同的设置显存和速度差异都很大。建议去看置顶留言中的文档。显存的话可以粗略估计,8bit量化时,可以用参数量数乘以1.2估算。比如7B,显存占用8.4G
视频中资料:techdiylife.github.io/blog/topic.html?category2=t08&blogid=0058
清晰易懂,干货满满
这种总结最实在,最受用!辛苦了!
看标题进来的,但实际没听到与标题直接相关的干货结论。
实际情况比较复杂,不同的设置显存和速度差异都很大。建议去看置顶留言中的文档。显存的话可以粗略估计,8bit量化时,可以用参数量数乘以1.2估算。比如7B,显存占用8.4G