Размер видео: 1280 X 720853 X 480640 X 360
Показать панель управления
Автовоспроизведение
Автоповтор
来了,来了,01coder大佬讲课了! 离线4周, 需要补课了
每天都在等老师更新,每次学习都受益良多。
先按讚再來看!
先赞后看
M4 Ultra 192G 内存看来是需要提上日程了,,,
请问自己部署LLM和直接用gpt比有哪些好处呢?
@@leonvking0 我现在的帮公司评估本地方案【这个是刚需,总有内部数据不想上传到外网的】,所以想自己评估现在开源的性能能不能满足要求,毕竟开源进步很快,现在基本很大程度上可以替换 3.5 的一些场景了保不齐过段时间就可以部分替换 4 了,对吧
Hi, 01 coder你的是APPLE OS,APPLE的晶片設計 cpu+gpu 共享內存,不知道能加載的models數量或容量上限為何? 不知道其他人有試過嗎?印象中,LM studio 好像也可以同時加載多個LLM models,並幫你計算所以你加載模型的GB數量,提醒你走cuda時不要超過本地的Nvidia GPU容量,因為會容易爆顯存~印象中有試過,GPU閃退,LM studio control panel 直接掛掉死機~
"OLLAMA_NUM_PARALLEL=3 OLLAMA_MAX_LOADED_MODELS=2 ollama serve" is for running CLI, how to configure those parameters for running ollama as service?
就我所知,這次ollama的新feature只是補足原本無法多請求併發的問題。請問這與vllm相比之下,會有較好的性能嗎?
没有测试对比过,还不好说。个人感觉在需要并发的环境中还是vLLM更能满足需求
您好老师,我发现vllm不能运行在多GPU的环境中,我的GPU是H20,不知道哪里的问题@@01coder30
ollama导入是gguf格式的模型文件,怎么生成或转换这些文件。导入到ollama中,希望老师能多多指导下。
請問有影片講解怎麼用openAI API 或是本地的LLM 搭配RAG實操練習呢?如果openAI API assistant使用File search上傳個人知識txt檔案,如果要assistant 看根據上傳的檔案的內容規則把我另外輸入的文本分類,這會消耗額外的tokens和費用嗎? 謝謝
老师能否讲讲LLaMA-Factory 系列,它跟ollama服务怎么联通起来。
老哥,我跑langchain开了ollama serve并发,但是处理的时候还是一个一个排队的,langchain也是abatch并发,一直找不到原因。能指点指点么?
请问win下怎么设置启动参数?
#大神看能不能强强联合#有个开源项目AirLLM可以实现4GB显存运行Llama3 70B大模型,那能不能把AirLLM与ollama做某种形式的结合,实现在个人消费级电脑上流畅运行Llama3 70B等大模型?我不是技术人员,英语也不行,真心求问!如果可行的话反映给ollama开发者,
更新之后,发现是可以并发了,但RAG失灵了!
我的 Ollama 服务器闲置一段时间后进入休眠状态。如何让它继续运行?
Ollama有个keep_alive参数,或许是你需要的
ollama 可以用在生成环境吗?
要看你的生产环境流量和并发量了。你可以测试一下 Ollama 的这个并发支持是否支持你的环境
来了,来了,01coder大佬讲课了! 离线4周, 需要补课了
每天都在等老师更新,每次学习都受益良多。
先按讚再來看!
先赞后看
M4 Ultra 192G 内存看来是需要提上日程了,,,
请问自己部署LLM和直接用gpt比有哪些好处呢?
@@leonvking0 我现在的帮公司评估本地方案【这个是刚需,总有内部数据不想上传到外网的】,所以想自己评估现在开源的性能能不能满足要求,毕竟开源进步很快,现在基本很大程度上可以替换 3.5 的一些场景了保不齐过段时间就可以部分替换 4 了,对吧
Hi, 01 coder
你的是APPLE OS,APPLE的晶片設計 cpu+gpu 共享內存,不知道能加載的models數量或容量上限為何? 不知道其他人有試過嗎?
印象中,LM studio 好像也可以同時加載多個LLM models,並幫你計算所以你加載模型的GB數量,提醒你走cuda時不要超過本地的Nvidia GPU容量,因為會容易爆顯存~印象中有試過,GPU閃退,LM studio control panel 直接掛掉死機~
"OLLAMA_NUM_PARALLEL=3 OLLAMA_MAX_LOADED_MODELS=2 ollama serve" is for running CLI, how to configure those parameters for running ollama as service?
就我所知,這次ollama的新feature只是補足原本無法多請求併發的問題。
請問這與vllm相比之下,會有較好的性能嗎?
没有测试对比过,还不好说。个人感觉在需要并发的环境中还是vLLM更能满足需求
您好老师,我发现vllm不能运行在多GPU的环境中,我的GPU是H20,不知道哪里的问题@@01coder30
ollama导入是gguf格式的模型文件,怎么生成或转换这些文件。导入到ollama中,希望老师能多多指导下。
請問有影片講解怎麼用openAI API 或是本地的LLM 搭配RAG實操練習呢?
如果openAI API assistant使用File search上傳個人知識txt檔案,如果要assistant 看根據上傳的檔案的內容規則把我另外輸入的文本分類,這會消耗額外的tokens和費用嗎? 謝謝
老师能否讲讲LLaMA-Factory 系列,它跟ollama服务怎么联通起来。
老哥,我跑langchain开了ollama serve并发,但是处理的时候还是一个一个排队的,langchain也是abatch并发,一直找不到原因。能指点指点么?
请问win下怎么设置启动参数?
#大神看能不能强强联合#
有个开源项目AirLLM可以实现4GB显存运行Llama3 70B大模型,那能不能把AirLLM与ollama做某种形式的结合,实现在个人消费级电脑上流畅运行Llama3 70B等大模型?我不是技术人员,英语也不行,真心求问!如果可行的话反映给ollama开发者,
更新之后,发现是可以并发了,但RAG失灵了!
我的 Ollama 服务器闲置一段时间后进入休眠状态。如何让它继续运行?
Ollama有个keep_alive参数,或许是你需要的
ollama 可以用在生成环境吗?
要看你的生产环境流量和并发量了。你可以测试一下 Ollama 的这个并发支持是否支持你的环境