Llama 3 + Ollama + Open WebUI打造本机强大GPT | 免费 快速 可定制 无审核 无屏蔽
HTML-код
- Опубликовано: 7 май 2024
- #ai #llama3 #ollama #chatgpt
Llama 3 + Ollama + Open WebUI打造本机强大GPT 有4大理由:
1. 云平台和餐馆需要你支付更多的Money, 而自己搭建的GPT和自己做饭一样省钱。
2. 云平台和餐馆只提供标准化的套餐，而打造自己的GPT就像打造自己的厨房。用什么原料，做什么菜，做什么口味，自己说了算。
3. 自己的GPT可以运行得非常。
4. 在自己的GPT上有更好的隐私保护，输入的内容和AI输出的内容完全不会泄露，而且还可以最大限度得避免云平台审查和防火墙屏蔽。
1:18 Ollama安装
3:29 Open WebUI安装
6:00 大模型下载
8:04 基础应用实验
👉博客地址:
studywithlarry.com/llama-3-ol...
☕买杯咖啡 助力小林
studywithlarry.com/buy-me-a-c...
🪜🌐😃VPN获取地址:
www.privateinternetaccess.com...
👉订阅分享服务:
mailchi.mp/73f68ea55e45/klslc...
👉更多地和小林互动：
Website: studywithlarry.com
Twitter: / studywithlarry
👍为什么是小林💪💯
小林是曾经是个拥有20多年开发经验的高级全栈工程师，在中国和加拿大先后各工作了10多年，拥有30多个大中型软件项目的开发经验，现在正致力于为网络创业家提供AI工具 、设计工具、开发工具和推广工具的使用。 小林传递的不仅是工具的使用，更多的是技能的应用和思维的提升。 
Наука
讚，非常精彩的分享內容
很爽的影片，给博主点赞。
非常感谢！
支持一下
谢谢
我的目标是构建自己的 AI 聊天来进行程序分析。
例子：-
我希望我的聊天能够分析 C# 程序，并接收整个文件夹。
应该有办法这样做吗？
这个需要代码知识库准备和微调模型。我接下来的节目会专门分享这个主题，请注意关注。
是牛啊，可是对于小白不友好，下次能否一步步清晰教学。因为还是小白多一些。
谢谢你宝贵的建议，我争取把节目做得更简单易懂。
虽然自己能做菜，但是厨具和菜谱都不如外面大餐厅，感觉也挺鸡肋的😂
自己做通常更适合自己的需要和口味
怎么才能让他的数据时时网络更新呢
你好，使用视频的教程，打开open-webui的设置-模型菜单，里面只有“Manage LiteLLM Models”选型，无法添加模型，请问这是哪里出了问题？
你的教程中的菜单是：“Manage Ollama Models”，并且可以选择下载模型。
默认情况下Manage Ollama Models就在models页面的最上方。如果还是没有出现，可以考虑重新安装一下open-webui.
讲一讲如何微调AI大模型吧，谢谢。
微调课程正在准备中，敬请期待
請問他能上傳文件如PDF或WORD,學習嗎? 讓區域可以訪問嗎?
不能直接上传富文本文件给它，可以在让它学习前，把pdf或者word解析成text或者json格式。
可以讲一下怎么把llama3 70b微调成uncensored中文大模型吗
需求已收到，会尽快安排。谢谢你！
你也没有说大模型需要多少内存 和需要什么配置才能带动他
我个人电脑有40G内存，8G显存，是无法带动llama3 70b的。瓶颈出在显存不足上，究竟需要多少显存才行，因为我没有A100这样的显卡，所以无法给出具体数据。
筆電搭配。20GB 記憶體及NVIDIA® GeForce® MX350 獨立顯示卡, 可以跑的動嗎？
记忆体没问题，显卡可能不太行。
这个显卡的性能已经远远比不过现在的核显和集显了😂
docker run的命令行似乎没有分享，我安装docker后为什么电脑内存和cpu都很快撑满？？
Docker安装webui的指令在博客里。
你的电脑内存有多大？CPU 是什么型号？
装上了，希望大佬能多出些怎么运用这些大模型，需要像GPT一样喂给他提示词吗
后面的节目会有提示词的内容。敬请关注。
谢谢分享，想问下视频里的硬件配置是哪些啊？
内存16G，显存4G以上，基本就能跑这个组合了。
@@larryailab 我是16+4，但是很慢
这个错误怎么解决呢
您好，我在台式机 运营“三件套”的时候，我下载了 千问33B的大模型，我电脑的配置 4080 16G显存 内存：32.0 GB (31.8 GB 可用)，基本卡的要死，是我机器的问题么？
应该是显存不足，你可以打开资源管理器，看看显存的使用率。
OPEN WEBUI密码 怎么重置呢
我装好了8b模型，用一样的问题提问，让他返回中文，为啥我这个返回了一堆拼音？例如这样：(wǒmen de jiān gē yǐn tiáo)
模型的返回结果有很大的随机性，那是第二次可能就是中文了。
profile
你
帮我列一张购物清单，用中文
profile
Llava:7b-V1.6-Mistral-Fp16 12/05/2024 18:17
Sure, here is a sample shopping list in Chinese:
groceries
daily essentials
personal care
Please note that this is just a sample list and you can adjust it according to your needs. Also, the names of the items may vary depending on your location and language.
If you want to add or modify items in the list, please let me know! 😊 不知道为什么会空白
Llava模型我还没有好好用过，不过这些Lite模型可能更适合做微调生成个性化的小模型。在通用方面和GPT4, Gemini Pro相比还是有很大差距的。
windows server 系统不能装docker。请问这个怎么解决？
Windows server 2016以后都支持docker了。请您参考luanlengli.github.io/2019/07/10/Windows-Server-2019%E5%AE%89%E8%A3%85Docker.html
@@larryailab 感谢回复，我菜鸟，我去按部就班试下。谢谢
硬件要求多高才可以用
取决于你选择的模型，llama3 8b在8g显卡上非常流畅。phi3更小，4G就够用了。
这个不能生成图片的是吗，我让他画二个小男孩，他出了一些乱码出来：profile
Llama3:8b-Instruct-Fp16 11/05/2024 23:02
I'd be happy to help you create a simple drawing of two little boys fighting. Since I'm a text-based AI, I'll use ASCII art to create the image for you.
Here's a simple drawing:
| | | |
| BOY1 | | BOY2 |
|| ||
| |
| FIGHT! |
| |
V ^
/ _
/ \
/
/_____________\
How do you like it? 😊
Llama3不能生成图片。GPT4能生成，是因为后面有个DALLE3生图模型
@@larryailab GPT4收费，我们现在学的这个只能生成文字是吧
怎么才能让他的数据时时网络更新呢
目前llama3还不支持实时网络更新。GPT4和Gemini也不支持，他们是用搜索引擎补齐实时数据这个部分。