- Видео 32
- Просмотров 38 618
AI开发者-就爱瞎鼓捣
Добавлен 3 янв 2020
哈喽，我是瞎鼓捣~2024年，专注AI开发相关技术介绍。
技术资料：techdiylife.github.io/blog/
技术资料：techdiylife.github.io/blog/
Видео
从0.5B到340B的LLM都需要多少显存？
Просмотров 43114 дней назад
本期视频介绍了LLM推理时所需显存与推理速度，以及Batch-Size，上下文长度，不同量化如何影响显存与推理速度。
爱鼓捣AI排行榜 1：谁是Ollama，Huggingface上大模型人气王？
Просмотров 209Месяц назад
爱鼓捣AI排行榜 1：谁是Ollama，Huggingface上大模型人气王？
实测2360亿参数的最大开源大模型DeepSeek V2，学生党一样可以玩儿
Просмотров 465Месяц назад
实测一下最大的开源大模型DeepSeek-v2，来看看这个2360亿参数的大模型运行需要多少显存。
一次搞懂RAG评估，三个角度LangChain，LlamaIndex，RAGAS看RAG评估
Просмотров 467Месяц назад
本视频为你介绍三个权威的RAG评估教程以及两个理解RAG评估指标的视角。 #rag #langchain #llamaindex #ragas #RAG评估
ReRank与Embedding模型的区别？ 如何选择ReRank模型？
Просмотров 1,4 тыс.2 месяца назад
ReRank与Embedding模型的区别？ 如何选择ReRank模型？
ChatGPT高仿版WebUI：Ollama + Open WebUI本地环境搭建
Просмотров 3,7 тыс.3 месяца назад
ChatGPT高仿版WebUI：Ollama Open WebUI本地环境搭建
两分钟快速入门 ollama windows安装，小白也能在本地运行开源大模型
Просмотров 1,2 тыс.3 месяца назад
两分钟快速入门 ollama windows安装，小白也能在本地运行开源大模型
Linux上搭建Jupyter Notebook开发环境，以及使用GPU的方法
Просмотров 3254 месяца назад
Linux上搭建Jupyter Notebook开发环境，以及使用GPU的方法
請問下 是否可以提供您使用的本地LLM的硬件設備規格呢? 感謝
Gemini API會降低一點費用，也可以得到還不錯的內容回答
太好了，正好有用
又貴又慢,贏那一點點,cp值不高,如果要做貫穿全文的回答,在處理文本後再用summary chain做一份摘要,就具有貫穿全文的能力與回答細節的能力,相較下較便宜
KG并不新，不过GraphRAG是一种新的实现方法。
比這要幹嘛？下個禮拜又有其他一哥了
费钱啊，换成国产deepseek-chat模型最后跑不过，因为json格式不闭合，造成执行失败。
是不是因为max-token影响的？也可能是生成中断了。目前这个程序还是有很多地方需要优化的。
27b還是太肥了
用本地模型跑一个试试
在试呢，回头会分享。
我很好奇生产的索引是什么样子的。可以用来生产知识图谱，自己看而不是给AI吗？
是可以查看的，下次录个视频介绍一下。
Anythinllm 跟這graphrag 是不是差不多？
简单看了一下anytingllm。应该是不一样的。GraphRAG算是一种新的RAG处理方法。
真贵
请问本地安装和网页不同，则选择哪种呢
你好，请问为什么int8和int4的Training using Adam 给的数据是N/A
你要使用量化模型进行训练吗？量化模型训练需要一些特殊的处理。可以去网上找找参考代码。
實際測試起來，計算量頗大，它是一對對計算再排名，如果要即時，這步需要想辦法加速。照博主建議的嘗試了其中一個模型，覺得rerank的效果不明顯，不知道博主認為什麼情況特別適合使用reranker呢？
reranker主要是带来的检索准确度提升。如果提升不大的话，对最终生成可能影响也不大。如果你希望选择尽量少的检索文本时，比如top1，提升准确度就比较关键了。如果选择top5，top10 rerank的影响就不明显。
开始像卖肉的，后来像卖切糕的，最后像卖白粉的
27b试了，回复有中英混杂情况。而且回答内容太长，话痨。
这好像是谷歌模型的特点，爱自言自语。
能不能讲讲低显卡配置的电脑能更好的运行本地化的这些模型
参考这个文档：techdiylife.github.io/blog/topic.html?category2=t08&blogid=0058
视频中文档：techdiylife.github.io/blog/blog.html?category1=c01&blogid=0060
安装windows的docker的时候会出现一堆细节问题要解决，GL
老師您好，請問7b的模型，chunk size和 overlap要設多少？
你说的应该是embedding时的设置吧。这个数值与文本是有关的，chunk-size可以在先设置200到512之间，然后根据表现再调整。
阿里巴巴的qwen2確實太誇張，連好幾位外國的ai大佬們都一至認同阿里的qwen2站在全球開源模型的第一位，今天huggingface的創始人clem都說了已經重新做一次測試，qwen2仍然是第一，大家看清楚啊... 不是自己國內的大佬自吹
来了
清晰易懂，干货满满
这种总结最实在，最受用！辛苦了！
视频中资料：techdiylife.github.io/blog/topic.html?category2=t08&blogid=0058
我是外行人不懂，但有留意相關的資訊，Qwen2好像是國內唯一能擠進國外權威榜單裡的，openAI那個始創人看得上的評測網站和meta那個楊立昆攪出來的評測網站都分別地看到Qwen2，就只有Qwen2在截圖裡，其他的中國大模型都不知道是否在榜裡
背靠阿里有实力啊。开源模型从0.5到110B非常全。 代码也加入到Transformers开发库中了。
HF上面phi3 vision下载量那么大，但除了onnx runtime，还有其他类似Ollama、GPT4all这样简单的工具可以支持吗？
感谢分享
最新排名：techdiylife.github.io/blog/topic.html?category2=t08
沒有顯卡根本跑不動
大模型的前提是要有显卡。
可以裝, 但是反應很慢
那为何部署一个大模型，在阿里云上一年的费用要100万呢？
Ollama, vllm
員工休假場景感覺不出來rag，一句sql加邏輯層就查得出來，套上template 顯示，頂多輸入llm結果人性化一點，rag處理了哪個部分？
我直接 調用 API 就好了，這樣不是比較簡單？ 為何還需要用 langchain 呢 ??
你这个环境 可以分享 下不
7张A100，打扰了，我还是老老实实用官方api使用token吧
只需要3张48g的a600。。。
干货
非常感谢
❤
对AI感兴趣的小伙伴： 共学交流群：techdiylife.github.io/blog/blog.html?category1=c05&blogid=0032 AI共学基地-新人优惠卷：t.zsxq.com/1GVDy
3:30 embedding 成向量,save.然後USER問時,再把USER的問題弄成向量,然後再去找出DB裡相似的向量 (缺:訊息丟失 4:15 rerank
1:50 embling 2:13 5:00 RAG架構
文档链接：techdiylife.github.io/blog/topic.html?category2=t07&blogid=0052
这个视频内容太重要了
我的docker没正常运行起来，怎么解决？开机后就是stop状态，手动开启也还是stop的，win11环境
你好，我使用過後，發現faster-whisper生產的語音時間間隔都是固定的並且為整數，看了你的demo發現不一樣，請問你知道是甚麼問題嗎?
云服务器注册链接： onethingai.com/invitation?code=WXCP_QX9dTsRE 视频中的技术文档，代码： techdiylife.github.io/blog/topic.html?category2=t07&blogid=0051