LLM + 最新RAG技術 | 快速建置本地知識庫查詢應用 | 解決生成式AI常見的幻覺問題
HTML-код
- Опубликовано: 1 окт 2024
- 大家好，今天我們將會一起學習如何快速建置一個本地知識庫查詢應用，
這將使用最新的語言模型技術Llama3和檢索增強生成RAG(Retrieval-Augmented Generation)技術。
希望透過今天的課程，大家可以學習這些最新的技術，帶回到你的工作職場
進一步的思考，結合單位內的應用場景，然後進行實作落地。
同時也替你帶來更大的價值，讓你成為組織內創新開發的領頭羊。
龍龍 希望讓大家能夠應用新技術，提升競爭力，一起成長、共好~~
如果你還沒有建置一些環境，建議可以先看這個LLM的首部份
會帶你安裝ollama，這是可以很快建置相關服務的好平台
• 連我阿嬤都會 Python + 本地端LLM...
***課程清單(快速跳轉)***
01:03 - Demo原生LLM與結合RAG的使用者體驗
05:13 - RAG是什麼？
10:02 - 解決方案架構
10:50 - 安裝套件
11:30 - 實操演示
🔹 小額贊助 龍龍AI與程式實戰
-------------------------------------------------
🎉方式一：加入頻道會員 (加入後可觀看會員專區的影片喔) / @changlunglung
🎉方式二：在 RUclips 影片右下角點擊「超級感謝」按鈕
🎉方式三(請 龍龍 喝咖啡)：buymeacoffee.c...
-------------------------------------------------
強力推薦，讓你提升職場競爭力課程，由龍龍與巨匠電腦合作：
零基礎也能搞定：快速學習打造自己的企業級語音轉文字服務！(手刀下單)
www.worker360....
ChatGPT全方位職場情境應用：強化提詞效率(手刀下單)
www.worker360....
=================================
🔹與本主題或LLM相關的精選教程
=================================
• 實操乾貨 Chat With 不同類型檔案 ...
• 擁有AI的Reader API 再結合 LL...
• 創建本地PDF Chatbot with L...
• 免費線上快速完成第一個客製化LLM模型 | ...
• 連我阿嬤都會 Python + 本地端LLM...
• 震撼登場！本地LLM服務全新進化，會說話的A...
• 2024最新！本地LLM服務驚人進化：連阿嬤...
• 輕鬆立即搭建本地端Llama3模型 - 使用...
• 最新OpenAI語音轉文字技術：Whispe...
• 3分鐘免費完成AI文字轉語音！#文字轉語音 #ai
🔹 練習用知識QA檔案下載
docs.google.co...
🔹 使用到的指令
安裝嵌入模型：ollama pull mxbai-embed-large
安裝聯發科LLM模型：ollama run ycchen/breeze-7b-instruct-v1_0
安裝chromadb(向量庫)：pip install chromadb
🔹 程式碼Code
import streamlit as st # 導入Streamlit庫，用於建立網頁應用
import ollama # 導入ollama庫，用於自然語言處理
import chromadb # 導入chromadb庫，用於數據存儲和查詢
import pandas as pd # 導入pandas庫，用於數據分析和處理
定義一個初始化函數，用於設置Streamlit的會話狀態
def initialize():
檢查'session_state'（會話狀態）中是否已有'already_executed'這個變量
這個變量用來檢查是否已經進行過一次資料庫初始化操作
if "already_executed" not in st.session_state:
st.session_state.already_executed = False # 若不存在，則設置為False
如果'already_executed'為False，表示還未初始化過資料庫
if not st.session_state.already_executed:
setup_database() # 呼叫setup_database函數來進行資料庫的設置和數據加載
定義設置資料庫的函數
def setup_database():
client = chromadb.Client() # 創建一個chromadb的客戶端，用於與資料庫交互
file_path = 'QA50.xlsx' # 指定Excel文件的路徑和名稱
documents = pd.read_excel(file_path, header=None) # 使用pandas讀取Excel文件
使用chromadb客戶端創建或獲取名為'demodocs'的集合
collection = client.get_or_create_collection(name="demodocs")
遍歷從Excel文件中讀取的數據，每一行代表一條記錄
for index, content in documents.iterrows():
response = ollama.embeddings(model="mxbai-embed-large", prompt=content[0]) # 通過ollama生成該行文本的嵌入向量
collection.add(ids=[str(index)], embeddings=[response["embedding"]], documents=[content[0]]) # 將文本和其嵌入向量添加到集合中
st.session_state.already_executed = True # 設置'already_executed'為True，表示已完成初始化
st.session_state.collection = collection # 將集合保存在會話狀態中，供後續使用
定義創建新chromadb客戶端的函數，每次需要時創建新的連接
def create_chromadb_client():
return chromadb.Client() # 返回一個新的chromadb客戶端實例
主函數，負責構建UI和處理用戶事件
def main():
initialize() # 呼叫初始化函數
st.title("我的第一個LLM+RAG本地知識問答") # 在網頁應用中設置標題
user_input = st.text_area("您想問什麼？", "") # 創建一個文本區域供用戶輸入問題
如果用戶點擊"送出"按鈕
if st.button("送出"):
if user_input:
handle_user_input(user_input, st.session_state.collection) # 處理用戶輸入，進行查詢和回答
else:
st.warning("請輸入問題！") # 如果用戶沒有輸入，顯示警告消息
定義處理用戶輸入的函數
def handle_user_input(user_input, collection):
response = ollama.embeddings(prompt=user_input, model="mxbai-embed-large") # 生成用戶輸入的嵌入向量
results = collection.query(query_embeddings=[response["embedding"]], n_results=3) # 在集合中查詢最相關的三個文檔
data = results['documents'][0] # 獲取最相關的文檔
output = ollama.generate(
model="ycchen/breeze-7b-instruct-v1_0",
prompt=f"Using this data: {data}. Respond to this prompt and use chinese: {user_input}" # 生成回應
)
st.text("回答：") # 顯示"回答："
st.write(output['response']) # 將生成的回應顯示在網頁上
if _name_ == "__main__":
main() # 如果直接執行此文件，則執行main函數
==================
#OllamaEmbedding #Local #Nomic #OllamaEmbeddings #OllamaNomic #OllamaNomicEmbedding #NomicEmbedding #NomicEmbeddings #NomicOllama #EmbeddingOllama #Embed #Embedding #LocalRAG #OllamaLocalRAG
#ollama #runollamalocally #howtoinstallollama #ollamaonmacos #installingollama #localllm #mistral7b #installllmlocally #opensource #llms #opensourceLLM #custommodel #localagents #opensourceAI #llmlocal #localAI #llmslocally #opensource #Olama #Mistral #OllamaMistral #Chroma #ChromaDB #LangChain
![FendiDa Rappa - Clock Dat ft. Shamar Marco [Official Music Video]](http://i.ytimg.com/vi/3NBU8KHdxYY/mqdefault.jpg)
"一次提問多個需求的解決方案" 可以給些 keywords 嗎 ?
其實理論上就是，先用使用者的提問透過LLM理解，拆解問題，然後跑迴圈在去個別執行。
但有一個重點，也就是理解的這個LLM要夠強大，不然會錯意就GG會更發散了。
請問一下要到哪裡下載LLM模型，還有要怎麼下載向量庫
先參考我這之前這影片安裝ollama，裡面也會教你如何接模型下來。
ruclips.net/video/3-mJAN5TlaI/видео.html
@@changlunglung 好的謝謝！
想請問一下
我跑範例程式到這一行
collection.add(ids=[str(index)], embeddings=[response["embedding"]], documents=[content[0]])
會跳Connection error
Is Streamlit still running? If you accidentally stopped Streamlit, just restart it in your terminal:
我檢查過每個變數都是正常的
會不會是硬體設備的問題導致的呢?
或是說要跑ollama+RAG 需要的硬體規格有哪些
應該是之前的程式或程序沒正常關掉。
程式有執行一次就會該port就會被佔用，
試著把你的開發工具restart或cmd關掉。
pip install chromadb 出現錯誤, python 版本有限制? 我用的是3.12.5版
可以貼一下更多的訊息，我是沒上到那麼新，建議可以試著建虛擬環境，用3.10試試。
謝謝您的快速回應,錯誤訊息有C++, 我依此找到問題點,安裝Microsoft c++ Build tools 就可以順利安裝chromadb了; 您的教材相當棒,受益良多.. 另外再請教一下,您的範例中OA50.xlsx 檔案要指定路徑?
QA50.txt 已經解決了,又出現[connect error, Is Streamlit still running?]程式依您提供直接使用,請問我是不是有那個環節出問題?
1.chromadb OK
2.streamlit OK (用您首部曲範例)
我剛執行是ok的，記的目前的寫法是要在command中執行streamlit run 你的程式碼.py
我可以提供我的程式，請您協助測試一下？
謝謝你的分享，已成功運用所教的代碼和方法，教導通用AI所無法提供的資訊，如最近2024年所發生的事件。 希望下一步能研究自設成後端伺服器， 接駁到自定義前端頁面，或接駁現行熱門的通訊軟件API 實現即時對話。
唯獨發現新教導的資訊，AI未能自主地整合到舊有知識庫裡。不知道有沒有解決辦法？ 還是得透過重新訓練語言模型？
llm和rag是分開的，你要大語言模型直接有你自已的知識內容，那就必定要走finetune(微調)模型一途了。
請教一下龍龍
我想在windows 本地微調模型llama3-8B，不想在colab上面運行
因為我的資料比較隱私，想請教一下
運行unsloth的code我總會遇到RuntimeError: Failed to find C compiler. Please specify via CC environment variable.
感覺我就只差這一步了，安裝了vc也無法解決這個問題，請問有什麼好方法嗎
我自已本地環境的關係，我之前也想在window上搞，環境上也遇到些問題，還沒解掉。
又加上公務上的事，就也先放在那邊。
後面我有成功，我會在拍支影片分享。
能給完整程式碼？Streamlit建起來需要設定嗎？目前其他人都連不進來，想請問問題出在哪？多個pdf 也可以像excel這樣載入嗎？再麻煩您幫忙解答，感謝您
影片說明最下方的，已經是完整的程式碼了喔。
streamlit執行後，應該別人用ip，或者電腦名稱就可以了。
如果你是家裡面的話，可能都還是內網，而不是連到外網的ip位置。
這個每個人環境不一樣，不太好給建議喔。
@@changlunglung 請問一下喔，使用RAG 用7B Ilm 目的做公司QA系統，您覺得可行嗎？目前使用RAG來做QA回答有時都偏短，有啥可以優化的嗎？
下面if _name_ == "__main__":拼錯了
是->if __name__=='__main__':
可能被解析掉了，我這邊看是有底線的。
想請問一下
會跳Connection error
Is Streamlit still running? If you accidentally stopped Streamlit, just restart it in your terminal:
有檢查程式碼都是一樣的
要怎麼解決?
謝謝
如果同時關掉程式編輯器與cmd，並且直接在cmd執行程式看看。
可能之前在編輯器有運行，被佔住了。
@@changlunglung 成功跑出頁面了，可是出現這個no such table: collections
有顯示是第幾行嗎？可以貼上較完整的錯誤內容，比較好幫查。
@@changlunglung OperationalError: no such table: collections
Traceback:
File "C:\Users\user\anaconda3\Lib\site-packages\streamlit
untime\scriptrunner\script_runner.py", line 542, in _run_script
exec(code, module.__dict__)
File "C:\Users\user\PycharmProjects\LLM\try.py", line 66, in
main() # 如果直接執行此文件，則執行main函數
^^^^^^
File "C:\Users\user\PycharmProjects\LLM\try.py", line 48, in main
handle_user_input(user_input, st.session_state.collection) # 處理用戶輸入，進行查詢和回答
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\PycharmProjects\LLM\try.py", line 56, in handle_user_input
results = collection.query(query_embeddings=[response["embedding"]], n_results=3) # 在集合中查詢最相關的三個文檔
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\chromadb\api\models\Collection.py", line 196, in query
query_results = self._client._query(
^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\chromadb\telemetry\opentelemetry\__init__.py", line 146, in wrapper
return f(*args, **kwargs)
^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\tenacity\__init__.py", line 336, in wrapped_f
return copy(f, *args, **kw)
^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\tenacity\__init__.py", line 475, in __call__
do = self.iter(retry_state=retry_state)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\tenacity\__init__.py", line 376, in iter
result = action(retry_state)
^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\tenacity\__init__.py", line 398, in
self._add_action_func(lambda rs: rs.outcome.result())
^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\concurrent\futures\_base.py", line 449, in result
return self.__get_result()
^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\concurrent\futures\_base.py", line 401, in __get_result
raise self._exception
File "C:\Users\user\anaconda3\Lib\site-packages\tenacity\__init__.py", line 478, in __call__
result = fn(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\chromadb
ate_limiting\__init__.py", line 47, in wrapper
return f(self, *args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\chromadb\api\segment.py", line 719, in _query
coll = self._get_collection(collection_id)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\chromadb\telemetry\opentelemetry\__init__.py", line 146, in wrapper
return f(*args, **kwargs)
^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\chromadb\api\segment.py", line 888, in _get_collection
collections = self._sysdb.get_collections(id=collection_id)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\chromadb\telemetry\opentelemetry\__init__.py", line 146, in wrapper
return f(*args, **kwargs)
^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\chromadb\db\mixins\sysdb.py", line 428, in get_collections
rows = cur.execute(sql, params).fetchall()
^^^^^^^^^^^^^^^^^^^^^^^^
@@changlunglung
有很多行 大概都長這樣，麻煩了 謝謝
Traceback (most recent call last):
File "C:\Users\user\anaconda3\Lib\site-packages\streamlit
untime\scriptrunner\script_runner.py", line 542, in _run_script
exec(code, module.__dict__)
File "C:\Users\user\PycharmProjects\LLM\try.py", line 66, in
main() # 如果直接執行此文件，則執行main函數
^^^^^^
File "C:\Users\user\PycharmProjects\LLM\try.py", line 48, in main
handle_user_input(user_input, st.session_state.collection) # 處理用戶輸入，進行查詢和回答
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\PycharmProjects\LLM\try.py", line 56, in handle_user_input
results = collection.query(query_embeddings=[response["embedding"]], n_results=3) # 在集合中查詢最相關的三個文檔
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\chromadb\api\models\Collection.py", line 196, in query
query_results = self._client._query(
^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\anaconda3\Lib\site-packages\chromadb\telemetry\opentelemetry\__init__.py", line 146, in wrapper
return f(*args, **kwargs)
^^^^^^^^^^^^^^^^^^
这个RAG能大海捞针吗？漏东西、找错位置的RAG实在不敢用啊
謝謝您的回應，
目前要找到百發百中的模型，應該是沒有，若怕找不到或者怕找到和語意不同的檢索，建議繼續觀望。
畢竟RAG技術主要一部份是用來解決通用型生成式AI的幻覺，embedding技術是一直在推陳出新。
總是有在提升，至於是否能落地，還是看每個場景或需求的人的定義。
RAG裡面若要細部探討還有檢索的內容，資料的整理。
知道RAG原理，所以有可能越多資料放在一個庫，就越有機會不易區分。
也包括使用者如果下的詞，本來就語意不清，那就更找不到東西
但程式也可以寫一些判斷，表示使用者可以在多給提示之類的。
如果有實作，也代表更清楚目前技術的限制與能耐。
也因為知道原理，所以山不轉路轉，是不是也可以討論，變通一下，
例如把大知識庫拆成不同的小庫，用獨立庫的方式，優先解決特定知識查詢。
如果內部討論沒辦法接受，那就真的只能繼續探索了。
以上建議。
st.session_state has no attribute "already_executed"Did you forget to initialize it? How to fix it?
變數的定義在這裡有了，先判斷是否有在st.session_state有定義，沒有就新增already_executed並給初始值False
我想會不會是streamlit的版本關係
if "already_executed" not in st.session_state:
st.session_state.already_executed = False # 若不存在，則設置為False
# 定義一個初始化函數，用於設置Streamlit的會話狀態
def initialize():
# 檢查'session_state'（會話狀態）中是否已有'already_executed'這個變量
# 這個變量用來檢查是否已經進行過一次資料庫初始化操作
if "already_executed" not in st.session_state:
st.session_state.already_executed = False # 若不存在，則設置為False
# 如果'already_executed'為False，表示還未初始化過資料庫
if not st.session_state.already_executed:
setup_database() # 呼叫setup_database函數來進行資料庫的設置和數據加載
出現了ResponseError: invalid character 'N' looking for beginning of value
請問該怎麼辦ＱＱ
多謝你的教學，十分有用！如果我的FAQ是英文，可以令output出英文回答嗎嗎？
將下面程式碼片斷的段的最後一行prompt變數內的字串"Respond to this prompt and use chinese"，把and use chinese整個拿掉，應該就不會強制轉，當初是擔心output是簡體中文，所以才會特別去加這個提示詞。
定義處理用戶輸入的函數
def handle_user_input(user_input, collection):
response = ollama.embeddings(prompt=user_input, model="mxbai-embed-large") # 生成用戶輸入的嵌入向量
results = collection.query(query_embeddings=[response["embedding"]], n_results=3) # 在集合中查詢最相關的三個文檔
data = results['documents'][0] # 獲取最相關的文檔
output = ollama.generate(
model="ycchen/breeze-7b-instruct-v1_0",
prompt=f"Using this data: {data}. Respond to this prompt and use chinese: {user_input}" # 生成回應
)
@@changlunglung 謝謝你的回覆～ 試了output還是有時候出中文
那試試保留，但把chinese改成english試試
感谢分享, 非常的好!
问下能否用纯cpu资源实现吗, 需要如何修改相关的代码呢
模型由ollama去調度載入，原則上你ollama那邊安裝能執行，就算沒有gpu也行，不需特別設定。
@@changlunglung 谢谢老师
可以分享源代码吗
我直接貼在影片的下方的說明了，你往下拉一下就會看到了。
@@changlunglung 好的 谢谢
大佬！我看您微调数据和本地知识库的数据都一样。我在什么情况下微调，什么情况下导入本地知识库就可以了呀？
有没有方法可以让chromadb同时支援bm25 rank
可以考虑用elasticsearch，embedding和bm25都支持
大佬！我看您微调数据和本地知识库的数据都一样。我在什么情况下微调，什么情况下导入本地知识库就可以了呀？
基本上是因為教學方便，如果你的資源(算力)夠、可以花比較多的時間、加上你的資料(訓練集)能做的很好，當然微調是最好的。因為要微調建議還是至少要用8*7B的模型或者llama8b來試。
再來如果是中文的，也許如大陸的千問來試試，微調後的模型也是要進行很多的測試，確保問與答都是符合的。
是非常花時間，又要擔心幻覺，所以我才說，有很多時間，才去玩微調。
如果資源不太夠，而且資料要求的精準度(幻覺要少)，那RAG會是首要的選擇。
也就是寧可從知識庫給東西，就算給錯，也不容許生成幻覺的場景，那就先用RAG來做。
微調要花更多的時間，無論是訓練或者更多的是資料的前處理、資料集的準備。
以上提供你參考，希望有回答到問題，謝謝。
明白了，非常专业！
大佬！我看您微调数据和本地知识库的数据都一样。我在什么情况下微调，什么情况下导入本地知识库就可以了呀？
用的breeze哪裡有llama3？
抱歉更正，本影片重點是RAG，主題已修正，謝謝提醒。
若需要使用llama3來做最後的整理內容，把llama3拉下來，程式碼中的模型換成llama3就行了。
Thanks!
非常感謝您.thanks.
感谢您的分享，我有一个问题，您对于大的文档处理时，会有什么好的建议来避免其因为chunk问题而导致的问题吗？或者说我们如何更好的绕过这个难题
调整chunk的大小试试呢
很棒的影片，感谢，关注了~
謝謝您的支持與回應
請問若要加temperature要加在程式哪裡？就是若在提供的資料找不到合適的，也不讓大語言模型胡扯。
最快的方式是你有每一次送出時的prompt字串，都固定加額外的指令就行了。像下面的字串
原來的prompt + 下面的
"如果內容中沒有與提問相關的資料，就告訴使用者，資料找不到！！！"
組成字串在送出去。
非常好！很有用。請問安裝chromadb via pip 未成功，如何解決？是否是環境設定問題？或需要在 conda 上安裝？
有什麼錯誤訊息嗎？
你可以在conda的command命令列(記得用管理者權)，pip安裝。
而不是在一般的cmd的command裝，試試。
@changlunglung 錯誤訊息 : Downloading rsa-4.9-py3-none-any.whl (34 kB)
Using cached setuptools-69.5.1-py3-none-any.whl (894 kB)
Downloading pyasn1-0.6.0-py2.py3-none-any.whl (85 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 85.3/85.3 kB 600.6 kB/s eta 0:00:00
Building wheels for collected packages: chroma-hnswlib
Building wheel for chroma-hnswlib (pyproject.toml) ... canceled
ERROR: Operation cancelled by user 但我并没作anything?
@@changlunglung 錯誤訊息:Using cached humanfriendly-10.0-py2.py3-none-any.whl (86 kB)
Downloading pyasn1_modules-0.4.0-py3-none-any.whl (181 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 181.2/181.2 kB 1.6 MB/s eta 0:00:00
Downloading rsa-4.9-py3-none-any.whl (34 kB)
Using cached setuptools-69.5.1-py3-none-any.whl (894 kB)
Downloading pyasn1-0.6.0-py2.py3-none-any.whl (85 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 85.3/85.3 kB 600.6 kB/s eta 0:00:00
Building wheels for collected packages: chroma-hnswlib
Building wheel for chroma-hnswlib (pyproject.toml) ... canceled
ERROR: Operation cancelled by user
哇哇，這個我也沒遇過，是否重開機後再試試。
安裝過程中選擇必要的組件：
在安裝程序中，選擇 “Desktop development with C++” 工作負載。
確保選中以下選項：
MSVC v142 - VS 2019 C++ x64/x86 build tools (最新版本)
Windows 10 SDK
清晰易懂，谢谢！
感謝您的留言與支持，歡迎轉分享。
@@changlunglung 程序怎么跑不起来了，总是出现连接错误
Connection error
Is Streamlit still running? If you accidentally stopped Streamlit, just restart it in your terminal:
你參考我下面的影片，用我影片後面的方法打開cmd 去執行程式，而不是在編輯器上面執行
ruclips.net/video/Uc51N9jvACk/видео.html
感謝分享，想請問生成的輸出出現亂碼？這個可以如何解決
{
"model":"ycchen/breeze-7b-instruct-v1_0"
"created_at":"2024-06-25T06:50:36.324415Z"
"response":"er▅in t ��������������������������������▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅er▅in t �▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅"
"done":false
}
得到的response是簡體字嗎？
是否先提問用英文試試，是否會一樣！
@@changlunglung 改用llama3 就正常了🙂