ChatGPT hoạt động như thế nào? Tự viết ChatGPT chạy local SIÊU DỄ
HTML-код
- Опубликовано: 30 июн 2024
- Nhớ subscribe cho mình nhe: bit.ly/codedaotube
Mua sách ủng hộ mình: book.toidicodedao.com
Gần đây nhiều anh em sợ sau này chatGPT thay thế công việc của mình quá, nên hôm nay mình làm vlog chia sẻ chi tiết về cách con bot này hoạt động, công nghệ đằng sau nó, cách viết một con tương tự để các bạn chạy local, không có mạng vẫn chạy được nha.
Hi vọng xem xong các bạn sẽ hết sợ, áp dụng nó vào công việc lun
Slide: docs.google.com/presentation/...
Code mẫu: github.com/conanak99/sample-g...
Timestamp:
00:00 - Giới thiệu vlog
01:25 - Xoá mù về LLM, công nghệ đằng sau chatGPT
06:38 - Demo ChatGPT tự code, dùng OpenAI API
08:26 - Giới thiệu về Large Language Model chạy ở Local
12:45 - Demo ChatGPT chạy ở local
16:06 - Tương lai của LLM và anh em dev
Channel Tôi Đi Code Dạo là nơi mình chia sẻ những kiến thức, kinh nghiệm về ngành lập trình mà mình đạt được trong quá trình làm việc. Những kiến thức này sẽ biến các bạn từ một coder trở thành developer - lập trình viên thứ thiệt.
Nhớ ghé thăm và subscribe channel để xem clip mới vào 8H TỐI T3 hàng tuần nha!
Ghé thăm mình tại:
Blog: toidicodedao.com/
Fanpage: / toidicodedao
#ai #chatgpt #openai #llm 
Наука
trình của mày chỉ chém gió thôi người ta cả 1 bộ não hàng nghin con người tai giỏi
Trình nó chém gió v trình bạn là nằm liệt một chỗ he
Thoi lo học english đi em
Học lại tiếng việt từ < cá nhân>
@@nguyenmark8093 ngu như mày hay dạy đời thứ này tao gặp nhiều
*trình của bạn là gato , xấu tính và kém cỏi . Không bằng người ta thì đừng xấu tính thế chứ bạn*
Với lượng kiến thức ít ỏi của mình thì mình xin bổ sung một xíu kiến thức ở những cái số ở đoạn 2:40, nó đc tạo thông quá trình gọi là embedding mỗi token được chuyển thành một vector số trong ko gian đa chiều. Trong ko gian đó, những từ có nghĩa tương tự hoặc được sử dụng trong ngữ cảnh tương tự sẽ có vector gần nhau. Ý nghĩa của một từ có thể thay đổi dựa trên các từ xung quanh nó và mô hình sẽ điều chỉnh vector embedding của từ đó để phản ánh từ đó có nghĩa như thế nào. Các mô hình ngôn ngữ như GPT sẽ sử dụng mạng nơ-ron để làm điều đó và dự đoán mệnh đề tiếp theo.
Các mô hình về NLP vẫn xoay quanh attention và kiến trúc transformer. Encoder xử lí thông tin đầu vào và mã hóa những thông tin này thành những feature vectors.
Decoder dựa vào output từ Encoder để tìm ra phân phối xác suất từ các feature vectors -> tìm ra label tương ứng.
RLHF là 1 pha riêng trong quá trình fine tune LLM, nhằm thay đổi hành vi trả lời của mô hình. Còn instruction fine tune là dùng các cặp prompt, response để huấn luyện mô hình - tức là mô hình nhận input là prompt và cần dự đoán response.
Nói nhanh gọn. Dễ hiểu. Cảm ơn
dùng cái này tích hợp vô đồ án tốt nghiệp cũng hay nè, tks anh nhiều nhé
Slide: docs.google.com/presentation/d/1MPNf94vliNnwuNmj2YQjPbQbJgpBKGVnsvsMrg1kQas/edit#slide=id.p
Code mẫu: github.com/conanak99/sample-gpt-local
Anh em có thể mua sách ủng hộ mình tại book.toidicodedao.com nha :3
Clip cụ thể 1 tiếng về lý thuyết LLM ruclips.net/video/zjkBMFhNj_g/видео.htmlsi=iE_-HzDj8Y88HfK6
Có kiểu con bot nào mình hỏi rồi nó seach google rồi trả lời câu hỏi bằng câu trả lời đứng đầu trong danh sách tìm kiếm của google không anh, mình không cần viết chi cho mất công hết.
Người nghe ráp như mình rất thích nghe bạn chia sẻ :D
Chào anh Hoàng. Lâu lắm mới thấy anh trở lại
quá hay! cảm ơn Hoàng đã chia sẻ!
Video rất hay và bổ ích, +1 like 😊
Cảm ơn bạn. video rất hay.
Hi vong bạn cho ra thêm hướng dẫn thêm cách traner mở rộng dữ liệu của models này.
Hay Hoàng ơi
chỉnh sửa live code 10 cái giao diện chưa anh, hóng quá
Chat gpt thế hệ mới 5.0 chuẩn bị ra khoái gpt chú thích giải thích từng dòng code như thầy giáo
Cool video anh ơi! Anh dùng Miband mấy vậy ạ?
Video thật hữu ích, cảm ơn bạn nhiu nè
Anh thử dùng palm api để làm chatbot đi. Nó miễn phí đó. Có thể tùy chỉnh filter của nó để hiện thị một số nội dung
Các api /v1/completions có phải là dữ liệu để training cho con chat này không Hoàng?
Tuyệt zờiii
Anh Hoàng làm video xịn quá, hy vọng anh làm thêm video nói về ứng dụng AI làm video, phim ảnh, animation, âm thanh, giọng nói, và mấy con AI của big tech khác nhau như thế nào.
À nếu nhiều bạn quan tâm a sẽ làm nhé
Quan tâm ạ❤❤
idol rã đông thành công
bạn giỏi quá 😊
đoạn 2:33 theo mình nghĩ, một người dân bình thường như mình, hãy cứ hiểu các số mã hóa các kí tự là một dạng tủ quần áo trong phòng tắm hơi, cứ thằng a vào thì nó mở khỏa tủ số 50, thằng b thì 300, thằng c thì 42, kiểu z. và các tủ này sẽ thường chứa các mã số quần áo theo mùa , nếu mùa này thì sẽ chứa quần áo kiểu khác đi. kiểu z, cứ như thế, sự liên kết được hình thành giữa các con số vô hồn.
1 clip ngon như mì ăn liền
Anh nói về cách thuật toán zip hoạt động đc k ạ
tuyệt vời
Anh ơi, Anh làm video code app nhắn tin tương tự mess hay zalo đi a
anh đang dùng Window Manager nào vậy ạ @@ nhìn mượt quá @@
Cái quan trọng nhất trong nhu cầu chạy local em thấy là để bảo mật thông tin. Hiện công ty em muốn đang triển khai để trả lời mấy câu hỏi về confidential documents. A làm tiếp 1 video hướng dẫn về việc này đi a. Có đang thử qua indexing nhưng kết quả trả về không chính xác lắm hoặc do cách prepare data chưa đúng. Đang tiếp tục mò thêm phần fine-tune mà thấy no hope quá 😢
E tìm hiểu về RAG nha, nếu nhiều bạn qtam sẽ làm nha.
@ em quan tâm nữa anh ạ 😊😊
@mình quan tâm nữa 😊😊
@em quan tammmm
langchain nhé bạn
Mình nhàn hẳn khi có chatgpt😂
Làm sao upload file cho con LLM nó học để khi mình hỏi nó có thể tham khảo từ đó trả lời được vậy bạn ?
Thích nhất câu cuối: code 10 phút fix bug 1 tiếng :))
Huu ich quá bạn oi
sếp Hoàng cho em hỏi. trong restful api khi update 1 form data thì việc dùng method put để đẩy toàn bộ dữ liệu lên hay chỉ nên dùng method patch đẩy những field đã được frontend sửa đổi thì sẽ đúng chuẩn thiết kế hơn ạ 🙏🙏
Chuẩn thì bạn có thể tham khảo, tùy ngữ cảnh bạn muốn làm gì?? Model 1 nùi json gây request lớn, model ít thì nhẹ, xử lý bên BE cực , làm nhìu bạn sẽ có kinh nghiệm lựa chọn. Làm thử đi sai nào sửa cái đó :))
Anh lên video nói về công nghệ SAP ở việt nam đi ạ,anh có thể nói về cơ hội nghề nghiệp và độ khó khi học đi ạ.
SAP là phần mềm à? S/4HANA hay đại loại đúng không?
@@mechanizard đúng rồi anh ơi sap là phần mềm ạ
Mặc dù là cover nhưng lại hay hơn những ca sĩ nổi tiếng đã từng hát trước đây
Chào anh hoàng anh vẫn nói nhanh như xưa nhỉ😂😂😂
a có thể hướng dẫn tạo 1 chatbot local mình gửi data lên và sau đó nó học sau này mình có thể trích xuất. kiểu vậy
síp lặn lâu ác :3
cho em hỏi làm sao để access được model gpt 4 vậy ạ
A ơi, e thấy ở công ty e có mấy ô lớn tuổi đi quảng cáo để bán cái trợ lý AI AIVA ở trên zoom như đa cấp lừa đảo, a làm 1 video giải thích rõ về cái AIVA để cho mọi người biết đi ạ. E xin cảm ơn a
À nếu nhiều bạn quan tâm a sẽ làm nhé
@ vâng a
63 like nha anh. chào anh
anh ơi cái live a chỉ dùng tailwindcss chừng nào a đăng vậy
Khi nào edit xong a đăng nhé
Anh ơi, anh chỉ cách tạo bot waifu giống anh đi ạ
Con AI của cốc cốc có ngon ko anh
Thanks
Để AI code frontend chắc fix bug lòi mắt
Anh ơi cho em hỏi là với cơ chế dự đoán các từ tiếp theo thì làm sao con chatGPT có thể trả lời được câu hỏi liên quan đến những cái tên riêng cụ thể ạ? Ví dụ như Nguyễn Văn A, một ca sĩ mới nổi trên mạng thì khi hỏi chatGPT "Ai là Nguyễn Văn A?". Liệu con bot có trả lời chính xác được không ạ? Hay người ta phải tích hợp thêm điều gì vào ạ? Em cảm ơn anh về video.
Trí tuệ nhân tạo thì data là điều quan trọng nhất. Muốn trả lời chính xác thì data phải chứa câu trả lời. Cái tên nguyễn văn a là 1 data trong bể data đó
@@hungnguyenquoc710 dạ vâng em cảm ơn ạ
Hạ thấp tí nữa được không? Ý là: nó vẫn cần cấu hình hơi cao.
Để ý thấy đợt cập nhật mới nhất của OpenAI; cho phép upload file PDF, để người dùng sử dụng dữ liệu đó huấn luyện cho chatbot.
Giờ chẳng lẽ không có mô hình local tương tự ư?
Anh ơi em đang học ngành phát triển phần mềm tại FPT Ploytechnic trường cho chọn 1 trong 2 ngôn ngữ Java với C# em phân vân không biết mình nên chọn ngôn ngữ nào hết anh giúp em với ạ. Cảm ơn anh nhiều
ở tphcm hả bro, tôi cx đang hc
mình sử dụng chat gpt thay cho stackoverflow. Cá nhân mình nghĩ chat gpt vẫn là công cụ khó có thể thay thế dev được nhưng số lượng công việc sẽ giảm đi vì vậy các ông cạnh tranh với thằng sử dụng được chat gpt chứ không phải chat gpt
mình nói chung mình dùng nó thay cho thầy giáo trên trường luôn cùng tự làm project với nó luôn và tự học tuy ko hiểu sâu nhưng vẫn oki
chuẩn ,người biết sd chatGPT sẽ có lợi thế hơn người ko biết sd
bạn muốn hỏi câu hỏi trên stackoverflow bạn cần bằng tiến sĩ vì mấy anh trên stackoverflow khá là toxic khi mình hỏi mấy câu hỏi trùng hay quá tầm thường. Mình thì lại thích gpt hơn vì nó ko phân biệt trình độ và giải thích rõ ràng có ví dụ
@@tedelliot6666chuẩn 🤣biết là mấy ảnh giỏi, nhưng giỏi quá đâm ra sinh tật -> tật sinh ra tự ảo -> toxic vcl
Chuẩn , nhiều lúc hỏi vẫn chủ đề đó nhưng cách hỏi ntn mới quan trọng =))) lúc đầu kêu nó làm giao diện web bán hàng đơn giản , nó cho ra cái giao diện trên trời, rồi cái thay đổi câu hỏi là giao diện đó phải có gì , này như thế nào hay có chức năng gì =)) thì mới làm đúng mô tả được
Hoàng cho mình hỏi chút, sử dụng các model miễn phí này có thể deploy lên môi trường production không nhỉ? hay chỉ run được dưới local thôi?
Thanks!
Tuỳ license mỗi model nha bạn, nhưng hầu như những con base llama hay mistral đều chạy prod và commercial đc cả.
em không hiểu lắm đoạn trong file index_cpp.py
a có thể giải thích được không và phần model thì mình lấy gì truyền vào
Tiki cũng có con trợ lý A.I bằng tech này
Hoàng cho mình hỏi thêm chút, Mình dùng Mac M2- cầu hình 8GB Ram mà build model chậm quá, chạy demo respone trả về khá là chậm, có model nào tối ưu hơn không nhỉ? các model này có tính phí theo quota nhất định không Hoàng? Thanks!
Ko có tính phí bạn, nhưng bạn bên sắp Mac 32GB -64GB hoặc thuê máy có GPU trên runpod nếu muốn chơi mảng này nha.
@ Nếu vậy mà triển khai public thì người dùng cũng phải dùng máy cấu hình GPU tốt mới có thể sử dụng được đúng ko bạn? Cho mình hỏi thêm là có model nào tối ưu chạy nhanh hơn model này ko?
❤❤❤❤
Rồi nó có tính năng ẩn upload thông tin trong các model ko bạn 🤣
phần dựng server LLM sao mình làm hoài không được, bạn có video nào hướng dẫn không ạ? chạy file server.sh không được
Video live viết tailwind đâu rồi anh huhu
anh ơi, thế để chạy AI local này thì nên chọn card nhiều vram hơn hay ít vram nhưng tốc độ nhanh hơn anh?
Nhiều vram đi e
Hic sao anh ko đăng video bên kênh Wibu code dạo nữa z anh 😤
cái v1 trong models là gì vậy anh, em thấy trong hướng dẫn không có
Mình đang có một công việc khá là nhàn và ổn định, mình làm về Sitecore, môi trường công ty cũng là tiếng Anh. Background của mình là lập trình web, .net framework. Mình thích làm web thuần hơn là công việc hiện tại này. Sắp tới mình muốn chuyển qua làm với Reactjs. Mình cũng hơi băn khoăn khi thay đổi, liệu có nên không ?
Bạn muốn thử thách thì cứ triển thôi, quan trọng bạn có theo đuổi với cái lựa chọn của mình không. Chúc bạn thành công
1 tuần giao cho 20 màn hình, component có sẵn, 4000 dòng code, chỉ lôi cpn xài nhưng phải hiểu 4000 dòng đó logic là gì. lương 20 củ. không nhẹ nhàng, tiến độ ko chệch 1 ngày
Thị trường IT cạnh tranh lắm nha b., trước chỉ cạnh tranh với người, giờ cạnh tranh cả thêm với robot nữa, xong còn kinh tế đi xuống các kiểu. Bạn ngắm vượt qua đc những cái trên thì vô, mà h ngành nào chả cạnh tranh hix...
Nhưng khó khăn thì khó khăn, đây vẫn là một ngành thú vị và xứng đáng để theo đuổi nếu có đủ quyết tâm, và ngành này nó sẽ ngày càng phát triển hơn nên người trong ngành cũng phải cập nhật liên tuc.
dạo này anh đang bận dự án của công ty ạ?
anh sài mac pro m1 14' ạ, em tính mua mac air m2 để học lập trình ổn không ạ
lỡ thì mua pro hoặc ít cũng 16GB cho dễ học e nhé :D
tự viết thư viện như chatgpt thì đúng tiêu đề hơn vì t tưởng bở làm hẳn thư viện đủ mọi kiến thức ko cần cloud nữa :))
phần video a livestream code vite + react chưa mở lại ah anh ơi :D
Đang cần coi lại anh ạ
Edit xong mới đăng nha e ơi :3
Sau để chat gpt tạo novel 18+ 21+ ko bị vi phạm hả đại ka wibu. Thanks
🎉
Mac m1 của anh bao nhiêu gb ram
Các công nghệ này mình có thể traning thêm không? ví dụ như về lĩnh vực giáo dục hoặc y khoa
theo e nghĩ thì có thể bác ạ nếu bác có tài liệu về những ngành đấy
công ty em có 1 kho dữ liệu nhưng để áp dụng openai để hỏi đáp thông tin về dữ liệu đó thì quá tốn kém. Có thể tự train 1 model để phục vụ mục đích đấy được không ạ?
Em tìm hiểu về fine tune hoặc RAG nhé. Tiết kiệm tiền thì chạy mấy con 7B-13B tạm cũng được.
@ dạ em sẽ tìm hiểu, cảm ơn anh ạ
chào bạn, nhờ bạn có thể làm video về chủ đề web3 nextjs reactjs nft
À nếu nhiều bạn quan tâm a sẽ làm nhé
Chuyển speed về 0.5 mới nghe được
Model đó tải ở đâu vậy anh?
mình cũng ko biết làm sao tải cái model gần 4gb đó, nhờ Hoàng hướng dẫn phát nhé
mình cũng ko biết làm sao tải cái model gần 4gb đó, nhờ Hoàng hướng dẫn phát nhé
Đọc readme.md nha bạn ơi
Để 0.75 để dễ tiếp thu hơn nha các bạn 😅
helloo
h em thấy mọi người thường dùng ai để viết bài thì nếu ra sao ai nó tự học lại dữ liệu mà ai viết ra trên mạng ?
Thì nó sẽ tự nâng cấp chính nó dần dần trở nên quỷ dị hơn. Vượt ra ngoài trí tưởng tượng của con người. Như cách AI chơi cờ vậy.
mọi người cho hỏi lấy key api kiểu giề
Mọi người cho mình hỏi n_gpu_layers là gì thế, và làm sao để chọn con số tốt nhất nhỉ?
hay
hiện tại thì anh biết ngôn ngữ nào ạ
Anh chỉ cách làm ở trên dt đi
Trên điện thoại thì bạn cài Termux vào
Ủa og bật video speed x1.5 hay j mà ns nhanh ko nghỉ z :)
Chatgpt bằng c++ đi anh
ad làm clip nói chậm lại đc ko?! nói nhanh quá nghe ko kịp
Mình muốn mua Pm chơi TX của bạn mà nt cho bạn ko đc.
anh cho em hỏi khi em chạy lên và chat một câu hỏi thì bị báo lỗi There was an error with the API request , nhưng api của em đã check kĩ lắm đúng r ạ
mình cũng bị thế, hóng solution
anh zai làm cli[ rất hay nhưng có thể nào nói chậm thôi đươc ko anh em nghe ko kịp
Bạn có thể chỉnh tốc độ 0.75 nhen
anh Hoàng cứ gọi nhầm LLM thành MML :)))
hay quá, nhưng mà nhìn k hiểu j
Tầm này học combo gì dễ kiếm việc làm nhất a nhỉ
@viettelcybersecurity5152 cụ thể công nghệ nào bạn nhỉ , mình đang lờ mờ quá
code app thần tốc thì ở nhà gắn admob mà kiếm ăn
Anh bắn em để 0,75 nghe mới kịp =)))
mình chat bằng tiếng Việt có được không a, hay nó chỉ hỗ trợ tiếng Anh thôi
Mấy con to to 70B trở lên mới trả lời đc TV bạn nhé
@ có một số con được train riêng với tiếng Việt, như Vistral 7B nói được tiếng Việt anh ạ, dù kích thước ngang ngang con trong video
Chào bạn mình muốn trao đổi riêng với bạn một chút về công việc thì liên hệ với bạn như nào mong bạn rep tn
Anh ơi, lúc gen ra đáp án con của em nó chạy chậm quá, có cách nào để chạy nhanh hơn không ạ? Em đã cài con OpenBLAS theo như trong doc llama-cpp-python rồi mà không thấy cải thiện gì. Con lap em xài là win chip i5 10210U ạ.
Chắc đổi máy xịn hoặc cạc xịn hơn thui e :))
anh ơi, có thể hỗ trợ em cài được không ạ :( em cài nhưng mà nó không được :( em cảm ơn ạ
@@n1.oanduythanh930 sr bạn mình rep muộn, bạn cài đến phần nào bị lỗi thế?
Bạn có thể chạy các model nhẹ hơn như Phi-2 nha
Hỏi ngu chút là dễ vậy sao vn mình k ai làm ạ ?
ngày dev bị thay thế k còn xa đâu. nghe thì nghĩ vô lý nhưng nhìn lại lịch sử phát triển của công nghệ thì mọi thứ đều đi theo trình tự hợp lý. Những thứ đơn giản ghép lại tạo nên cái ta không thể tưởng tượng được, có khi vài ba năm nữa con chat gpt tự biết viết vài cái app rồi. AI nó có học như người đâu, đến lúc nó tự thu thập tự lọc data tự học thì não người cơ bản là k có tuổi. Trước khi phát triển mấy con như deep blue ai cũng nghĩ đơn giản máy tính sao có thể đánh bại người tạo ra. Đến khi nó vả cho garry kasparov to đầu thì mới sáng mắt ra, và cho đến giờ thì máy đánh thắng người là chuyện đương nhiên
cái ngày mà nó thay thế dc dev thì nó đã thay thay thế được tất cả mọi ngành nghề r nhé ko chỉ riêng mỗi dev
như tôi làm phụ hồ nó thay thế kiểu gì ông?Thẳng thắn đi dev sẽ là một trong số mất việc sớm nhất chứ mấy ngành không liên quan nó thay thế kiểu gì/
@@ucanhtran4372
vậy làn sóng sa thải lập trinh viên là do đâu ạ
suy thoái kinh tế chứ do đâu