LIVESTREAM - 6 JAM GPU TEST DEEPSEEK R1 (DISTILLED) LOCAL/OFFLINE ft. LMStudio
HTML-код
- Опубликовано: 10 фев 2025
- #ai #deepseek #lmstudio
Merasa video ini berguna?
Boleh bantu dukung beli test equipment di saweria.co/luc...
Test PC Specs(1)
AMD Ryzen 5 8600G
MSI B650i Edge Wifi
Predator Vesta II 2x32GB DDR5-6000CL30
KYO H890 APEX 2TB nvme ssd
Test PC Specs(2)
AMD Ryzen 7 9800X3D
MSI X870E Gaming Carbon Wifi
Predator Vesta II 2x32GB DDR5-6000CL30
Crucial P5 Plus nvme
FSP Mega Ti 1650W
GPU Tested:
Integrated GPU Radeon 760M
Geforce GT 1030 2GB
Geforce RTX 4060 Ti 16GB
Geforce RTX 4060 8GB
Geforce RTX 4070 Super 12GB
GeForce RTX 4080 Super 16GB
GeForce RTX 3090 24GB
AMD Radeon RX 6600 8G
AMD Radeon RX 7900 GRE 16GB
AMD Radeon RX 7900 XTX 24GB
Intel Arc A380 LowProfile 6GB
Intel Arc A580 8GB
Intel Arc A770 16GB
Intel Arc B580 12GB
04:40
Dipsic R1 adalah model LLM yang mirip dengan Chat GPT dan memiliki performa reasoning yang sangat baik. Model ini menjadi perhatian karena keunggulannya dalam ukuran dan aksesibilitas dibandingkan dengan model lain.
20:15
Model yang digunakan dalam pengujian ini diharapkan memberikan performa yang lebih baik dengan parameter yang lebih besar. Untuk penggunaan lokal, model yang disarankan adalah kuantitas Q4KM yang telah diuji oleh AMD.
40:18
Pengujian performa CPU dan GPU dalam memproses model AI menunjukkan perbedaan signifikan dalam kecepatan token per detik. CPU menghasilkan sekitar 11 hingga 6 token per detik, sedangkan GPU dapat mencapai hingga 16 token per detik.
1:00:22
Kecepatan pemrosesan GPU lebih tinggi dibandingkan CPU dalam pengujian ini. Meskipun ada beberapa kesalahan dalam penghitungan, hasil menunjukkan bahwa GPU dapat menangani lebih banyak token per detik.
1:20:33
Pengujian GPU dan CPU sangat penting dalam menilai performa perangkat keras untuk aplikasi tertentu. Dalam video ini, dibahas berbagai pengujian yang dilakukan dengan menggunakan GPU dan CPU yang berbeda.
1:40:37
Kinerja GPU dalam pemrosesan AI sangat tergantung pada bandwidth memori dan jumlah parameter yang dapat ditangani. Memilih GPU yang tepat dapat meningkatkan efisiensi dan kecepatan pemrosesan AI.
2:00:39
Kebutuhan memori dalam pengujian GPU sangat penting untuk performa yang optimal. Jika memori terpenuhi, aspek lainnya dapat dievaluasi dan dioptimalkan lebih lanjut.
2:20:47
Pembicaraan ini berfokus pada tantangan dalam menyelesaikan tesis sambil melakukan live streaming dan pengujian teknologi GPU. Overthinking menjadi faktor penghambat, tetapi tetap ada kemajuan dalam pengujian perangkat keras.
2:40:53
Pembicara membahas tentang performa GPU 480 Super yang digunakan untuk keperluan kuliah dan pengujian model AI. Ia juga menyebutkan kesulitan dalam mengikuti program magister yang mempengaruhi proses berpikir.
3:00:56
Kecepatan sistem dalam mengolah data sangat mengesankan, meskipun beberapa jawaban yang diperoleh tidak sesuai harapan. Proses ini menunjukkan potensi sistem yang lebih baik dengan pengaturan yang tepat.
3:21:05
Diskusi mengenai pemilihan GPU antara AMD dan Nvidia memunculkan berbagai pertimbangan. Pengguna diharapkan untuk memilih berdasarkan anggaran dan kebutuhan spesifik mereka daripada hanya merek.
3:41:11
Pembicaraan ini berfokus pada pengalaman dan tantangan dalam dunia teknologi, khususnya dalam bidang hardware dan AI. Diskusi ini juga menyoroti pentingnya pemahaman dan adaptasi terhadap perkembangan teknologi yang cepat.
4:01:21
Proses penginstalan perangkat lunak sering kali memerlukan banyak usaha dan kesabaran. Pada video ini, pengguna mengalami masalah saat mencoba menginstal LM Studio dan memerlukan banyak penyesuaian.
4:21:33
Perbandingan kinerja antara kartu grafis AMD dan NVIDIA menunjukkan bahwa AMD 7900 XT memiliki performa yang sangat kompetitif dan hampir setara dengan RTX 3090. Ini menunjukkan kemajuan signifikan dalam teknologi grafis AMD yang patut diperhatikan.
4:41:45
Dalam video ini, pembicara membahas masalah yang dihadapi saat menginstal perangkat lunak dan driver untuk GPU baru. Dia merasa frustrasi karena perangkat kerasnya tidak terdeteksi dengan baik dan mengalami kesulitan teknis.
5:01:51
Penggunaan GPU dalam pengujian performa sangat penting untuk mendapatkan hasil yang optimal. Memilih GPU yang tepat dapat meningkatkan pengalaman pengguna dalam menjalankan berbagai aplikasi dan game.
5:22:20
Diskusi tentang performa GPU dan bagaimana memilih yang tepat menjadi fokus utama. Penting untuk mempertimbangkan kebutuhan spesifik dan anggaran saat memilih GPU untuk berbagai aplikasi.
5:42:05
Performa GPU sangat penting untuk melakukan inferensi pada model bahasa besar (LLM). Penggunaan driver yang tepat dan pemahaman tentang token juga berperan dalam hasil yang optimal.
6:02:13
Video ini membahas tentang masalah dalam loading model di GPU dan bagaimana pengaruhnya terhadap performa. Proses pengujian menunjukkan beberapa tantangan yang dihadapi saat menggunakan model besar dengan memori terbatas.
6:22:16
Kecepatan output token per detik sangat penting dalam penggunaan CPU dan GPU. Dengan kecepatan yang lebih tinggi, proses inference menjadi lebih efisien dan responsif.
6:42:23
Generasi kita perlu mencari cara untuk memberikan pengaruh positif di era sekarang. Salah satu cara yang bisa dilakukan adalah berbagi aplikasi yang bermanfaat bagi orang lain.
Ini tes yg ane cari2. Di kanal luar aja ndak ketemu. Makasih bro Alva, semoga lancar jg studi s2 nya...
ssebelum liat strem ini gue belom kepikiran buat instal offline lm studio
lucu juga liat AI overthinking
Model: DeepSeek R1 Distill (Qwen 7B) di mesin Mac Mini M4 Base Model (Ram 16GB) dpt 20token/s
Wih m4 mini kenceng juga ya
*penasaran pengen ambil, cuma budgetnya masih buat nabung 5090 hahah
@Luckyn00bOC dengan budget under 10jt kayaknya ini mesin super bgt kecuali untuk main game, editing libas, ngoding enteng, simulasi ios ma android kecil, 😂
Intel arc apakah terkena dampak overhead juga enggak ya buat editing sama ai?
Drivernya sama, tapi B580 yang saya pegang bisa ke load semua itu 14B (10,2gb memory kepake di task manager), 14B DAPAT 33,53tok/sec. Tapi di 8B juga beda sih load nya, B580 yang saya pegang di 8B makan memory 6,3gb.
Asumsi pribadi kayaknya mungkin ya ada masalah di kestabilan driver terutama masalah gpu sama memory clockspeed. Kemarin ada game/kondisi tertentu ketika default malah eror. Saran coba naikkan freq dikit +50 sama memory default (atau kalau mau sekalian ya jalan di 19,4-19,6). Voltage sama Power Limit tidak dirubah ya.
Intel Graphics Drivers 101.6557 Beta (30 Januari 2025)
Driver sudah sama sih ini, nanti kalau ada waktunya dicoba lagi deh itu yang 14B :)
Memory benar2 pengaruh ya, jadi pingin tahu bagaimana 4090 vs 3090, secara jumlah Vram, type, dan bus clock sama, hanya beda di bandwidth. kira2 berapa persen bedanya itu mereka.
ini sedang menunggu 4090 dan 5090 pinjeman datang ;)
'pinjeman' nya gak usah di sebut jg mas 😂😂
Biar ga dikejar-kejar orang pajek nanti mas makanya pinjemannya disebut #eeehgagituu
Alfa, ijin nyusul, tadi ga bisa ikut live
terbitlah "token per socond lu berapa bos?"
"46 -fps- tps bang"
Bang berarti itu kalo assume Openai backend hosting request semua prompt dari users chatgpt,
load A100 H200 100% terus kah
Liat nih test setiap per promopt request spike load GPU nya kek tiba tiba 100% (cuman 1 users, locally)
Kek nya iyaa sih, gak kebayang berisik nya gimana 😅
The GPUs are maxed out nearly all the time
om coba bikin tutor setup rocm di amd-windows om
gaes , pertanyaan paling unik dong
Coba ini kak:
"What's bigger, 9.9 or 9.11?"
AI ini bisa dilatih tidak bang Alva? Misal akun chatGPT saya sekarang kalau saya suruh tulis apa yang anda kenal dari saya, dia bisa tulis dengan lumayan lengkap. padahal saya bukan orang terkenal
Ada beberapa metode untuk 'fine-tune' Deepseek, tapi saya mungkin bukan orang yang tepat untuk bahas materi ini (masih belajar juga hahah).
Coba mungkin google dengan keyword : Deepseek Fine-tune
@Luckyn00bOC siyapp terima kasih banyak infonya bang Alva. Lumayan dengerin kuliah 6 jam semalem hahaha
Makin kesini makin sering generalisasi 😅
generalisasi di aspek apa kalau boleh tahu?
@Luckyn00bOC maaf om😅, maksudnya elu makin sering bilang "generalisasi".
Viewer: "Ini maksudnya apa ya bang?"
Lcnoob: "gini gini, ini kalo ada expert yang liat pasti gw dimarahin ini, tapi kalo boleh generalisasi Banget, ....?"
@@Queenz7295 Oooh gini2,
maksudnya di beberapa pertanyaan begitu, karena gw jawabnya dari isi kepala dan bukan sambil cek + ricek paper akademik, gw harus melakukan generalisasi, dan bukan jawaban segitunya akurat, jadi gw kasih disclaimer di depan kalau jawabannya mungkin TIDAK akurat, daripada nanti gw dituduh kasih informasi misleading :)