Mengenal Change Data Capture
HTML-код
- Опубликовано: 15 сен 2024
- Mengenal Change Data Capture
JOIN PREMIUM : www.youtube.co...
DISCORD PREMIUM : • Post
Donasi :
Saweria : saweria.co/Pro...
Social Media :
Instagram : / programmerzamannow
Facebook : / programmerzamannow
Telegram : t.me/Programme...
RUclips : / programmerzamannow 
Наука
Mantap pak eko, sebagai DE(Data Engineer) saya berasa refresh knowledge hehe
baru bikin ini pake kafka dan debezium, gara2 ini naik gaji 😂
mantul sekali
Bikin tutorial nya pak hehe
Wah mantep gan
iya, jadi awalnya di kantor gw ada prosess ETL dari mysql ke clickhouse dan itu jalan setiap malem pake cronjob, jadi data yang masuk data H-1, dan disitu gw kepikiran gimana ETL itu bisa realtime , akhirnya bikin deh pake kafka sama debezium
Cara biar hemat memory gmn ya? Default config-nya consume banyak memory soalnya.
Buat video tentang pemahaman data engineering pak eko, kaya tools apa aja yg perlu di kuasai dan menjaga data integrity dari data ingestion sampai ke user
Noted
Setuju
mantab pak, request bikinkan tutorial spring security dari pemula sampe mahir pak sekaligus integrasi sama keycloack. Jadi course berbayar juga gk apa2. likenya temen2 jika setuju :)
pak kapan kapan bahas multitenant architecture dan bestpractice nya.
Mantap, Ini yang saya cari untuk implementasi di fitur Display Dashboard di kantor
Metode ya lebih ke Data Streaming dengan skala besar atau big data .... mantap 👍
wah pas banget ni studi kasusnya, baru denger debzium, udah hampir 4 tahun buat dan maintain listener bikinan sendiri, buat listen perubahan di oracle lalu di insert ke elastic.
Menarik, kalo di terapkan di machine learning menarik juga buat trigger data training
Wii dah nyenggol2 DE ni, lanjut Pa Eko
wahh makasih Kang, saat ini saya ngelisten change di db nya pake cronjob setiap 2 detik sekali, wkwkwk
rajin sekali
bikin overheat sistemnya ga tuh?
coba cek penggunaan cpu, ram, dll setelah menggunakan cara itu naik drastis ga bang?
Keren banget mas, mas Eko saya mau nanya kalo misalnya hanya 1 database nya apakah best practice nya untuk stream change data tetap pakai debezium, atau gausah mas?
Bikin seri data engineering pak
Setuju
trimakasih banyak pak 🙏
baru aja beres pake Debezium sama kafka, terus nyoba flink juga enak sih flink
flink itu untuk apa mas?
@@kemasghanis.7358 sama saya pakai buat CDC juga
@@kemasghanis.7358 saya pakai untuk CDC juga mas
makasih banyak abangkuh!👏🏻👌🏻
Makasih Pak Eko 👍🙏
Next tutorial tools pke pentahoo dong pak eko
Mantap pak,, kalo misal bikin sistem backup database itu gimana apakah bisa dengan ini? Soalnya kalo via export entah ke SQL ataupun TAR.GZ itu semakin gede datanya semakin lama prosesnya
Untuk display antrian arsitekturnya gmn ya mas, biar selalu dapat data realtime
Kalau ETL di industri itu gimana pak?
Permisi pak Eko izin mau tanya, untuk contoh case penggunaan debezium ini seperti aplikasi RealTime dashboard begitu ya pak?
selama ini saya ngandelin Postgres notify ama listen
pakai ini aja udah cukup harusnya kalau kamu cuma pakai database postgres, karena biasanya udah dioptimasi untuk postgres karena yang buat postresnya langsung
Keren ilmunya pak! sehat2 terus
lagi riset pake SQL SERVER + CDC Debezium + kafka. Ada problem, mungkin bisa di koreksi. Ketika struktur tabel berubah, perubahan struktur juga tidak langusng berubah. Jadi perlu di "disable/enable" kembali CDC nya. Mungkin ada yang mengalami, apakah memang harus seperti itu ya?
Subangna dimana a' ? Hoyong ameng lah 😁
Pak bahas database transactional jika kita menggunakan lebih dari 1 jenis database dong
Gak bisa kalo itu
Solusinya gimana ya pak? Apakah harus 1 proses di endpoint tersebut harus pake 1 tipe database?
Sama kayak Hibernate envers ya pak
mau nerapin CDC juga di tempat kerja, tapi archive log di oracle nya ga mau dibuka karena alasan storage, jadi bingung pak 🤣 jadinya ya cdc trigger based, ga bisa log based, mohon kalo ada inspirasi lain 😅
kenapa gak mau dibuka?
@@ProgrammerZamanNow alasan storage kata dba nya pak, kalo lognya dibuka nanti storagenya lama2 besar
apa beda ny dgn Audit Trail ?
kalau setelah mendengarkan perubahan maunya bukan kirim ke db lain, tapi mau call suatu api itu gimana pak ?
kirim ke kafka, trus bikin listener di kafka untuk manggil api lain
Untuk Perubahan yuk bilang AMIN (All in 01 Anies-Muhaimin)
ada masalah apa sih kawan
Pak eko, saya pernah coba pake debezium buat listen postgresql, tapi pas initial data copy ke kafka jadi bloated bgt, datanya emg hampir 1m tapi storage hampir tembus 1tb buat nampung data capture nya aja di kafka.
Apakah saya ada salah implementasi di / settingan debeziu ato kafkanya ya?
Di kafka bisa di setting retention nya, misal 100Gb jadi lebih dari itu otomatia data lama hilang
berarti consume datanya harus cepet juga ya pak eko?, itu padahal datanya masih belum ada 1/4 nya..
kalo sepengalaman pak eko buat data yang mayan besar apakah emang butuh server yang gede pula storage nya buat catch up datanya? belom lagi kafka node nya harus minimal 3. cmiiw
mas sama SCD sama kah?
Pak eko, mau tanya bedanya change data capture sama database replication apa ya ?
itu replica sesama database yang sama
@@ProgrammerZamanNow Terima kasih pak eko pencerahannya
wih gw butuh sh cmn dbnya udh 4.5TB, backup aja pun gk ada :'(
kalo corrupt datanya, langsung gak bisa tidur
@@ProgrammerZamanNow saya tiap hari berdoa supaya cepat pindah 😭
@@glowiever pindah db apa pindah kerja
Ini connector MySQL nya bs dipakek utk MariaDB kah Pak?
harusnya bisa
@@ProgrammerZamanNow ok Pak thx ingfo