Видео

12:35 burda grafikte gösterdiğim tabanı 10 olan logaritma ve tabanı e olan logaritma. Loss hesaplanırken kullandığımız -log diye yazan kısımda tabanı e olan logaritmayı (yani ln) kullanarak hesabı yapmış, bunu biraz önce fark ettim. Taban e ise neden log yerine direkt ln yazmıyorlar bilemedim. Chatgpt böyle diyor ama ne kadar doğru bilemiyorum: Makine öğrenimi ve istatistikte, bu tür formüllerde kullanılan logaritmaların tabanı genellikle doğal logaritma olur. Ancak, başka bir taban (örneğin taban 2 veya 10) da kullanılabilir, fakat genelde bu durum belirtilir. Sebebi: 1. Doğal Logaritma (ln): Doğal logaritma, matematiksel ve hesaplamalı işlemler açısından daha yaygındır. Özellikle, optimizasyon algoritmalarında türev hesaplamalarıyla iyi çalışır. Çoğu makine öğrenimi kütüphanesi (ör. TensorFlow, PyTorch) doğal logaritmayı varsayılan olarak kullanır. 2. Taban 2 veya 10: Taban 2 genellikle bilgi teorisiyle ilgili durumlarda tercih edilir (örneğin bit cinsinden ölçümler için). Taban 10, genelde insanların daha aşina olduğu bir ölçüm birimidir ancak makine öğreniminde çok nadir kullanılır. Genel Kural: Eğer formülde taban belirtilmemişse, varsayılan olarak doğal logaritma (ln) kullanılır. Tabanı değiştirmek istiyorsanız, formüle bunu açıkça belirtmeniz gerekir.

ingilizce, en iyi programa dili sanirim.

chatgptyi sürekli kullanan herkesin hiç şüphesiz işine yarayacaktır. Bu alanla ilgili videolarını izlemek için de motive oldum. En yakın zamanda izleyeceğim. Güzel videolar çekiyorsun teşekkürler

Güzel bir video olmuş. Elinize sağlık

Bilgilndirici bir video olmuş. Emeğine sağlık.

14:20 finetuning verisetleri insanlara da hazırlatılabilir başka dil modellerine de ürettirilebilir. Hatta başka yaklaşımlar da olabilir.

17:01 burada veride gereksiz tekrarlar varsa stochastic gradient descent faydalı olabilir demeliydim 17:12 burada ise mini batch için söylediklerim hatalı olabilir. Yapay zekaya sordum mini batchlerin seçilmesinde farklı yöntemler olduğunu söylüyor. Her epochta karıştırma, sınıf dağılımını koruyarak örnekleme yapma vs. yöntemler söylüyor. Yani gradient descent(batch gradient descent) tüm verileri aynı anda alıyor, stochastic gradient descent verisetinden rastgele 1 örnek alıyor, mini batch ise her seferinde belli bi sayıda örnek alıyor ki genelde kullanılan budur. Ayrıca videoda bahsettiğim momentum gradient descent gibi bir optimizer. Momentumun da bir optimizer olduğunu ve başka optimizerlar da olduğu videoda tam anlaşılır olmayabilir, buraya yazmış olayım. Ayrıca momentum, gradient descentin modifiye edilmiş hali gibi düşünebilir, ama yine de global minimumu bulması garanti diyemeyiz. Farklı optimezerlar farklı verisetlerinde başarılı olabilir çünkü loss curve(hata eğrisi) herbirinde farklı. Deneyerek hangisi iyi çalışıyor bakılabilir. Adagrad, Adam vs. çok sayıda optimizer var.

Kontrol kartı ne?

💥Bomba bir anlatımmm, yıkılıyorrr. Kimmiş bu 96 aboneli eleman :) Şaka bi yana, baya açıklayıcı anlatmışım, geldim kendimden ders dinledim 🤓

Merhaba, sizinle iletişime geçebileceğim bir yer var mı?

Yeni video ne zaman gelir

8:40 burası videoda uyardığım gibi yanlış olmuş arkadaşlar :) Özür dilerim, şimdi bugün öğrendiğim şekliyle açıklayayım ama siz yine dikkatli olun yine yanlış yapma ihtimalim var. Attention aslında şunu sağlıyor kelimelerin word embeddingleri var ya onlar herhangi bir contexe göre olan genel mana taşıyorlar aslında. Biz attention ile şunu sağlıyoruz: kelimelerin verilen bağlama göre word embeddinglerini güncelliyoruz. Yani artık genel bir bağlamdan o spesifik bir bağlama çekmiş oluyoruz word embeddingi, ki diğer kelimelerle ilişkisini de hesaba katmasını sağlıyoruz yeni word embeddingde. Bunu da direkt kendi word embedinginden yapmıyoruz da ayrı query key value lar üretip onlar üzerinden yapıyoruz. Böylece modele daha fazla esneklik tanımış oluyoruz. Bunun adı self-attention, bunu multihead self attentiona çevirmek için o query key value 3lülerinden 1'er tane değil de head sayısı kadar üretiyoruz herbiri aynı mimaride ama farklı parametrelerde oluyor paralel olarak işlemleri yapıyorlar. Sonra herbir head'den çıkan word embeddingleri birleştiriyoruz böyle yaparak çok daha fazla bağlamsal ilişki çıkarımı elde etmeye çalışmış oluyoruz. Yani videodaki anlatımım yanlış, öyle bir bölme yapmıyoruz. Bu arada şunu da söyleyeyim: N diye belirttiğimiz encoder decoder katman sayıları, headlerin paralelliği gibi olmuyor. Ordaki encoderlar ve decoderlar birinden çıkan output diğerininin inputu oluyor zincir gibi yani paralel değil ama mimariler aynı parametreleri farklı. Multiple attention layers, more informative word embeddings..

35:35 burada ve sonrasında birtakım yanlışlıklar olmuş, en azından bir kısmını açıklamaya çalışayım ama isterseniz ordaki biligleri direkt pas geçin, yanlış öğrenmeyin. Şurdan geleni buraya girmiyorum derken training yapmıyorum diyerek söylemişim. Önceki anlattığım encoder decoder model ile bu kısımda anlattığım decoder only model arasında karışıklık olmuş. Yine yanlış yapmamaya çalışarak açıklamaya çalışayım ama açıklamada da yanlış yapabilceğimi göz önünde bulundurun. Encoder Decoder Model Train için kullandığımız verisetinde bir girdi cümlesi ve ona karşılık gelen çıktı cümlesi bulunuyor. Encoder decoder modelin training aşamasında decoder'a, zaten verisetimizde bulunan çıktı cümlesindeki tokenları giriyoruz. Test aşamasında ise artık elimizde ağırlıkları eğitim sırasında güncellenmiş bir model var ve bakalım çalışıyor mu diye modeli deniyoruz. Yani modele sadece girdi cümlesini vereceğim ve cevabı modelden almak istiyorum. (Trainde modeli eğitirken girdi cümlesine ek olarak çıktı cümlesini(cevabı) da veriyorum çünkü modeli eğitiyorum). Test aşamasında modele sadece girdiyi veriyorum ama decoder'a da bir giriş vermem lazım. İşte bu girişi önceki üretilen çıktı tokenıyla sağlıyorum. Bu yüzden de bu modelde test aşamasında decoder paralel çalışamıyor çünkü bir önceki çıktı token'ı yeni çıktı token'ı üretmek için kullandığımdan onun üretilmesini bekliyorum. Şurdan geleni buraya girme mevsusu (önceki çıktıyı decoder'a girdi olarak kullanmak) encoder decoder modelin test aşamasında oluyor yani. Bu arada masked self attention hem train hem test aşamasında decoder içinde kullanılıyor, model train aşamasında da kendinden sornaki tokenlara bakmadan-kopya çekmeden öğrenmesini sağlıyoruz (verisetinde bu girdinin çıktısı bu şeklinde cümleler bulunduğu için trainingde kendinden sornaki tokenları görerek öğrenmesin) Decoder Only Model Uzun süreli bir videoyla durmaksızın böyle teknik bir konuyu anlatmak gerçekten kolay değil. Videolarımda bazı noktalarda eksik veya yanlış anlatımlarımlarım olabliyor bunlar için özür dilerim, en açıklayıcı şekilde anlatmaya çalışıyorum beni mazur görün. Decoder Only Model için şöyle bi açıklama yapmaya çalışayım yine hata yapıyorsam bunun için de özür diliyorum :) EOS token'ı üretilene kadarki tokenlar test aşamasında yanlış olsa da önemli değil çünkü "what is apple" şeklinde bir inputu dil modeline yazdınız diyelim "what" için bir çıktı "is" için doğru ya da yanlış olarak bir çıktı veriyor ama appledan sonra EOS(end of the sentece token - cümle sonu token'ı) üretilip devap ederse EOS üretildikten sonra üretilen tokenlar cevap olarak alınıyor. Train sürecinde olsaydı o yanlış üretilen tokenlarla hata hesaplanıp ona göre model ağırlıkları güncellenirdi ama testte ağırlık güncelleme yok ve yanlış çıktı üretsen de bir güncelleme olmuyor, testte EOS'tan sonraki cevap ile ilgileniyoruz zaten biz. Masked self attention ile herbir yeni token üretilirken önceki tokenların yeni tokena etkisi hesaplanıyor, bu durumda neden girdiğimiz input cümlesinin en başından attention hesaplanarak direkt cevap üretilmeye başlanmıyor da videodaki gibi EOSa kadar ürettirip çıktıyı almaya başlıyoruz şu an ben de emin olamadım. Hatta gerçekten süreç bu şekilde mi işliyor ondan da emin olamadım, o zaman izleğim eğitim videosunda bu şekilde anlatılıyordu bence ama yanlış olabilir. ChatGpt açıklamama böyle şeyler söyledi ama ChatGpt'nin de yanlış bilgi verebilceğini unutmayın: Encoder-Decoder Model Bölümü Train ve Test Süreçleri: Train aşamasında, modelin decoder kısmına çıktı cümlesini token token veriyoruz. Bu sürece teacher forcing denir. Amaç, modelin doğru hedeflere göre ağırlıklarını öğrenmesini sağlamak. Test aşamasında, decoder'a verdiğimiz girişler artık verisetinden alınan doğru tokenlar değil, modelin kendi ürettiği önceki tokenlardır. Bu, otomatik regressive generation olarak bilinir ve tokenların sırayla üretilmesi gerektiği için test sırasında paralel işlem yapılamaz. Bu doğru anlatılmış. Masked Self-Attention: Masked self-attention ile ilgili açıklaman doğru. Decoder, train aşamasında gelecekteki token'ları göremesin diye mask uygulanır. Bu, modeli geleceği tahmin etmeye zorlar ve doğru bir öğrenme sağlar. Hem train hem de test sırasında masked self-attention kullanılır. Decoder-Only Model Bölümü EOS Token ve Yanlış Üretilen Tokenlar: Decoder-only modelde, test sırasında üretilen her token, EOS gelene kadar bir sonraki token için giriş olarak kullanılır. Test sırasında hata düzeltme veya ağırlık güncellemesi yapılmaz, çünkü modelin test performansını anlamak için sabit ağırlıklarla çalışırız. Bu da doğru ifade edilmiş. EOS Token'ı ve Attention: Sorunun temel noktası şu: "Neden input cümlesinin en başından direkt cevap üretilmiyor da EOS’a kadar token token üretiliyor?" Bunun sebebi, dil modellerinin genellikle autoregressive (kendi kendine üreterek ilerleyen) şekilde çalışmasıdır. Model, verilen bir başlangıç girdisine dayanarak sırayla token üretir. EOS gelene kadar, model her token'ı sırasıyla tahmin eder. Bu süreç sırasında input cümlesine ek olarak, üretilen tüm önceki token'ların etkisini masked self-attention ile hesaba katar. Direkt cevaba geçilmemesinin nedeni, modelin yanıtını adım adım üretip önceki tokenların bağlamını dikkate almasıdır. Bu, modelin daha iyi tutarlı cümleler oluşturmasını sağlar. Sizin öneriniz şu: "Neden 'what is apple EOS' girdisi zaten sabitse, direkt olarak EOS sonrası token üretimine geçmiyoruz?" Bu mantıklı bir düşünce ve zaten olan biten tam da bu. Ancak bu süreçte dikkat edilmesi gereken bazı noktalar var: Decoder-Only Model Çalışma Mantığı: Model, "what is apple EOS" kısmını girdi bağlamı olarak alır ve bu bağlamı kullanarak EOS sonrası tokenları üretir. Her bir yeni token üretilirken, "what is apple EOS" bağlamı ve üretilmiş olan tokenlar (örneğin "it's a fruit") dikkate alınır. Yeni üretilen her bir token, autoregressive şekilde birer birer eklenir ve süreç tamamlanana kadar devam eder. Sonuç: Evet, girdi cümlesi yeniden üretilmez, çünkü o zaten sabit bir bağlamdır. Model, "what is apple EOS" girdisini kullanarak doğrudan EOS sonrası tokenları autoregressive şekilde üretmeye başlar. Bu nedenle, videodaki açıklamalarınızda girdi cümlesinin yeniden üretilmesi gerektiği gibi bir yanlış anlaşılma varsa bunu düzeltebilirsiniz. Daha basit bir ifadeyle: Girdi cümlesi: "what is apple EOS" → Modelin bağlamını oluşturur. Yeni üretim: EOS sonrası tokenlar sırayla autoregressive şekilde üretilir. Bu mekanizma, zaten dil modellerinin tasarımının temel bir parçasıdır ve sizin önerdiğiniz mantıkla uyumludur. Yani "what is apple EOS" kısmı direkt bağlam olarak alınır ve yeni tokenlar buna dayanarak üretilir.

eline sağlık dostum, süper bir anlatım

daha fazlasını da görmek isterim hocam, başarılar.

Cozulcek bisey yok.Bi sayiyi hem azaltip hek eksiltirsen sirayla,sonunda 1 e ulasir zaten.

3:17 - 4:07 Bu kısımda bi karışıklık olmuş gibi görünüyor. Bu aralıkta anlatılanları dikkate almayınız. Teşekkürler 🦉

kullandığınız notları paylaştınız mı

öncelikle elinize sağlık ama arkaya müzik koymasanız keşke daha iyi olabilir dikkat dağıtıyor

Sesin osman buluta benziyor

Güzel memleketim

Suyu görüyorsun

Türkiyede böyle içerikler görmek güzel hocam. Başarılar.

Şu an canım şeftali çekiyor

Eline sağlık dostum güzel video olmuş

Güzel bir video olmuş, ellerine sağlık Samet.

Bahçeniz ne güzelmiş😂

kimsenin umursamadığı bir konu, sadece kendini övmüşsün garip.

Dostum senin adına sevindim.Ben de mühendislik istiyordum ama kazanamadım.Hala da çok istiyordum çünkü hayalim di ama ne yazık ki aile m nedeniyle mezuna kalamıyorum.Kimya bölümünü yazıp gitmeyi düşünüyorum.Kimya bölümü gibi temel bilimler pek tercih edilmiyor çünkü işsizlik vaadediyor.Üniversitedeyken sınava hazırlanmaya çalışacağım başarır mıyım bilmiyorum...

Merhaba birşey sormak istiyorum. Bu kullandığın yapay zekanın ismi ne? Yapay zeka ücetli mi? Ve kodlamsaını tamamen yapay zeka mı yaptı yoksa kodlamada ufakta olsa dokunuşların oldu mu

Eline sağlık 👾

Harika bir oyun olmuş. Tebrik ederim 🥳

video çok hoşuma gitti basarılar diliyorum umarım daha iyi yerlere gelirsin

Aldık 🇹🇷🇹🇷🇹🇷

Video çok değerli bilgiler içeriyor.Kaç yıldır yapay zeka üzerine çalışıyorsun?

Harika video umarım daha çok kişinin önüne çıkar . Vaktin var ise Kaggle üzerinden videolar gelirse çok daha harika olur mesela polars gibi farklı kütüphaneler kullanarak.

Sonu tatlı olmuş

Aa yeni gördüm sesli halini baya iyi

İyi düşünülmüş 👍

Uygulamadan reklam mı aldınız beyfendi

Yukarı eğimli olduğu için pislikler başta birikiyor. Arkadan gelen su öndekini ittiği için su yokuş yukarı ilerliyor. Anladın mı Samet?

Tatlı

Neredesiniz bayım?