Uczenie sieci neuronowych - część 1
HTML-код
- Опубликовано: 6 июн 2020
- Film został przygotowany i przedstawiony przez prof. Ryszarda Tadeusiewicza z Katedry Biocybernetyki i Inżynierii Biomedycznej - AGH. Prezentuje najważniejszy fragment wiedzy o sieciach neuronowych, mianowicie prezentuje przebieg typowego procesu uczenia (bez wchodzenia w obszar tzw. uczenia głębokiego). Przedstawione są informacje o tym, jak należy rozpocząć i jak prowadzić proces uczenia. Natomiast w drugiej części wykładu (przedstawionej w formie oddzielnego filmu) będzie mowa o tym, jak zakończyć proces uczenia i jak unikać niebezpieczeństw związanych z nieprawidłowym uczeniem.
Ten film powstał na bazie prezentacji, która została przygotowana dla studentów w celu zdalnego nauczania w kwietniu 2020 roku, gdy AGH była zamknięta z powodu pandemii. Prezentacja zawierała animacje i komentarz słowny, które powinny się przeplatać. Niestety przeróbka do postaci filmu spowodowała, że na kolejnych wyświetlanych slajdach najpierw wykonywane są wszystkie animacje, a potem wygłaszany jest komentarz. Ale i tak z filmu można skorzystać.
Strona Katedry Biocybernetyki i Inżynierii Biomedycznej - AGH: kbib.agh.edu.pl/
Jeśli podoba Ci się ten film oraz jesteś zainteresowany prezentowaną tematyką, zasubskrybuj kanał. Możesz również wspierać rozwój tego kanału poprzez komentarze oraz polubienia.
![[07.1] Siec neuronowa](http://i.ytimg.com/vi/IJQMGk8FI9o/mqdefault.jpg)
az wstyd przyznac ze nie chodzilem na wykłady , ale teraz nadrabiam juz po studiach, nadrabiam slucham dokładnie
Ogromnie mi miło, że korzysta Pan z tych moich filmów. Życzę powodzenia w uzupełnianiu wiedzy :-)
Jak to w stylu profesora, wykład przedstawiony w sposób jasny i przejrzysty.
Dziękuję i serdecznie pozdrawiam
Dzięki za prezentację. Mam pytanie dotyczące back propagation.
(punkty 11 itd.) Zawsze myślałem, że dla obliczenia błędu "na wejściu" neuronu trzeba błąd wyjściowy pomnożyć przez pochodną funkcji aktywacji. Tak przynajmniej znajdowałem w różnych tutorialach.
Dziękuję za pytanie. W prezentacji, o którą Pan pyta, nie oblicza się jawnie "błędu na wejściu", ale pochodna funkcji aktywacji występuje we wzorach określających zmiany wag, więc jest to dokładnie tak, jak Pan czytał w tutorialach, tylko w innym ową pochodną wykorzystuje się w innym momencie.
@ Pan profesor zmusił mnie do myślenia i chyba mnie oświeciło :-)
Sytuacja byłaby taka. W czasach kiedy królowała sigmoida, owo mnożenie przez pochodną było przyczyną zanikania gradientu. Rezygnacja z tego mnożenia przyspieszyłaby obliczenia i pozwoliłaby uniknąć tej zmory. Dlaczego więc nie upraszczano sobie życia? Pewnie to uproszczenie za bardzo zniekształcało wyniki.
Dziś króluje ReLU (z pochodną jednostkową dla dodatnich x) i niepotrzebnie mnożylibyśmy przez 1.
I stąd to całe rozdwojenie w tutorialach.
A bias tez aktualizujemy ???
Tak. Wzór na aktualizację jest taki sam, jak przy wszystkich innych wagach, ale przyjmujemy, że jest to wejście, do którego stale dociera sygnał o wartości 1
@ Czyli bias += szybkoscUczenia * błądNeuronu * pochodna funkcji * 1 ? a różnica po między wartością zadaną, a wynikiem czyli y - z = S to nie powinno być do kwadratu /2 ? s = ((y-z)^2) / 2 ?
Krok we właściwym kierunku. A gdyby wprowadzić prawo, które by nakazywało nagrywanie i publikowanie WSZYSTKICH wykładów dokonywanych na uczelniach publicznych ?