[Easy! 딥러닝] 3-1강. Gradient Descent 의 두 가지 치명적 단점

Поделиться
HTML-код
  • Опубликовано: 12 янв 2025

Комментарии • 16

  • @hyukppen
    @hyukppen  9 месяцев назад

    📢 이 책으로 나왔습니다!! 🎉
    ❗ 구매 링크
    👉 교보문고: product.kyobobook.co.kr/detail/S000214848175
    👉 yes24: www.yes24.com/Product/Goods/139734696
    👉 알라딘: www.aladin.co.kr/shop/wproduct.aspx?ItemId=352995281
    👉 출판사 자사몰: shorturl.at/yqZpW
    (오직 북엔드몰에서만 그립톡 굿즈를 함께 드립니다!)
    (회원가입시 2,000원 선할인 적립금까지!)
    📖 이 책의 특별한 점
    ✅ 유튜브에 공개된 내용 + CNN + RNN + Attention까지 완벽 정리
    ✅ LEVEL 2 강의 의 CNN 파트 수록 (챕터 7)
    ✅ LEVEL 2 강의 의 RNN~Attention 파트 수록 (챕터 8)
    ✅ 수학이 걱정되시는 분들을 위한 수록
    ✅ 완벽한 이해를 돕는, 무려 282개의 삽화
    ✅ 수십 번의 정제를 거친, 총 351페이지를 꽉 채운 내용
    🎯 이런 분들께 추천드립니다!
    ✅ 인공지능에 관심 있는 대학생
    ✅ AI 연구를 하고 있거나 준비 중인 대학원생
    ✅ AI를 활용하는 현업 개발자
    ✅ 본인의 분야에 딥러닝을 접목하고 싶은 분
    ✅ AI 업계로 이직을 준비하시는 분
    ✅ 딥러닝 강의를 준비하시는 교수님
    👉 한마디로, 딥러닝 기초 이론을 완벽하게 다지고 싶은 분!
    💡 왜 이 책을 봐야 하나요?
    이 책에는 3년의 세월이 담겨있습니다.
    수많은 강의 경험을 통해 다듬고 정제한 내용을 녹여냈습니다.
    (박사학위논문 쓰는 것보다도 힘들었어요.. 😭)
    그만큼 온 정성을 다했고 정말 자신 있게 추천드립니다!
    단순한 개념 설명을 넘어, 보다 깊은 이해를 돕는 책을 만들고자 했습니다.
    그래서 하나의 주제에 대해 굉장히 디테일하게 파고들며
    ✅ 용어의 유래
    ✅ 동작 방식 및 원리
    ✅ 꼼꼼한 수식 전개
    ✅ 직관적 이해를 돕는 참신한 실험 결과들
    ✅ 개념 간의 연결성과 깔끔한 요약 정리
    ✅ "왜 이 개념을 알아야 하는지?"에 대한 설명까지
    차근차근 제시합니다.
    🎨 완성도에 대한 고집
    내용도 내용이지만, 디자인에도 공을 많이 들였습니다.
    ☝ 282개의 삽화 하나하나 수차례 수정을 거쳐 완성도를 높였습니다.
    ✌ 표지부터 내지까지, 보기만 해도 소장하고 싶게끔 만들었습니다.
    저조차도 "갖고 싶다"는 생각이 들게 하는 책입니다. ㅎㅎ
    그만큼 핵심 내용을 보기 좋게 잘 정리했다고 자부합니다!
    서점에 갔는데 이 책이 보이면 꼭 한번 펼쳐봐 주세요.
    제가 자신 있게 추천드리는 이유를 직접 확인하실 수 있을 겁니다!

    • @hyukppen
      @hyukppen  Месяц назад

      🔥 혁펜하임과 딥러닝 마스터하기!
      LEVEL 1 - Easy! 딥러닝
      hyukppen.modoo.at/?link=2n1a6p7t
      LEVEL 1 - 인스톨! 파이토치
      hyukppen.modoo.at/?link=131k3k7g
      LEVEL 2 - Legend 13
      hyukppen.modoo.at/?link=5db82s6p
      LEVEL 2 - TTT: To The Transformer
      hyukppen.modoo.at/?link=21c4dj8y
      LEVEL 3 - ATT: After The Transformer
      hyukppen.modoo.at/?link=2mcbufeg
      ‼ 강의 모집 공지 가장 빠르게 받아볼 수 있는 곳!
      혁펜하임 딥러닝 공부방 2호점
      👉 open.kakao.com/o/gcArsq1g
      (참여코드: 3300)
      (⭐ 곧 정원에 도달합니다. 이후 입장 불가!)
      (⭐ 대학생부터 대학원생, 개발자, 교수, 의사 등 딥러닝에 정말 진심인 분들이 모여 있는 대한민국 최고의 딥러닝 공부방)

  • @danny04278
    @danny04278 9 месяцев назад

    시험시간전에 볼것

  • @eyeye8237
    @eyeye8237 5 месяцев назад

    썸네일보고 웃고갑니다~~ㅋㅋㅋㅋ

  • @Oing777
    @Oing777 9 месяцев назад

    선생님, 선생님의 챗지피티 영상을 봤었는데요,,, 이제 플러그인 베타 기능이 없어진 것이 맞을런지요

    • @hyukppen
      @hyukppen  9 месяцев назад

      아마 My GPT생기면서 사라진 모양입니다..!

  • @anthonydavisyo6067
    @anthonydavisyo6067 9 месяцев назад

    non-convex한 함수일때 global minimum 을 찾는게 연산량이 많이 들어 어렵다고 하셨는데, 그럼에도 global minimum을 항상 찾게 해주는 방법론같은게 있다면 무엇이 있나요? 감사합니다

    • @hyukppen
      @hyukppen  9 месяцев назад

      "항상" 찾게 해주는 것이 있는지는 모르겠습니다.
      그나마 global 을 찾으려고 시도해보는 것들로 지금 당장 떠오르는 애들은
      particle swarm optimization 이나
      simulated annealing 인데,
      너무 옛날 알고리즘 들이여서,, 요새 이런 얘기하면 틀딱 소리 듣지 않을까 싶네요 ㅋㅋ
      사실 뒤이어 나오는 Adam 같은 애들도 이와 비슷하게 그나마 나은 local minimum을 찾아가려고 했다는 점에서 비슷하다고 할 수 있을 것 같습니다.
      또, 위에 말씀 드린 두 녀석이 Adam 보다 더 나은 solution을 가진다는 보장이 되어있는 것도 아닌 것 같습니다.
      Adam 혹은 최근에 많이 쓰이는 AdamW 이쪽을 공부하시는 게 더 나을 것 같다는 개인적인 생각입니다!

    • @hyukppen
      @hyukppen  9 месяцев назад

      @@anthonydavisyo6067 아, 유전 알고리즘 (genetic algorithm) 도 해당할 것 같습니다 ㅎㅎ

  • @danny04278
    @danny04278 9 месяцев назад

    근데 sgd나 mgd 둘다 노이즈가 있어서 local minimum에서 탈출하기 쉽다 라고 배웠는게 잘못안건가요?

    • @hyukppen
      @hyukppen  9 месяцев назад

      잘 알고 계신 것 같습니다 ㅎㅎ
      "noise"가 있다는 것은 SGD가 좀 왔다갔다 거리면서 움직이는 모양새를 보고 쉽게 설명하기 위한 표현같고 사실 전체 데이터를 보지 않았으니 전체 데이터에 대한 loss 함수 위에서 움직이는 걸 그려보면 왔다갔다 거리는 것 처럼 보이게 되는 것입니다.
      또, 그런 움직임 때문에 local minimum 에서 탈출하기 쉽다는 것도 맞습니다. 주의할 점은 그렇다고 해서 global minimum 은 찾는 것은 아니란 점입니다 ㅎㅎ

  • @danny04278
    @danny04278 9 месяцев назад

    convex한 함수면 미분=0인값에서 무조건 global minimum 인가요?

    • @hyukppen
      @hyukppen  9 месяцев назад

      맞습니다! ㅎㅎ

  • @ringo8530
    @ringo8530 9 месяцев назад

    SGD도 결국엔 미니배치를 활용하고 기울기값을 이용한 업데이트는 그대로인걸로 알고 있는데, 그러면 local-minima로 빠지는 문제는 해결하지 못하는건가요?

    • @hyukppen
      @hyukppen  9 месяцев назад +2

      그렇죠 ㅎㅎ global minimum 을 찾을 순 없습니다!

  • @a-r4k
    @a-r4k 5 месяцев назад

    2024-08-11 일