Skip-Connection이 무엇인지 궁금한 분들을 위해.. 영상 링크: ruclips.net/video/Fypk0ec32BU/видео.htmlsi=c7B0fi3p2yTzRvU2 Skip-Connection은 블록을 통과하기 전의 값을 블록 통과 후에 더하는 간단한 기법입니다. 이 기법을 적용하면, 블록의 출력이 F(x)가 아닌 x+F(x)가 됩니다. 이에 따라 F(x)는 입력과 출력의 차이만을 학습하면 되므로, 학습이 더 쉬워집니다. 이러한 방식을 잔차 학습(Residual Learning)이라고 하며, 이 기법을 최초로 적용한 CNN 모델을 ResNet(Residual Neural Network)이라고 부릅니다. ** 많은 문헌에서는 Skip-Connection이 기울기 소실 문제를 해결하기 위해 제안된 것으로 설명하고 있습니다. 그러나 이는 Skip-Connection에 관한 대표적인 오해입니다. Skip-Connection이 기울기 소실 문제를 완화하는 역할도 하지만, 이는 Skip-Connection의 최초 제안 목적이 아니었습니다. 실제로, Skip-Connection은 기울기 소실 문제가 발생하지 않았음에도 불구하고 모델이 깊어질수록 Underfitting이 일어나는 문제를 해결하기 위해 제안되었습니다. 이는 딥러닝 연구의 역사에서 중요한 전환점이었으며, 모델의 깊이와 성능 사이의 관계에 대한 우리의 이해를 크게 발전시켰습니다. 이후 연구를 통해 Skip-Connection이 Loss Landscape 문제를 완화할 뿐만 아니라, 기울기 소실 문제 해결 등 다양한 이점을 가진다는 사실이 밝혀졌습니다. 이러한 장점들로 인해 Skip-Connection은 현재까지도 최신 딥러닝 모델에서 광범위하게 사용되고 있습니다. 이는 때로는 간단한 아이디어가 얼마나 강력하고 지속적인 영향을 미칠 수 있는지를 보여주는 훌륭한 예시입니다. 📢 이 책으로 나왔습니다!! 🎉 ❗ 구매 링크 👉 교보문고: product.kyobobook.co.kr/detail/S000214848175 👉 yes24: www.yes24.com/Product/Goods/139734696 👉 알라딘: www.aladin.co.kr/shop/wproduct.aspx?ItemId=352995281 👉 출판사 자사몰: shorturl.at/yqZpW (오직 북엔드몰에서만 그립톡 굿즈를 함께 드립니다!) (회원가입시 2,000원 선할인 적립금까지!) 📖 이 책의 특별한 점 ✅ 유튜브에 공개된 내용 + CNN + RNN + Attention까지 완벽 정리 ✅ LEVEL 2 강의 의 CNN 파트 수록 (챕터 7) ✅ LEVEL 2 강의 의 RNN~Attention 파트 수록 (챕터 8) ✅ 수학이 걱정되시는 분들을 위한 수록 ✅ 완벽한 이해를 돕는, 무려 282개의 삽화 ✅ 수십 번의 정제를 거친, 총 351페이지를 꽉 채운 내용 🎯 이런 분들께 추천드립니다! ✅ 인공지능에 관심 있는 대학생 ✅ AI 연구를 하고 있거나 준비 중인 대학원생 ✅ AI를 활용하는 현업 개발자 ✅ 본인의 분야에 딥러닝을 접목하고 싶은 분 ✅ AI 업계로 이직을 준비하시는 분 ✅ 딥러닝 강의를 준비하시는 교수님 👉 한마디로, 딥러닝 기초 이론을 완벽하게 다지고 싶은 분! 💡 왜 이 책을 봐야 하나요? 이 책에는 3년의 세월이 담겨있습니다. 수많은 강의 경험을 통해 다듬고 정제한 내용을 녹여냈습니다. (박사학위논문 쓰는 것보다도 힘들었어요.. 😭) 그만큼 온 정성을 다했고 정말 자신 있게 추천드립니다! 단순한 개념 설명을 넘어, 보다 깊은 이해를 돕는 책을 만들고자 했습니다. 그래서 하나의 주제에 대해 굉장히 디테일하게 파고들며 ✅ 용어의 유래 ✅ 동작 방식 및 원리 ✅ 꼼꼼한 수식 전개 ✅ 직관적 이해를 돕는 참신한 실험 결과들 ✅ 개념 간의 연결성과 깔끔한 요약 정리 ✅ "왜 이 개념을 알아야 하는지?"에 대한 설명까지 차근차근 제시합니다. 🎨 완성도에 대한 고집 내용도 내용이지만, 디자인에도 공을 많이 들였습니다. ☝ 282개의 삽화 하나하나 수차례 수정을 거쳐 완성도를 높였습니다. ✌ 표지부터 내지까지, 보기만 해도 소장하고 싶게끔 만들었습니다. 저조차도 "갖고 싶다"는 생각이 들게 하는 책입니다. ㅎㅎ 그만큼 핵심 내용을 보기 좋게 잘 정리했다고 자부합니다! 서점에 갔는데 이 책이 보이면 꼭 한번 펼쳐봐 주세요. 제가 자신 있게 추천드리는 이유를 직접 확인하실 수 있을 겁니다!
🔥 혁펜하임과 딥러닝 마스터하기! LEVEL 1 - Easy! 딥러닝 hyukppen.modoo.at/?link=2n1a6p7t LEVEL 1 - 인스톨! 파이토치 hyukppen.modoo.at/?link=131k3k7g LEVEL 2 - Legend 13 hyukppen.modoo.at/?link=5db82s6p LEVEL 2 - TTT: To The Transformer hyukppen.modoo.at/?link=21c4dj8y LEVEL 3 - ATT: After The Transformer hyukppen.modoo.at/?link=2mcbufeg ‼ 강의 모집 공지 가장 빠르게 받아볼 수 있는 곳! 혁펜하임 딥러닝 공부방 2호점 👉 open.kakao.com/o/gcArsq1g (참여코드: 3300) (⭐ 곧 정원에 도달합니다. 이후 입장 불가!) (⭐ 대학생부터 대학원생, 개발자, 교수, 의사 등 딥러닝에 정말 진심인 분들이 모여 있는 대한민국 최고의 딥러닝 공부방)
![[Easy! 딥러닝] 8-4강. 과적합(overfitting)과 데이터 증강(data augmentation)](http://i.ytimg.com/vi/KEHhfZIobkc/mqdefault.jpg)
![[Easy! 딥러닝] 8-4강. 과적합(overfitting)과 데이터 증강(data augmentation)](/img/tr.png)
![[Easy! 딥러닝] 8-1강. Vanishing Gradient (기울기 소실) 와 ReLU [[ 실험 영상 포함! ]]](http://i.ytimg.com/vi/aWInMRtySpQ/mqdefault.jpg)
![인공지능, 딥러닝을 알고싶다면 이 영상을 보세요 (보이저엑스 남세동 대표) [인공지능 시리즈 1/3]](http://i.ytimg.com/vi/CA5Ggqg5x6o/mqdefault.jpg)
![[Easy! 딥러닝] 8-6강. 정규화(Regularization)와 MAP(Maximum A Posteriori) [[ 실험 영상 포함! ]]](/img/1.gif)
Skip-Connection이 무엇인지 궁금한 분들을 위해..
영상 링크: ruclips.net/video/Fypk0ec32BU/видео.htmlsi=c7B0fi3p2yTzRvU2
Skip-Connection은 블록을 통과하기 전의 값을 블록 통과 후에 더하는 간단한 기법입니다.
이 기법을 적용하면, 블록의 출력이 F(x)가 아닌 x+F(x)가 됩니다.
이에 따라 F(x)는 입력과 출력의 차이만을 학습하면 되므로, 학습이 더 쉬워집니다.
이러한 방식을 잔차 학습(Residual Learning)이라고 하며, 이 기법을 최초로 적용한 CNN 모델을 ResNet(Residual Neural Network)이라고 부릅니다.
** 많은 문헌에서는 Skip-Connection이 기울기 소실 문제를 해결하기 위해 제안된 것으로 설명하고 있습니다.
그러나 이는 Skip-Connection에 관한 대표적인 오해입니다.
Skip-Connection이 기울기 소실 문제를 완화하는 역할도 하지만, 이는 Skip-Connection의 최초 제안 목적이 아니었습니다.
실제로, Skip-Connection은 기울기 소실 문제가 발생하지 않았음에도 불구하고 모델이 깊어질수록 Underfitting이 일어나는 문제를 해결하기 위해 제안되었습니다.
이는 딥러닝 연구의 역사에서 중요한 전환점이었으며, 모델의 깊이와 성능 사이의 관계에 대한 우리의 이해를 크게 발전시켰습니다.
이후 연구를 통해 Skip-Connection이 Loss Landscape 문제를 완화할 뿐만 아니라, 기울기 소실 문제 해결 등 다양한 이점을 가진다는 사실이 밝혀졌습니다.
이러한 장점들로 인해 Skip-Connection은 현재까지도 최신 딥러닝 모델에서 광범위하게 사용되고 있습니다.
이는 때로는 간단한 아이디어가 얼마나 강력하고 지속적인 영향을 미칠 수 있는지를 보여주는 훌륭한 예시입니다.
📢 이 책으로 나왔습니다!! 🎉
❗ 구매 링크
👉 교보문고: product.kyobobook.co.kr/detail/S000214848175
👉 yes24: www.yes24.com/Product/Goods/139734696
👉 알라딘: www.aladin.co.kr/shop/wproduct.aspx?ItemId=352995281
👉 출판사 자사몰: shorturl.at/yqZpW
(오직 북엔드몰에서만 그립톡 굿즈를 함께 드립니다!)
(회원가입시 2,000원 선할인 적립금까지!)
📖 이 책의 특별한 점
✅ 유튜브에 공개된 내용 + CNN + RNN + Attention까지 완벽 정리
✅ LEVEL 2 강의 의 CNN 파트 수록 (챕터 7)
✅ LEVEL 2 강의 의 RNN~Attention 파트 수록 (챕터 8)
✅ 수학이 걱정되시는 분들을 위한 수록
✅ 완벽한 이해를 돕는, 무려 282개의 삽화
✅ 수십 번의 정제를 거친, 총 351페이지를 꽉 채운 내용
🎯 이런 분들께 추천드립니다!
✅ 인공지능에 관심 있는 대학생
✅ AI 연구를 하고 있거나 준비 중인 대학원생
✅ AI를 활용하는 현업 개발자
✅ 본인의 분야에 딥러닝을 접목하고 싶은 분
✅ AI 업계로 이직을 준비하시는 분
✅ 딥러닝 강의를 준비하시는 교수님
👉 한마디로, 딥러닝 기초 이론을 완벽하게 다지고 싶은 분!
💡 왜 이 책을 봐야 하나요?
이 책에는 3년의 세월이 담겨있습니다.
수많은 강의 경험을 통해 다듬고 정제한 내용을 녹여냈습니다.
(박사학위논문 쓰는 것보다도 힘들었어요.. 😭)
그만큼 온 정성을 다했고 정말 자신 있게 추천드립니다!
단순한 개념 설명을 넘어, 보다 깊은 이해를 돕는 책을 만들고자 했습니다.
그래서 하나의 주제에 대해 굉장히 디테일하게 파고들며
✅ 용어의 유래
✅ 동작 방식 및 원리
✅ 꼼꼼한 수식 전개
✅ 직관적 이해를 돕는 참신한 실험 결과들
✅ 개념 간의 연결성과 깔끔한 요약 정리
✅ "왜 이 개념을 알아야 하는지?"에 대한 설명까지
차근차근 제시합니다.
🎨 완성도에 대한 고집
내용도 내용이지만, 디자인에도 공을 많이 들였습니다.
☝ 282개의 삽화 하나하나 수차례 수정을 거쳐 완성도를 높였습니다.
✌ 표지부터 내지까지, 보기만 해도 소장하고 싶게끔 만들었습니다.
저조차도 "갖고 싶다"는 생각이 들게 하는 책입니다. ㅎㅎ
그만큼 핵심 내용을 보기 좋게 잘 정리했다고 자부합니다!
서점에 갔는데 이 책이 보이면 꼭 한번 펼쳐봐 주세요.
제가 자신 있게 추천드리는 이유를 직접 확인하실 수 있을 겁니다!
🔥 혁펜하임과 딥러닝 마스터하기!
LEVEL 1 - Easy! 딥러닝
hyukppen.modoo.at/?link=2n1a6p7t
LEVEL 1 - 인스톨! 파이토치
hyukppen.modoo.at/?link=131k3k7g
LEVEL 2 - Legend 13
hyukppen.modoo.at/?link=5db82s6p
LEVEL 2 - TTT: To The Transformer
hyukppen.modoo.at/?link=21c4dj8y
LEVEL 3 - ATT: After The Transformer
hyukppen.modoo.at/?link=2mcbufeg
‼ 강의 모집 공지 가장 빠르게 받아볼 수 있는 곳!
혁펜하임 딥러닝 공부방 2호점
👉 open.kakao.com/o/gcArsq1g
(참여코드: 3300)
(⭐ 곧 정원에 도달합니다. 이후 입장 불가!)
(⭐ 대학생부터 대학원생, 개발자, 교수, 의사 등 딥러닝에 정말 진심인 분들이 모여 있는 대한민국 최고의 딥러닝 공부방)
잘보고있습니다 ㅎㅎ
여러 블로그들을 보면 'skip connection을 통해 gradient가 앞쪽까지 더 잘 흐른다'라는 포스팅이 많던데, 이런 해석도 맞는건가요?
@@highjuno 그럼요 ㅎㅎ 다만, 그걸 위해 탄생한 것은 아니라는 겁니다!