[최적화] 7-1강. 서포트 벡터 머신 (Support Vector Machine: SVM) 5분 만에 이해 시켜드림 & 코드 실습까지!!

[@hyukppen]

파이썬 코드: github.com/Hyukppen/Optimization/tree/main/7.%20SVM
SVM 이해 됐으면 이제
soft margin SVM도 공부하러 가야죠!
👉 ruclips.net/video/yYK6sqrEUn0/видео.htmlsi=QzPvKIuyz2Esqp_U

[@정은하-f2y]

이해 잘 되었어요~~ 너무 감사합니다:)

[@sohye_lee]

자세한 설명 너무 감사합니다 큰 도움 되었어요!

[@M_Log_]

7:18 기존 두 가지의 부등식에서 Si를 곱해줄때 어떻게 곱해준 건지 잘 모르겠습니다...
부등식의 양변에 Si를 곱한 건데 어떻게, Si(w^Tdi - c) - 1 이런식으로 묶이나요? -1에는 Si가 곱해지지 않고 형태가 유지되는 이유를 모르겠습니다 ㅠ

[@hyukppen]

윗 줄은 si=1 이고 아랫 줄은 si=-1 이라서 부등식 전개가 그렇게 됐고
1, -1 대신 si 라는 변수로 표현한 이유는 하나의 식으로 묶기 위함입니다!

[@양현준-r5v]

걍 개지리네요

[@jaehoon85]

추천과 구독 남기고 갑니다ㅎㅎ

[@aqunte8591]

멋진 강의 감사합니다.

[@김준혁-m6y]

이해가 잘 되네요 감사합니다

[@Yaa__ho]

안녕하세요 어떤 책을 읽고 SVM 알고리즘에 대해 알게 되었는데 제가 아직 고1이라 기하, 선형대수학 부분이 나오니 잘 이해가 안가는데 고1 수학 수준으로 이해를 할 수 있는 건가요??
고1 수학에서 수식으로 나타낼 수 있나요??

[@hyukppen]

움 1강부터 보신다면 그래도 미분까진 배우셨다면 어느정도 이해하실 수 있을 것 같아요!
제가 고1 진도를 잘은 몰라서ㅜㅜ
선대 부분은 제 선대 강의가 있으니 필요한 것만 빼서 들으시면 어떨까 싶습니다!

[@Yaa__ho]

@@hyukppen 어떤 영상을 보면 이 영상에 있는 수식 부분을 이해 할 수 있을까요?? 그리고 커널 트릭 영상도 있던데 그걸 이해하려면 어떤 부분이 필요한가요??

[@hyukppen]

@@Yaa__ho 음.. 일단 최적화 강의 1강부터 보시는 것을 추천드립니다! 보시다가 막혔을 때, 그때 그 다음에 뭘 봐야할지가 결정됩니다

[@zero2vec]

오랜만에 보는데 영상 프레임이 매우 높아진 느낌이네요 ㄷㄷ

[@user-yr8ud5sz9hA]

설명 지리네...;;

[@박재형-v7g4w]

쌤 감사합니다

[@ututubuser]

Primal Dual IPM 사용 시 역을 구하는 과정 때문에 데이터 수가 늘어나면 시간이 오래걸릴 것 같은데
이런 상황에 이전에 알려주셨던 quasi newton 사용하는 건가요?

[@hyukppen]

음 적용해 볼 수 있을 거 같습니다 ㅎㅎ
근데 저 inverse를 저처럼 무식하게 안할거에요 뭔가 decompose해서 하는 거 같은데.. 잘 모르겠습니다.
생긴게 triangular matrix 라서.. 아마 더 효율적인 방법이 있지 않나.. 생각이 듭니다.

[@Kjy-d6d]

분류 모델이 2가지 일때만 사용할 수 있는 기법 인가요?? 아니면 분류 모델이 3가지 이상일 경우에도 사용 가능한 기법인가요?

[@hyukppen]

세 가지 이상일 때는 이 이진 분류(one vs 나머지)를 여러 번 하는 등 조금 변형해서 분류하는 것 같더라구요! 자세히는 저도 좀 더 알아봐야합니다 ㅠ

[@gaspell]

재밌어용 근데 초반에 convex 문제라는건 뭘 의미하시는 건가요? 볼록함수의 최대/최소를 구하는 건가요?

[@hyukppen]

질문 감사합니다 ㅎㅎ
말씀하신 볼록함수의 최소 구하는 것도 맞아요 제약조건이 없다면요~
제약조건이 있을 때라면 -> 컨벡스 문제는 목적함수가 convex 함수이고 feasible set이 convex set인 그런 문제를 말합니다~
여기 아래 링크에서 설명했습니다!
ruclips.net/video/zZsjw5dMh1Y/видео.html

[@gaspell]

@@hyukppen최적화 강의를 정주행해야겠네용 감사합니다. 그 리고 이런 내용들은 어디서 배울 수 있나요??. 저는 컴퓨터공학부 2학년인데 이렇게 자세히까지 배워본 적은 거의 없어서요. 요즘 머신러닝을 찾아보고 있는데 통계, 선형대수, 미적분까지 공부할게 넘치네요ㅠ 일단 최적화 강의부터 정주행해볼게요 감사합니다!!

[@hyukppen]

@@gaspell 머신러닝이 여기저기서 다 쓰이다보니 ㅎㅎ 폭 넓게 공부하게 되는 경향이 있어요.
저는 대학원때 들은 컨벡스 최적화 강의+대학원생때 프로젝트 제안서 때울라고 SVM 공부+정리하고 영상 올리려다보니 Stephan Boyd 책, 강의자료, 유튜브 자료 등등 보고 정리
이렇게 공부했어요~

[@gaspell]

@@hyukppen 답변 감사합니다!!ㅎㅎ

[@bnmy6581i]

퓨리에로 왔다가 svm 복습까지 ㅎㅎ

[@고병차]

코드구현 부분에서 초기값은 어떤 방식으로 구해야한다고 하신건가요?

[@hyukppen]

여기선 그냥 y=x로 정했고, 정석은 phase 1 method입니다 다음 IPM 강의에서 나옵니다!

[@로렌츠-l2h]

혁펜하임님
교재하나 추천 부탁드립니다
보이드의 convex optimization 이거 하나 추천받았는데
nonconvex 에 대한 책은 별로 없더라고요
부탁드립니다

[@hyukppen]

non convex로는 읽어본 책이 없어가지구 잘 모르겠습니다 ㅠ

[@로렌츠-l2h]

@@hyukppen 댓글 정말 감사드립니다 최적화 기법을 적용한 설계관련 논문쓰고싶은데 데이터가 nonconvex밖에 안나오네요 저는 최적화관련 지식은 없는 사람이고 회사에서 10년전에 유행했던 다구찌나 반응표면법 같은거는 해봤고요 보통 파라메트릭 해석결과로 설계하는데 혁펜유투브보니까 최적화이론하고 접목시킬 수 있을 것 같더라고요
그럼 nonconvex아니더라도 최적화이론 관련 서적 추천좀 부탁드립니다

[@hyukppen]

@@로렌츠-l2h 설계라는 것은 어떤 설계인가요? 회로설계인가요? 책은 말씀하신 보이드 책 봤습니다!

[@로렌츠-l2h]

@@hyukppen 아 전동기(모터) 설계이고요
지금 하는 방식은
설계변수 중 중요한 것 서너개 정도를 기준으로 파라메트릭 해석돌려서 결과(각종 특성들 모델 당 대략 5~10가지)를 나열(맵핑)해서 가장 좋은 모델을 선택하는 방식이거든요
굳이 따지자면 최적화기법은 안들어가고 전부 해석돌려서 그 중에 가장 좋은 모델을 고르는 방식입니다
모델을 고르는 방식은 코스트펑션이나 loss펑션 weight 등으로 비교한다고 보면 되겠네요
실제 설계할 때 해석프로세스를 자동화하는게 별도의 최적화기법을 사용하는것보다 더 빠르더라고요
근데 논문쓰기엔 내용이 좀 약하니까 이미 있는 결과로 최적화기법과 엮을 생각입니다

[@hyukppen]

@@로렌츠-l2h 파라미터 바꿔가면 cost 함수 그려보면 local min 이 엄청 많이 나올 거 같은데 어떤가요?

[@migrateli]

안녕하세요 좋은 강의 감사합니다.
혹시 ADMM (+consensus ADMM)관련된 좋은 강좌나 자료 추천해주시면 감사하겠습니다.

[@hyukppen]

처음 들어보는 주제입니다! 다른 분들이 지나가다 보시면 댓글 달아 주시는 걸로..😭

[@migrateli]

@@hyukppen Alternating Direction Method of Multipliers라고 Augmented Lagrange Multiplier를 이용한 최적화 방법인데 이해가 쉽진 않았어요. 혹시 그럼 Augmented Lagrange Multiplier에 관한 내용은 조언을 받을 수 있을까요?

[@hyukppen]

@@migrateli 아뇨 그것도 처음 들어봅니다..! 죄송합니다 ㅠㅎㅎ

[@brain.trinity]

깨알 같은 꼬북꼬북.. 파이...

[@FSDQWFD]

ax+by=c를 벡터의 곱셈으로 나태내는것 까지는 알겠는데 그 이후 벡터의 내적으로 표현할 수 있다는게 이해가 잘 안가네요
설명가능하실까요?

[@hyukppen]

[a, b] * [x, y]^T 이 내적의 정의입니다.
내적에 관련된 아래 영상이 도움이 될 것 같습니다!
ruclips.net/video/47axVfuf-Q0/видео.html

[@FSDQWFD]

@@hyukppen 친절한 설명 감사합니다~

[@이찬혁-o4n]

좋은 강의 감사합니다. 근데 코드를 실행해보니 새 창으로 움직이지는 않는데 어떻게 해야 할까요?

[@hyukppen]

저는 spyder를 사용했었습니다! colab이나 주피터 노트북에서는 움직이는 것은 볼 수 없습니다 ㅠ

[@이찬혁-o4n]

@@hyukppen 감사합니다. spyder를 사용하니까 움직이는게 보이네요!

[@jaehoon85]

이해 못하고 갑니다;

[@UMTI14]

O