(구버전) 공분산 행렬의 의미와 PCA(주성분분석, principal component analysis)
HTML-код
- Опубликовано: 20 сен 2024
- 글로 정리된 곳: angeloyeo.gith...
---
커피 한 잔의 후원이 큰 힘이 됩니다.
후원하기(카카오페이): qr.kakaopay.co...
후원하기(송금)
- 카카오뱅크 3333-15-3394161 (여동훈)
- 우리은행 1002-036-488593 (여동훈)
--
#pca #기계학습 #공분산행렬
![[핵심 머신러닝] Principal Component Analysis (PCA, 주성분 분석)](http://i.ytimg.com/vi/FhQm2Tc8Kic/mqdefault.jpg)
PCA에 관한 영상을 다시 촬영했습니다.
ruclips.net/video/YEdscCNsinU/видео.html
선생님 감사합니다. 한번에 이해가 되었습니다. 최고입니다. 선생님이 한국의 3blue1Brown이십니다
여태까지 봤던것들 중에 가장 이해가 잘 되네요!
감사드립니닿ㅎ
와... 칭찬의 메세지 감사합니다 ^^
우와... shearing 과 데이터 보존, 차원 축소라는 개념이 그래프 변화 한 방으로 이해가 되버리네요. 정말 감사합니다.
JS님 ^^ 재밌게 봐주셔서 감사합니다 ㅎㅎ
2시간 동안 책만 봣는데 이해 안되다가 한번에 이해했어요 정말 감사합니다
좋은 유투브 정말 감사합니다. 자산가격예측모델을 만들고 있는데 모델을 이해하는데 큰 도움이 되었습니다.
linked in 에서 1촌 추가해주셨더군요. 도움 되었다니 다행입니다 ~ 남은 주말도 잘 보내세요 ~^^
설명 너무 잘하셔서 이해가 잘됩니다...!! 직관적인 이해를 돕는 설명이 너무 좋아요 감사합니다
도움 되었다면 다행입니다 ^^
감사합니다... 막막하던 참에 잘보고 갑니다 흒흒ㅠㅠㅠㅠ
열공하시나보네요 ^^ 도움 되었으면 좋겠습니다 댓글 감사합니다 :)
이해하는데 많은 도움이 되었습니다. 감사합니다.
영상 감사드립니다🙌
코멘트 감사합니다 ! ㅎ
감동적인 강의 항상 잘 보고있습니다... 감사합니다
글로 정리해놓으셨다고 한 위키독스링크는 클릭해도 안뜨네요..
구글에 공돌이의 수학정리노트 검색해서 뜨는 깃헙 블로그 참고하고있습니다.
저런...링크를 수정해야겠네요 ㅠㅠ 한번 쭉 손봐야겠습니다. 댓글 감사드립니다!
최고에요 잘보고 배워갑니다.
잘보고갑니다 한국어로정리된게없어서 어려움이있었는데 감사합니다.
쉽게설명해주셔서 감사합니다
들은지 5분도 안돼서 구독 눌렀습니다. 설명 너무 감사해요.
한 가지 질문이 있습니다.
17:53초 경 슬라이드에서 정사영이라 함은
2차원 평면의 각 점들을 (-2, 1)이라는 벡터(혹은 직선)에 대해 수선의 발을 내리는 행위를 말하는거 맞나요?
사실 제가 선형대수를 정확히 이해하지 못해서 그런거긴 한데
좌표평면의 관점에서 (-2, 1)을 지나는 선들이 굉장히 많을걸 생각하니 정사영된 선이 어떻게 나오는지 이해가 잘 안가네요
근데 한편으로는 또 기저의 관점에서 생각하면 이해가 되는거 같기도 하고 ㅠㅠ
시간되시면 설명 부탁드려도 괜찮을까요!
안녕하세요. (-2,1)이라는 벡터라 함은 (0,0) 좌표에서 (-2,1) 좌표로 선을 긋게 되었을 때 만들어지는 벡터를 의미합니다. 그래서 말씀하신대로 '2차원 평면의 각 점들을 (-2, 1)이라는 벡터(혹은 직선)에 대해 수선의 발을 내리는 행위'가 맞습니다~
이해하기 쉽게 설명해주셔서 완전 집중하며 봤습니다 ^^
시각적으로도 그 의미를 받아들이기에 너무 재밌는 영상이였어요~ 정말정말 감사합니다.
재밌게 봐주셨다니 감사합니다 :) 앞으로도 도움이 될 수 있도록 노력하겠습니다 ㅎ
모르는 개념 검색해서 보면 여기가 개념 설명 예시 잘되어 있음!
글로만 배울 때는 이해가 잘 되지않았던 부분이 있었는데 이 동영상을 보고 더 잘 이해할 수 있게 되었습니다! 감사합니다:) 나중에 혹시 기회가 된다면 라그랑지안에 대한 소개도 부탁드리겠습니다 !!
안녕하세요~ 도움이 되었다니 다행입니다. ㅎ 라그랑지안에 대해서도 정리한번 해보겠습니다. 제안 감사합니다!
Covariance Matrix에 대해 궁금해서 찾아보다가 왔는데, 많이 도움되었습니다. 감사합니다.
안녕하세요 ^^~ 도움 되었다면 다행입니다 ㅎㅎ
안녕하세요 영상 잘 보았습니다.
저도 공부하다보니
PCA에서 계수
WW’=I 로 제약하는데 제약 시 lagrange multiplier 가 결국 고유벡터가 된다는 부분이 흥미로웠던 것 같습니다.
준비하느라 시간이 꽤 걸리실 것 같은데 감사합니다!
안녕하세요. 네 이 영상에서는 Lagrange multiplier 를 이용해 고유벡터가 projection 시 variance를 가장 크게 만들어주는 벡터라는 것은 증명하진 않았지만... 정말 흥미로운 부분이죠 ^^ 이 영상은 MATLAB 으로 영상 만들고 하느라 시간이 좀 걸렸던 걸로 저도 기억합니다... ㅎㅎ 댓글 감사드립니다!
음.. 영상 잘 보았는데 궁금한점이 있어서 댓글 남깁니다.
PCA를 통해 원래 데이터 구조를 가장 잘 반영하는 방향으로 차원축소를 진행하기 위해서는 원래 데이터의 공분산 행렬을 구하고 이 행렬의 eigenvector로 정사영시켜 원하는 만큼 적절한 차원으로 축소시킨다고 이해했습니다. 왜냐면 eigenvector는 선형변환을 통해 그 크기만 변하게 하기 때문이니깐요.
여기서 궁금한 점입니다.
실제로 PCA를 통해 차원축소된 데이터는 어떻게 계산되는 건가요?
영상을 보면 평균이 0인 원래 데이터 셋이 공분산 행렬로 쉬어 변형되고, 이를 정사영시켜 분산이 가장 큰 차원으로 축소되는데 그럼 아래식처럼 PCA가 수행되는 걸까요?
X : 원래 데이터 셋(각 피쳐 평균이 0)
A : X의 공분산 행렬
B : PCA의 결과 차원 축소된 데이터 셋
B = AX * A의 eigenvector
예전에 다른 분의 영상에서는
B = X * A의 eigenvector로 계산한다는 걸 본 것 같아서요..
만약 후자라면 원래의 데이터 셋에 해당 셋의 공분산행렬의 아이겐벡터로 정사영시킨다는 의미이니깐 결국 해당 데이터 셋이 고유하게 가지고 있는 공분산 정도를 이용하여 차원축소가 올바른 방향(분산이 가장 커지는)으로 pca를 수행한다로 이해해도 될까요?
안녕하세요. 후자가 맞습니다. 나머지 내용은 제가 보기엔 문제 없이 잘 이해하신 것 같습니다 ~!!
안녕하세요. 영상 덕분에 공분산 행렬에 대해 좀 더 이해도가 높아진 느낌이 듭니다.정리겸 확실히 하기위해 질문 하나만 드리고 싶은데요특정하게 분포되어 있는 데이터들의 주축을 찾기 위하고자 하면,분산되어 있는 데이터들의 공분산 행렬을 구하고구해진 공분산 행렬을 A로 놓고 eigenvalue, vector 공식(Ax = rx)에 적용하면 되는 건가요??
정확합니다.
와........... 너무너무 감사합니다~!! 이해가 잘되요!!
정말 재능 기부의 감사합니다:)
ps) 혹시... 실례가...안된다면 ㅠindependent component analysis도 해주실 수 있으신가요 ㅠㅠㅠ
안녕하세요. 댓글 남겨주셔서 감사드립니다 ! ica도 한번 도전해보고싶었는데...
대략적으로만 알고있어서... 한번 정리해보는 것도 좋을 것 같습니다. 감사합니다 ^^~
이해가 직관적으로 잘 되게 설명해주셔서 감사합니다. 동영상 만드실 때 loom이라는 프로그램 한 번 사용해보셔도 좋을 것 같아요! 저도 조교 강의 만들 때 써봤는데 편하더라구요 :)
loom 이라는 프로그램이 있나보네요 ㅎㅎ 한번 찾아보겠습니다 ~~!
안녕하세요 영상 잘 봤습니다! 제가 궁금한 점이 있어서 댓글 남깁니다. 그럼 샘플 7개를 가지고 공분산 행렬을 구할 때 6으로 나눠줘야하는건가요?
안녕하세요. 네 맞습니다. n-1로 나눠주는 방식이 기본적으로 쓰이고 이것이 unbiased estimator입니다.
안녕하세요. 이해하기 쉽게 설명해주셔서 감사합니다.
다만 한가지 여쭤봐도 괜찮을까요?
만약 3개의 변수 중 2개를 로그 변환해서 변이의 range가 바뀌게되면 covariance의 magnitude가 줄어듦으로 인해서 eigenvector 도출에 영향을 미칠 수도 있을까요?
안녕하세요. 질문하신 내용은 feature scaling에 관한 내용이 되겠네요. 네 맞습니다. 변수들의 range가 달라지게 되면 covariance matrix도 변하게 되어서 원래의 eigenvector/eigenvalue와 다른 값이 나오게 됩니다. 일반적으로도, feature의 scale을 맞춰주는 것은 굉장히 중요한 data preprocessing으로 생각되어진다고 알고있습니다. pca feature scaling 등의 단어로 검색해보시면 좋은 자료들을 많이 찾으실 수 있을 겁니다. 감사합니다 ^^
@@AngeloYeo 네 설명 감사합니다!^^
정말 잘 들었습니다 . 혹시 매트랩 코드 공유 해주실수 있나요 ?
좋은 강의 감사합니다. 3차원을 2차원으로 줄이는데 있어서 마치 서로간의 상관계수가 큰 2개의 차원을 하나로 만드는 것 같네요..
그런데 이렇게 데이터 차원을 축소하는 것을 아무때나 할 수는 없을 것 같은데 어떤 기준으로 할 수 있을까요? 고유값을 비교하여 큰 순서에 맞춰 그 차원만큼 해도 되지만 그렇게 해도 데이터가 원본 데이터가 나타내는 것을 변환된 데이터가 나타내고 있다는 것을 어떻게 알 수 있을까요?
이졸리님 안녕하세요. 영상이 도움이 되었으면 좋겠습니다.
우선 이해를 잘 하고 계신것으로 보입니다. 다만 3차원 데이터를 상관 계수가 큰 2개의 차원으로 낮춰주는 것이다 라고 정정하는게 맞다고 생각해 간단히 코멘트 남기구요...
그리고 말씀하신 내용에서 어느 차원까지 낮출 것인가 하는 것은 PCA를 적용함에 있어서 굉장히 중요한 내용입니다. 이를 수치적으로 생각해볼 수 있는 방법은 차원 감소를 시켜가면서 얻는 아이겐벨류를 나열해 비교해보는 것입니다.
원리는 기존 데이터의 분산합을 차원 감소시 얼마만큼이나 보존해 설명할 수 있는지를 판단하는 것으로 보면 될 것 같습니다.
조금 더 자세한 내용은 PCA scree plot 등으로 검색해보시면 좋은 내용 찾아보실 수 있을 것 같습니다 ^^
고마워요! 설명 너무 좋네요 ㅎㅎ
들려주셔서 감사합니다 :) 도움이 되었드면 좋겠네요 ㅎㅎ
감사합니다 공부하면서 블로그 많이 봤는데 유튜브도 하셨네요 ㅎㅎ 몇가지 질문이 있습니다!!
공분산 행렬이 선형변환이라고 하셨는데 정확히 어떤것을 변환시켜 주는 것인가요? normal distribution, 정규분포를 변환다고 하셨는데 정확히 무슨 뜻인지 모르겠습니다. 그리고 공분산 행렬의 고유값이 왜 분산을 나타내는지도요
안녕하세요~
1. 선형변환이라고 하는 것은 ... 말로 설명하기는 어려운데... 벡터 공간 사이의 mapping 입니다. 좀 더 쉽고 자세한 설명은 제 영상 중 '고유값과 고유벡터의 기하학적 의미'편이나 3Blue1Brown 님의 'Linear transformations and matrices'편을 보시는 것을 추천드립니다.
2. 많은 교과서에서 data가 gaussian distribution을 가진다고 상정하고 있습니다... 자세한 것은 www.quora.com/Are-there-implicit-Gaussian-assumptions-in-the-use-of-PCA-principal-components-analysis 을 참고해주세요~
3. 행렬의 고유값은 고유벡터의 방향으로 '얼마만큼' 늘어뜨려줄 것인가를 의미합니다. 따라서 이 개념은 분산의 개념과 상응하는 것입니다... 이것도 1에서 말씀드린 선형변환에 관한 내용을 학습하시고 한번 생각해보시면 쉽게 와닿으실 거에요.
지리고갑니다...
고딩이 알아보고싶어서 검색해 봤는데 건들지 말아야 할걸 건든것 같네요 ㅠㅠㅠ
너무너무 잘봤습니다ISO도 언젠가 설명해주실 수 있나요 ㅎㅎ
감사합니다!! 잘봤어요 :-)
안녕하세요~ 도움 되셨다면 다행입니다 ㅎ 댓글 감사드립니다
안녕하세요 영상 너무 잘봤습니다!!
궁금한 점이 있어서 댓글을 남깁니다.
선형변환을 할 때의 산점도는 상관계수 행렬을 가지고 만든것인가요?? 아니면 원래 데이터의 2차원 산점도인가요??
공분산 행렬을 가지고 만든것입니다 ㅎ
설명 쉽게 해주셔서 너무 감사합니다..저는 마할라노비스 거리를 공분산행렬의 역행렬을 이용하지 않고 구하는 과정에서 자료찾다가 발견했어요......특이값 분해 이용하더라구요...한번 정리해보겠다는 답글 보고 기다리고 있답니다^^
안녕하세요. 댓글 감사드립니다!
특이값분해 많은 분들이 기다리시는 것 같습니다... 역행렬을 구할 수 없는 상황에서 최적해를 구할 때나, 역행렬이 필요할 때 pseudo inverse를 사용할 수 있게 해주는게 SVD의 기능 중 하나이지요...
사실 SVD가 공대생이 배우는 선형대수 내용 중 끝판 왕이라고 하긴 어렵고, 중간보스(?) 급이라 필요한 배경지식이 많을 것 같아서 전체 흐름을 짧은 시간 안에 잡아볼 수 있게 계획해보고 싶은 욕심과 요즘 다루고 있는 multivariable calculus를 마무리 짓고 넘어가고 싶어서 아직 다뤄드리지를 못했네요 ... (사실은 제가 게을러서 입니다 ㅠㅠ)
배경지식이 충분히 갖춰진 분들을 위한 특별편으로라도 한번 다뤄보는게 좋을 것 같습니다. 다시 한번 댓글 감사드립니다!
안녕하세요. 영상 정말 감사히 잘 봤습니다. 궁금한 점이 있어 질문드립니다.
PCA는 기존의 변수를 조합해서 새로운 변수를 만들어낸다고 이해했습니다. (차원 축소를 통해) 영상에서 말씀해주신 것처럼 성격이 비슷한 변수(영어성적+국어성적)를 조합하여 새로운 변수(어문 성적)을 만드는 것처럼요. 이 과정으로 데이터 분석간에 좋은 예측/분류 모형 설계에 도움을 주는 기법이라고 생각합니다.
여기서 제가 궁금한 것은.. PCA와 변수선택법(전진,후진,단계)과의 차이입니다. 변수선택법은 주어진 변수들로 모형을 먼저 설계한 다음, 각각의 방법에 따라 변수를 추가/소거하는 방법으로 알고 있습니다. 그렇다면 연구자가 모형 설계를 할 때, 특정 변수들간의 연관성(영상에서 영어+국어=어문성적)을 이해하고 있다면 PCA로 변수선택을 하고, 그렇지 못하다면 변수선택법을 사용하는 건가요?
제가 실제 분석을 하면서, 변수들간의 다중공선성이 식별된 변수는 모델 설계에서 제거하였습니다. PCA 분석에서는 오히려 이런 다중공선성이 변수들간의 연관성을 의미하기 때문에 묶어서 차원축소를 진행하면 좋은 건지요?
말이 두서없었다면 죄송합니다.. 다만 꼭 궁금해서 여쭤보고 싶습니다!!
안녕하세요.
1. multi-colinearity (다중공선성)의 개념은 변수간 상관관계가 강한 변수들을 찾기 위한 과정으로 생각하는 것이 좋습니다. 그리고 잘 아시다시피 상관관계가 강한 변수들은 추가적인 feature로써 정보성이 떨어지기 때문에 해당 변수들 중 하나는 제거하고 모델을 만드는 것이 좋습니다. 그리고 PCA에서는 상관관계를 이용하기는 하지만, 상관관계가 높은 새로운 축으로 데이터들을 사영시켜 차원을 감소시키는 것에 목적이 있습니다.
2. 질문자분께서 내용을 이미 잘 이해하시고 있다고 생각합니다. 말씀하신대로 특정변수들 간의 연관성을 잘 이해하고 있다면 PCA를 이용해 새로운 변수를 만들어내서 그 변수를 이용해 모델을 만드는 것이 가능할 것 같습니다. 그리고, 이 경우에는 말씀하신 것 처럼 완전히 새로운 의미의 모델을 만드는 것일 수도 있구요. 다만, 말씀하신 것 처럼 변수간의 관계에 관한 의미를 잘 이해하지 못하고 있다면 feature selection을 적절한 방법으로 함으로써 feature의 차원을 줄이는 것이 가장 최선의 선택은 아닐까 생각합니다.
이미 많은 내용을 꿰차고 있다고 생각이 들어 제가 더 말씀드릴 수 있는 것이 없지 않을까 생각합니다... 도움이 되었으면 좋겠습니다 ^^
공돌이의 수학정리노트 정말 감사합니다 이렇게 빨리 그리고 정성스럽게 답변해주실 줄 몰랐습니다ㅠㅠ
혼자 데이터 분석을 진행하면서 이런 부분이 정말 궁금했었습니다. 앞으로 올려주신 동영상들로 공부 열심히해서 공돌이님(?)처럼 명쾌하게 설명해주는 사람이 되도록 노력하겠습니닷ㅎㅎ 다시한번 감사합니다^^!
공돌이의 수학정리노트 하나 더 질문드리지면 그렇다면 한 예측 모형에서 PCA와 변수선택법을 동시에 사용해도 문제가 없을까요? 이 부분은 제가 직접 알아봐야 하겠지만 그 자체는 가능한 방법인지 궁금합니다.
음... 만약 feature selection을 통해서 차원 감소를 적당히 시킨 뒤 PCA를 통해 종합적인 feature를 얻은 다음 모델을 만드는 것이라면 의미가 있을 것 같습니다.
다만, PCA를 통해 차원을 감소시킨 feature와 selection 과정을 통해 얻은 feature들을 붙이셔서 얻는 방법으로는 PCA만 진행했을 때보다 더 좋은 결과를 얻기는 어려울 것 같습니다. (비선형적인 모델이 아니라 선형적인 모델이라면 더 의미가 없을 것 같습니다.)
공돌이의 수학정리노트 아.. 이해했습니다. 정말 감사해요. 어떻게 분석해야할지 조금 감이 온 것 같습니다. 더위 조심하시고 건강하세요. 감사합니다!
와... 진짜 강의 보고 소름돋기는 처음임
재밌게 봐주셔서 감사합니다 ^^~
선생님 좌표공간에 데이터 나타내려고 PCA 쓸겸 복습하러 왔는데 생각해보니 좌표공간에서 고유값이 큰 고유벡터로 데이터를 대표하는 애들 둘을 나타내는건데 이러면 원핫 또는 레이블 인코딩을 한 범주형 변수들은 못쓰는게 되는건가요?
데이터의 분포는 정규분포임을 가정합니다. 그렇기 때문에 너무 다른 분포를 가지면 적용할 수 없습니다.
@@AngeloYeo 오호 빠른 답변 감사합니다 선생님!
Greetings my friend!
Hello amigo :)
감사합니다 ㅜ
PCA 공부하면서 KLT도 같이 공부중인데요 ,,, PCA를 추가적으로 응용한것이 KLT라는데 정확히 잘모르겠네요,,, 도움부탁드립니다..
제가 본 PCA에 대한 설명 중 가장 자세했어요! 다만 궁금한게 있는데, 들어주신 예시(D = 키, 몸무게)에서 principle component를 구한다면 어떻게 되는 건가요? 코베리언스 매트릭스까지 구했는데, 여기에서 바로 찾을 수는 없는 건가요?
covariance matrix까지 구하셨으면 고유값과 고유벡터를 계산해보세요
빠른 답변 감사드립니다! 그럼 동영상에서 들어주신 예시에서처럼 2D 그래프만 보고도 직관적으로 principle component를 찾을 수 있나요? 예를 들어 그래프만 보고도 (2,1)에 정사영 시켰을 때 분산이 가장 커진다고 판단할 수 있는 것처럼요
네 물론입니다. x y축을 각각 키 몸무게로 놓고 데이터를 그려보시면 주축을 시각적으로도 찾으실 수 있으실겁니다~^^
감사합니다! :) 그럼 이 경우에는 (2,1)을 principle component라고 부를 수 있는 건가요? 그리고 반대로 같은 벡터 상의 (-2,-1) 역시도 principle comoponent가 될 수 있는 건가요?
(2,1)이 고유벡터인 경우를 말씀하시는건가요? principal component 는 데이터를 주축에 정사했을때 얻어지는 결과를 의미합니다. 지금 얘기하시는 (2,1)은 주축(principal axis)에 해당합니다. 혹시 제가 영상에서 잘못말했나요? ㅠ
영상 잘 봤습니다!
3차원의 매트릭스를 2차원까지 감소시키는 것 까지는 알겠는데.. 혹시 2차원으로 변환된 플랏에서 새로운 벡터를 축으로 1차원 점 형태로 모아도 괜찮은건가요?
그래도 데이터의 pca 성질은 변하지 않을까요?..
안녕하세요. 데이터의 pca 성질이 변한다는 것이 무슨 의미인지 잘 이해하지 못하겠습니다만, 2차원의 데이터를 1차원으로 차원감소시키는 것도 당연히 가능합니다.
제 말은 음.. 3차원적 데이터를 1차원까지 감소시키면 데이터의 왜곡이 있지 않나를 여쭤본것입니다!ㅠ
좋은 코멘트인 것 같습니다. 그래서 차원 감소를 시킬 때는 감소시키고자 하는 차원까지 감소시켰을 때 원래 데이터의 variance가 얼마만큼 유지되는지 체크하고 감소시키는 것이 권장됩니다. 좀 더 자세한 내용은 pca scree plot이라고 검색해보시면 그림과 함께 더 깊은 설명을 찾아보실 수 있을 것 같습니다! ㅎㅎ
피쳐의 변동이라 하면, 1차원 신호로 치면 "파형"으로 볼수 있을까요?
몇 분 몇 초 쯤에서 해당 단어가 언급되었는지 한번 더 확인해주실 수 있으실까요?
@@AngeloYeo 3분 1초
여기서 굳이 1차원 신호에 대입해본다면 신호의 rms 값으로 보는게 좋을 것 같습니다. 물론 DC성분은 제외한 신호를 얘기한 것입니다.
pca 과정을 gif로 설명해주실 때 그거 혹시 매트랩으로 만든 건가요? (16분16초부터)
네 모두 MATLAB으로 만든겁니다 ㅎ
공돌이의 수학정리노트 죄송한데요ㅠㅠ 동영상처럼 플레이 버튼은 어떻게 만드신 건지 여쭤봐도 될까요? gif 로 하신 건가요?
플레이버튼은 파워포인트 기능입니다..
ㅎㅎ 동영상이에요 gif가 아니라
공돌이의 수학정리노트 아하
공분산 행렬 = Covariace matrix
산점도(X), 흩뿌림도(O)
흩뿌림도라는 말은 처음 알았네요~ 알려주셔서 감사합니다
광고몇개가 박혀있는겨
영상이 길어서 광고가 많나봅니다 ... 제가 건드린건 없는데 ...