[머신러닝] kNN(k-Nearest Neighbors) 최근접 이웃 알고리즘

kNN 첫번째 강의입니다. kNN 알고리즘을 이해하기 위한 강의입니다.
액션 영화와 로맨틱 영화라는 기존 데이터를 통해 새로 나온 영화가 액션 영화인지 로맨틱 영화인지 판별하는 머신 러닝 알고리즘 예제를 다룹니다.
제가 만든 모든 머신러닝 관련 영상은 아래 재생목록에서 쉽게 찾으실 수 있습니다.
• 머신러닝

[@CJ-oo2lk]

캐글 공부하다가 알게 되었는데...진짜 대단하신것 같아요 ㄷㄷ
앞으로도 많은 강좌부탁드려요!!!

[@현준-p9b]

감사합니다.

[@yejunkim7187]

진짜 깔끔합니다 감사합니다

[@yearinkwon527]

와우.. 감사합니다..너무 직관적이네요 바로 이해 했습니다

[@꾸샤-t4j]

강의 잘 봤습니다~

[@mickoonho8023]

공부하다 질문이 있어 댓글남겨봅니다. k값이 작을 수록 over fitting이 발생하고 k값이 클수록 under fitting 일어난다고 알고 있습니다.
혹시 이유 알려주실 수 있을까여 ??

[@231-t6b2f]

작가님 나의 첫 머신러닝/딥러닝에서16p의 분류와 회귀 단원에서 이해가 잘 되지 않아, 질문을 드립니다.
다중 분류와 다중 레이블 분류의 차이점이 무엇인지 모르겠습니다 조금 더 설명 해주시면 감사하겠습니다

[@TheEasyoung]

다중분류 모델의 출력값은 하나이고 다중 레이블 분류의 출력값은 여러개라고 이해하시면 됩니다. 숫자 하나가 써있는 사진을 보여주고 무슨 사진인지 맞추는 모델은 모델이 여러 숫자중 하나를 선택해야하기 때문에 다중 분류 모델입니다. 반면에 사진에 도형이 여러개 있을 경우, 사진 속 모든 도형을 맞춰야 하는 모델은 모델이 알고 있는 여러 도형 중 한 개 이상의 도형을 출력해야하므로 다중 레이블 분류 모델입니다.

[@231-t6b2f]

@@TheEasyoung 답변 감사드립니다 !

[@jobsub2613]

안녕하세요, sklaern에서 KNN으로 와인 종류 Classification 풀고 있는데요. 계속 K =1 일때 정확도가 제일 높게 나와요. 제가 잘 몰라서 그런데 통상 K = 1 이면 Overfitting 된거라고 알고 있는데 Cross Validation(Kfold = 10)으로 해도 Validation set의 정확도가 K=1 (이웃의 수 = 1)일때 가장 정확도가 높게 나옵니다,,, 이럴때는 어떤 제약을 더 두면 Overfitting을 막을 수 있을까요?

[@TheEasyoung]

안녕하세요, 모델 성능 평가 지표로는 accuracy, precision, recall, F1-score 등이 있는데요, 혹시 k=1일 때 accuracy만 높은 것이 아닌 지 궁금하네요. 제시한 네개의 지표를 골고루 잘하는 모델이 k=1인지 먼저 확인해봐야할 것 같아요. 만약 k=1이 모든 지표에서 1등일 경우에는, 와인 종류를 위한 특성을 feature vector로 만들어 주실 때 feature engineering이 제대로 이루어졌는 지 봐야할 것 같습니다. standardization, normalization 등등으로 수치값을 0 ~ 1 사이의 값으로 평준화 시켜주시는 작업이 kNN 트레이닝 전에 이루어졌나요?

[@jobsub2613]

네, 말씀하신대로 Standardization을 해서 Fitting시켰구요. Accuracy만 K=1일때 1등이예요.
그외 값도 metrics.classification_report 뽑아봤습니다. 혹시 precision recall f1-score 중에 애메하면 그냥 f1-score 높은 걸로 파라미터를 가져가도 될까요?

[@TheEasyoung]

네, 데이터 셋에 와인의 클래스들이 균일하다면, accuracy 높은 녀석을 선택해주시고요, 만약에 와인 A는 10개, B는 30개, C는 80개처럼 균일하지 않을 경우 f1-score가 높은 녀석으로 사용하는 게 통상적입니다.

[@TheEasyoung]

네, 데이터 셋에 와인의 클래스들이 균일하다면, accuracy 높은 녀석을 선택해주시고요, 만약에 와인 A는 10개, B는 30개, C는 80개처럼 균일하지 않을 경우 f1-score가 높은 녀석으로 사용하는 게 통상적입니다.

[@jobsub2613]

빠른 답변 너무 감사합니다!

[@권석모-e1m]

그럼 액션 영화와 로맨틱 영화 같은 것들을 파라미터라고 하나요?

[@TheEasyoung]

권석모 액션 영화 또는 로맨틱 영화는 클래스 또는 레이블(라벨), 타겟, y 등으로 불려요. 파라미터는 보통 머신러닝 모델을 이루는 한수의 계수(coefficients)를 의미하는 데 knn에선 그닥 다룰 부분이 없고, knn이 k는 함수의 최적화 이전 단계의 조절 변수이므로 하이퍼 파라미터로 불립니다.

[@신홍주-s9y]

파이썬 코드이용하신 영상은 어디서 볼수있나요 ?

[@TheEasyoung]

신홍주 파이썬 코드 영상은 현재 없구요, 만들 계획은 있지만, 이미 knn 구현 관련 많은 블로그들이 있으니 블로그 참조하셔도 될 거 같아요.

[@신홍주-s9y]

네 감사합니다~