임베딩 Embedding
HTML-код
- Опубликовано: 20 сен 2024
- 자연어 처리 Natural Language Processing
임베딩 Embedding
정수 인코딩, 원 핫 인코딩, One-hot Encoding, Word2Vec, T-SNE, Gensim, CBOW, Skipgram, Embedding Projector
Colab: colab.research...
이수안 컴퓨터 연구소 (SuanLab)
www.suanlab.com
항상 좋은 내용을 올려주셔서 엄청 많은 도움이 되고 있습니다~
35:41 내용 설명해 주실 때, 코드에 오류가 있는 것 같습니다.
clean_text 함수 정의할 때, return 값을 d 가 아닌 text 로 바꾸고,
clean_stopword 함수에서는 컴프리헨션 표현에서 if w.lower() not in stop_words 로 비교해야 하는 것 아닌가요?
stop_words 에 포함되어 있는 단어들이 모두 소문자 처리되어 있기에 입력 단어들도 소문자로 변경해 주어야 제대로 검사가 될 것 같네요!
앗! 맞아요. 감사합니다.
저도 영상 찍고 나서 깨달아서, 동일한 오타가 임베딩 말고도 있어서 어찌해야 하나 고민이었는데... 댓글로 남겨야겠네요. ㅋㅋ
[코드 오타 수정]
* clean_text() 함수의 return 값을 d 대신에 text로 변경
* clean_stopword() 함수에서 .join 안에 부분을 변경
[w.lower() for w in d.split() if w not in stop_words and len(w) > 3]
↓
[w.lower() for w in d.split() if w.lower() not in stop_words and len(w) > 3]
Embedding에 대해서 확실히 이해할 수 있었습니다. 감사합니다!
네, 감사합니다 ^^
CBOW 부분부터 아예 해결이 안되는데 이유를 알 수 있을까요
gnn 노드 임베딩 공부중이였는데 감사합니다
오호 좋네요. ^^
항상 좋은 강의 너무너무 감사합니다.
word2vec의 cbow에서 궁금한게 있습니다.
word2vec 모델 학습을 통해 man과 woman의 유사도를 구하는 코드에서
에포크 값을 임의로 늘이거나 줄여봤는데요
에포크가 커지면 커질수록 유사도가 크게 낮아지더라구요
이부분은 어떤 이유 때문이라고 가정할 수 있나요?
오버피팅 되었다고 생각하면 되는건가요?
테스트해보셨군요 네 맞습니다. ^^
@@suanlab 감사합니다 교수님! 정말 질 좋은 강의 덕분에 공부 많이해봅니다!