토픽 모델링 Topic Modeling

자연어 처리 Natural Language Processing
토픽 모델링 Topic Modeling
잠재 의미 분석, Latent Semantic Analysis, 잠재 디리클레 할당, Latent Dirichlet Allocation, Gensim, pyLDAvis
Colab: colab.research...
이수안 컴퓨터 연구소 (SuanLab)
www.suanlab.com

[@suanlab]

[코드 오타 수정
]
* clean_text() 함수의 return 값을 d 대신에 text로 변경
* clean_stopword() 함수에서 .join 안에 부분을 변경
[w.lower() for w in d.split() if w not in stop_words and len(w) > 3]
↓
[w.lower() for w in d.split() if w.lower() not in stop_words and len(w) > 3]

[@자연어천재만재]

영상 질이 좋아서 구독하고 갑니다.

[@barrykim6407]

강의 잘 보았습니다..제가 알기로는 coherence score가 높을 수록 토픽의 일관성이 높은것으로 알고있는데..동영상에는 가장 낮은 coherence score를 기준으로 num_topics를 설정 후 다시 모델링 하신거 같아서요.;;

[@suanlab]

앗! 맞습니다. ^^;

[@des6309]

coherence 값이 가장 높은 걸 택해야 맞는 거 아닌가요?

[@suanlab]

네 맞습니다. ^^;;

[@하르브종]

선생님과 저의
plt.figure(figsize =(10,6))
plt.plot(x, coherence_scores)
plt.xlabel('Number of Topics')
plt.ylabel('Coherence Scores')
그래프 모양이 다릅니다.
괜찮은 건가요 ?

[@suanlab]

네, 실행할 때마다 달라질 수 있습니다.

[@김현우-e6p4p]

항상 좋은 수업 감사합니다 !ㅎㅎ
모듈이 바껴서 바뀐 모듈로 실행했는데도 오류가 뜨는거같습니다 ㅠㅠ
오류- BrokenProcessPool: A result has failed to un-serialize. Please ensure that the objects returned by the function are always picklable. 이런식으로 뜨는데 해결할 수 있는 방법이 있을까요?!

[@suanlab]

아! colab이 업그레이드 되면서 기존 모듈이 연동되지 않는거 같아요. ㅠ.ㅠ

[@고명범-q7s]

anaconda로 가상환경 파이썬 3.7로 만들어서 라이브러리들 설치하면 다 작동 되더라구요

[@SJ-ln2ww]

시각화가 굉장히 아름답네요! 그간 편했던 R만으로 텍스트 마이닝을 해왔는데.. Word Embedding쪽도 그렇고 아무래도 파이썬으로 넘어갈 때가 된 것 같습니다ㅜ

[@suanlab]

파이썬도 좋고 R도 좋지요 ㅋㅋ

[@SJ-ln2ww]

@@suanlab R은 머신러닝쪽에서 속도의 한계를 느끼기도 하네요ㅜ
그래도 교수님 덕분에 쉽게 파이썬으로 갈아타는 중입니다. 아직 문법이 좀 낯설긴히지만ㅎㅎ 감사합니다!

[@brianlee1344]

TypeError: 'LazyModule' object is not iterable 이런 에러문이 떴는데 해결방법을 모르겠습니다.
from gensim.models import LsiModel
lsi_model = LsiModel(corpus, num_topics = 20, id2word=dictionary)
topics = lsi_model.print_topics()
topics
위 명령문을 실행하니까 뜹니다.

[@하르브종]

!pip install pyLDAvis
import pyLDAvis.gensim
pyLDAvis.enable_notebook()
vis = pyLDAvis.gensim.prepare(lda_model,corpous, dictionary)
pyLDAvis.display(vis)
---> ModuleNotFoundError: No module named 'pyLDAvis.gensim'
이라고 뜹니다. install 부분에서 문제가 있어 보이는데 .. 정상적으로 다음로드도 되었는데 마지막 시각화가 안되네요 ㅠㅠ

[@suanlab]

colab 버전이 달라지면서 모듈이 달라졌네요 ㅜ.ㅠ

[@네바크론]

import pyLDAvis.gensim_models
pyLDAvis.enable_notebook()
vis = pyLDAvis.gensim_models.prepare(lda_model, corpus, dictionary)
pyLDAvis.display(vis)
로 해결 됩니다.

[@김진구-w3n]

@@네바크론 정말 감사합니다!!