SUB) Crawling text and images with Python
HTML-код
- Опубликовано: 24 сен 2024
- Create your own web, app service, and AI-based "What Animal Do I Look Like" that can make money. This is a basic lesson on Python crawling to collect celebrity photo who resemble animal data for AI learning.
Use Beautifulsoup to crawl and save Naver real-time search rankings as text files, and use google-images-download to practice downloading celebrity photos with just one line of code.
It is okay that you are not familiar with the concepts of Python and libraries, I will walk you through the basics.
If you take advantage of this well-built library and example code, you can write the logic you want by modifying just one line of code.
- Cloud IDE
ide.goorm.io/
- Beautifulsoup official document
en.wikipedia.o...)
www.crummy.com...
- google-images-download pypi
pypi.org/proje...
- Github
github.com/you...
Below is a celebrity I found while googled, if you think you need to add or modify please tell me!
Puppies: Wanna One Kang Daniel, EXO Baekhyun, Park Bogum, Song Joong Ki
Cats: Wanna One Hwang Min-hyun, Exo Siu-min, Kang Dong-won, Lee Jong-suk, Lee Jun-ki
Bear: Ma Dong Seok, Jin Woong Cho, Se Ho Cho, Ahn Jae Hong
Dinosaurs: Yoon Doo-jun, Lee Min-ki, Kim Woo-bin, Yuk Jae-jae
Rabbit: BTS Jungkook, Icon Bobby, Wanna One Park Jihoon, EXO Guardian
---
This video was produced in support of Evangelist activity on Cloud IDE.
[※ 네이버/구글 업데이트로 실시간 검색어 크롤링이 현재 영상 속 방법으로는 불가능해졌습니다 ※]
1. 네이버 검색 순위 크롤링
원래는 urlopen을 수행할때 검색어가 포함되어 있어서 바로 가져오면 됐지만, 이제는 페이지를 다 로딩한 후 검색어를 동적으로 불러오니 위의 코드로 가져오는 것은 불가능합니다. 셀레니움등 추가 도구를 사용해야하는데 관련 내용은 아래 영상을 참고해주세요!
셀레니움 구글 이미지 크롤링(네이버 실검 크롤링도 가능): ruclips.net/video/1b7pXC1-IbE/видео.html
영상 속 방법으로는 현재 zum은 문제 없이 동작하니 줌에서 연습해보시는 것도 좋을 것 같습니다.
줌 홈페이지 : m.zum.com/#!/home
2. 구글 이미지 크롤링
구글 검색에서도 최근 업데이트가 있어 라이브러리가 잠시 막혀서 Selenium을 활용한 버전으로 영상을 추가 제작하였습니다! 아래 영상을 참고해주세요!
셀레니움 구글 이미지 크롤링: ruclips.net/video/1b7pXC1-IbE/видео.html
라이브러리 관련 이슈는 링크를 통해 확인해주시기 바랍니다.
github.com/hardikvasa/google-images-download/issues/280#issuecomment-555182389
대부분의 사이트들에서 동적 로딩 방식을 취하기 시작했네요. 크롤링의 속도가 현저히 떨어질 수밖에 없어진 것 같습니다 ㅠㅠㅠㅠ
ㅠㅠ selenium 강의도 조만간 준비해보겠습니다.
네이버 대신 다음 검색 순위를 크롤링 하는 것도 좋을 것 같습니다!
제 블로그 글을 읽어주시다니 영광입니다. !!
이상훈 오 블로그 주인분이시군요!ㅎㅎ 댓글 달아주셔서 영광입니다🙇🏻♂️
다음도 일반 웹페이지에서 하시면 중복값이 많이 나옵니다.
틀리건 아닌데 딱 위의 예제처럼 되지 않아 썩 기분이 좋지 않더군요.
아마도 레이어 때문인듯 해서 ...가만히 생각해보니 모바일페이지에서는 괜찬을거 같아해보니 중복값 없이 잘나옵니다.
참고로 m.daum.net 으로 하시면 됩니다.
초보들도 환경설정 없이 쉽게 따라할 수 있도록 고민하고 조사하신 흔적을 항상 볼 수 있네요. 오늘도 흥미롭고 유익한 영상 감사합니다!!
그렇게 봐주셔서 감사합니다 코딩사전님ㅎㅎ 코딩사전님 영상도 엄청난 노력의 흔적을 볼 수 있었습니다!
헐 얄코님 ㅋㅋㅋㅋ
와 얄코님도 보시는구나
조코딩님, 얄코님 두 분다 영상 만드신 거 보면 대단합니다!
나이 50에 뒤늦게 코딩이란 것에 재미를 느껴 파이썬을 시작해 봤습니다. 이제 보름 정도 되었는데, 이 영상 같은 작업은 초초 전문가의 영역으로만 알고 있었는데, (비록 복붙이지만) 제가 해볼 수 있다니 너무 재미있고 신납니다.
재미있게 봐주셔서 감사합니다!ㅎㅎ
감사합니다 이렇게 안쉬고보는 강의는 처음이에요
크롤링부터 이두희님 인터뷰 AI사용까지 너무 쉽게 다가왔습니다
열심히해서 멋진 개발자가 되겠습니다.
좋게 봐주셔서 감사합니다!ㅎㅎ 멋진 개발자가 되시길 응원하겠습니다!
천천히 코딩에 관심가지고 배우는중인데 도중에 원하는방식으로 코드 수정하는거보고 소름이 돋네요. 너무 영상이 유익합니다 bb
초심자 입장에서 궁금할만한 것들을 많이 고민하시면서 만드신 것이 보이네요. 감사합니다.
그렇게 봐주셔서 감사합니다!ㅎㅎ 초심자도 쉽게 배울 수 있도록 유익한 컨텐츠 많이 올리겠습니다 :)
코딩 배운지 1년이 되어가고 있는데 정말 놀라운 세계네요! 감사합니다.
진짜 이렇게 상세하고 디테일하게 설명해주는곳 몇없는데 처음 강의 영상 보는데 기존에 지식이 없는 사람도 쉽게 이해할수 있게끔 꼼꼼하시네요~
좋게 봐주셔서 감사합니다ㅎㅎ
2022 정시 준비하는 고등학생인데...쉬는 시간 마다 유용하게 지내네요 감사합니다.
유용하게 봐주셔서 감사합니다ㅎㅎ
@@jocoding 내신 시험 기간이라서 만들기 너무 좋네요 ㅎㅎ
최고! 최고! 최고! 이런 강의가 필요했습니다. 2편 기다립니다! 고맙습니다!
댓글 감사합니다ㅎㅎ 2편도 얼른 작업해보겠습니다!
이분 만큼 코딩 잘 설명 하는 분 이없어
최고!
그렇게 말씀해주시는 킹크랩님도 최고!
와 컴공생이지만 구름IDE라는 것도 처음알았고 사이트에서 원하는 부분의 HTML코드만 이렇게 실용적으로 따올 수 있는 것도 처음 알았네요..... 너무나 좋은 채널입니다....! 파이썬은 이 채널로 공부해야겠네요ㅎㅎ
감사합니다ㅎㅎ 조만간 파이썬 강의 시작할 예정이에요!
이 영상은 진심 미쳤다란 생각밖엔 할 수 없다. 암것도 몰라도 따라하면 결과물이 똭!!!! 무슨 말이 더 필요.
ㅎㅎ 그렇게 봐주셔서 감사합니다 jaecheon lee님! 더 좋은 결과물 만들 수 있는 쉬운 영상들 많이 올리겠습니다~
너무 쉽게 설명되어 있어서 체험해 보기가 너무 좋았습니다. 네이버 대신 다음으로 변경해서 실습해 보세요.
좋게 봐주셔서 감사합니다! 오 너무 좋은 아이디어시군요ㅎㅎ 다른분들께 다음으로 변경해서 실습하는 것을 추천드려야겠네요! :)
와... 초등학교때 HTML 조금 배운 수준인 사람인데도 왠지 더 공부하면 뭔가 될 것 같은 기분이듭니다 ! 최고.. 감사합니다
미친 강의... 덧글 안 다는데...
박수치며 덧글 달게 하네요.
정말 식사나 커피 쿠폰이라도 선물 드리고 싶습니다!!!!!!
그렇게 봐주시다니 영광입니다ㅎㅎ 후원은 영상 바로 아래 좋아요, 싫어요 있는 부분에 박수 모양의 환호 아이콘이 있습니다. 이를 클릭하시면 후원하실 수 있습니다. 감사합니다~ 더욱 유익한 영상 많이 올리겠습니다!
@@jocoding 너무너무 감사드리며....소중한 영상 잘 보겠습니다.
이상하게 들리겠지만... 제가 아무리 찾아도 후원 버튼이.. 혹시... 아시는 분 좀 도와주세요.
이런 영상은 공짜로 보기 죄송하네요.
gigglehd.com/gg/soft/6478284
위 링크에 이에대한 설명이 나와있습니다!
감사합니다ㅎㅎ
@@jocoding 아...감사합니다. 피씨로 접속!!^^
학원 강의 들어야 하나 걱정했는데 정말 쉽게 설명 잘 해주시네요 강추입니다 ㅋ
온라인 강의도 정말 좋습니다ㅎㅎ
온라인에서 도커(docker)처럼 개발환경을 쉽게 쓸 수 있는 곳이 있다니... 감사합니다.
댓글 감사합니다ㅎㅎ CLI가 아니라서 초보자들도 훨씬 쉽게 접근할 수 있어 좋은 것 같아요!
조코딩 선생니이이이이임~~~~!!!!
저 강의 차근차근 들으면서 한번 만들어보렬고 해요 !!!
벌써부터 너무 유익하고 재미있어요 :)
감사합니다 >< ~~~
유익하게 봐주셔서 감사합니다!ㅎㅎ 응원합니다!!
영상 잘 보면서 코딩 연습 잘하고 있습니다. 조코딩님 영상을 보면서 처음으로 코딩을 접했는데 생각보다 쉽고 재미있게 가르쳐주셔서 취미처럼 잘 공부하고 있네요! 정말 감사합니다. 앞으로도 좋은 영상 부탁드립니다!
그렇게 봐주셔서 너무 영광입니다ㅎㅎ 감사합니다 바오밥나무숲님!!
와 여태 코딩공부를 귀찮은 이론부터해서,
기초부터 하나하나 배우려니까,
너무 어렵고 귀찮아서 잘 안되고있었는데,
이미 완성된 거를 끌어다 쓰는거여도,
무언가 결과물을 바로바로 만들어내는 걸 보니까,
영상을 보기만해도 뭔가 의욕이 마구 솟아오르는 것 같습니다.
내가 여태하고있던 짓은 완전바보같다는 생각이 들었습니다.
신세계를 깨달은 기분.
발음도 정확해서 1.5배속으로 해도 잘들려서 좋네요!
우연히 추천영상에 떠서, "한줄만 입력해서 코딩완성 한다"는 제목에 끌려 보게되었다가 꽂혀서, 바로구독하고갑니다.
구독 감사합니다 미코님ㅎㅎ 더 쉽고 재미있게 배우실 수 있는 영상들 많이 올리겠습니다!
와! 진짜 설명 너무 이해하기 쉽게 해주시네요 감사합니다😭 컴공다니는 대학생인데 결과물이 너무 없어서 너무 막막했는데 이런식으로 포트폴리오 하나씩 만들어볼 수 있을 것 같아요
좋게 봐주셔서 감사합니다ㅎㅎ 포트폴리오 만드실때 도움되실만한 영상들 많이 올리겠습니다 :)
조코딩님 항상 감사드립니다. 아직 초보라 여러번 보면서 무작정 따라하고 있습니다. 그러면서 언어도 생활코딩으로 계속해서 공부하니 실력이 점점 늘어가는 것 같습니다. 앞으로도 좋은 컨텐츠 기대하겠습니다.
현재 구글검색 결과의 수정으로 인해 이미지 다운로드가 안됩니다. 패키지를 수정해야 합니다.
아래처럼하시면 됩니다.
1. 설치된 패키지 삭제
pip uninstall google_images_download
2. 수정된 패키지 설치
pip install git+github.com/Joeclinton1/google-images-download.git
3. 예제는 그대로 실행하시면 됩니다.
만약 마지막 명령어 실행중 아래같은 메시지 나오고 안되시면 윈도우시스템일껍니다. git를 설치하셔야합니다.
ERROR: Cannot find command 'git' - do you have 'git' installed and in your PATH?
윈도우 git설치는 아래 링크를 참고하세요.
cofs.tistory.com/421
행운을 빕니다 !!
오 이렇게 하면되는 군요! 꿀팁 공유 감사합니다ㅎㅎ
thankyou:)
정말 구글엔 내가 모르는 것을 검색하면 하나부터 끝까지 세세하게 알려주네...★메모★
구글이 최고입니다ㅎㅎ
Python 입문 영상으로 본건데 너무 이해가 잘 되고 쏙쏙 들어와요! 좋은 영상 만들어주셔서 감사합니다 :) 2편 기다릴게요~
좋게 봐주셔서 감사합니다ㅎㅎ 2편 얼른 올릴게요!!
뭐예요? 진짜? 님뭐임?.. 너무 ...너무좋은 정보............... 너무 쉽게 잘 해두셨네요ㅠㅠ 감사합니다........무한 좋아요 그리고 구독 갈게요 좋은 정보 많이 올려주세요
구독 좋아요 감사합니다ㅎㅎ 앞으로 더 유익한 영상 많이 올리겠습니다 :)
건강하게 오래사셔서 영상많이 만들어주세요
ㅋㅋㅋㅋ 감사합니다! 건강히 오래살고 좋은 영상 많이 만들겠습니다 :)
완전 감사합니다. 파이썬 처음 만져봤는데 이거 보고 바로 필요한 정보 긁어 왔어요...
[오류 발생시 참고! ^^ 저는 이렇게 해결했습니다!]
*도움이 되시길 바라며ㅎㅎ*
1. 네이버, 다음, zum 오류
저는 세 사이트다 오류가 있어 네이트 실시간 검색어를 이용하였더니 실행되었습니다!!
2. 크롤링 시 빈파일, 빈폴더 오류
조코딩님께서 공지해주신 user분 사이트
jusunghan.github.io/2020/05/17/naver-image-crawling/
저는 이 사이트에 있는 코드를 이용하여 크롤링을 하였습니다.
하지만 구름 ide 에서 zip 파일 다운로드시 빈파일 빈폴더가 떴습니다.
다운로드 받을실때에 zip 파일 말고, Tar 파일로 다운 받으신 후에 압축을 한번해보세요!!
크롤링한 이미지 파일과 폴더가 존재할 것입니다!!
조코딩님 항상 좋은 콘텐츠 감사합니다! 조코딩 파이팅!
오 꿀팁 공유해주셔서 감사드립니다ㅎㅎ 안동수님도 화이팅!!
저는 옆에 다운받은 폴더들은 생성됐는데 폴더안에 이미지가 하나도 없어요 ㅜㅜ 예전에 했을때는 이미지들이 들어있었는데 오늘 다시해보니 이미지가 없는데 혹시 어떤 문제인지 아실까요 ㅜㅜㅜㅜㅜ
조코딩님 질문이요! 조코딩님이 하신 거랑 똑같이 라이브러리 설치하고, 예제 복붙해서 실행했는데요, 다운로드가 안되네요 ㅠㅠ 폴더 생성은 됩니다. 아래처럼 메세지가 나오는데, 문제가 뭘까요? 제 랩탑 성능이 안좋아서 그런것 같기도 하네요 ㅠㅠ
"Unfortunately all 20 could not be downloaded because some images were not downloadable. 0 i
s all we got for this search filter!"
[※ 네이버/구글 업데이트로 실시간 검색어 크롤링이 현재 영상 속 방법으로는 불가능해졌습니다 ※]
1. 네이버 검색 순위 크롤링
원래는 urlopen을 수행할때 검색어가 포함되어 있어서 바로 가져오면 됐지만, 이제는 페이지를 다 로딩한 후 검색어를 동적으로 불러오니 위의 코드로 가져오는 것은 불가능합니다. 셀레니움등 추가 도구를 사용해도 되지만 현재 zum은 문제 없이 동작하니 줌에서 연습해보시는 것도 좋을 것 같습니다.
줌 홈페이지 : m.zum.com/#!/home
2. 구글 이미지 크롤링
구글 검색에서도 최근 업데이트가 있어 라이브러리가 잠시 막혔습니다..
따라서 해당 라이브러리가 새로운 구글 검색 방식에 맞추어 업데이트가 되기 전에는 재대로 동작하지 않을 것 같습니다. 아래는 관련 이슈는 링크를 통해 확인해주시기 바랍니다.
github.com/hardikvasa/google-images-download/issues/280#issuecomment-555182389
대안으로 joygoround님께서 네이버 이미지 크롤링으로 해결하신 과정이 있어서 블로그 링크첨부드립니다. velog.io/@joygoround/%EC%A1%B0%EC%BD%94%EB%94%A9-%EC%99%84%EC%84%B1%ED%98%95-%EC%84%9C%EB%B9%84%EC%8A%A4-%EB%A7%8C%EB%93%A4%EA%B8%B0-1
저도 저 패키지가 크롬업데이트 이후 안되길래 셀레니움을 사용한 구글이미지크롤링 패키지를 만들어봤습니다. 맘껏사용해주세요
pypi.org/project/gids/
@@한진규-v4r 구름 IDE로 예시 코드 실행하니까 아래 메시지가 나오는데, 이건 클라우드 IDE로 실행해서 발생한 오류인가요?
No found chromedriver in this environment.
Install on your machine. exception: Message: 'chromedriver' executable needs to be in PATH. Please see sites.google.com/a/chromium.org/chrom
edriver/home
@@JaytheMarketer 비주얼스튜디오 코드도 그렇게 나오네요~
@@한진규-v4r 감사합니다. 큰 도움이 됐네요
요근래 본 코딩 영상중에 제일 핵심적인 내용으로 도움이 많이되었네요
오ㅎㅎ 그렇게 봐주셔서 감사합니다! 더 유익한 영상들 많이 올리겠습니다.
라이브러리 이슈로 이미지 다운이 안되시는 분들은 이 영상 참조하세요 !
ruclips.net/video/xegYFJLHxE0/видео.html
어떤분이 친절하게 만들어주셔서 덕분에 잘 다운받아서 다음강의까지 순조롭게 진행했네요 ㅎㅎ
감사합니다!!!! 짱이세요 ㅎㅎ
목소리 좋고, 설명 깔끔하고, 초보에게 도움되는 강의 고맙습니다.
그렇게 봐주셔서 감사합니다!ㅎㅎ 더 쉽게 배우실 수 있는 영상들 많이 준비해보겠습니다
와 이런강의 진짜 좋은거같아요 Premium도 만드셔서 더욱더 좋은강의 보여주시면 무조건 가입할게요 정말감사합니다
그렇게 말씀해주셔서 감사합니다 Jihyung Kim님!ㅎㅎ 더 유익한 강의들 많이 올리겠습니다 :)
정말 알차고 친절하고 쉬운 설명입니다. 수십년전 꺼졌던 코딩의 열망이 다시 불타오르네요!!
오 그렇게 봐주셔서 감사합니다! 코딩 열망으로 좋은 결과 만드시길 바랍니다!!
으아 감사합니다 조코딩님 파이썬 공부중!!!
댓글 감사합니다ㅎㅎ 파이썬 공부 화이팅입니다!!
조코딩님 영상이 강의보다 재밌어서 자꾸 강의듣다가 딴짓할때 들어오게되네요ㅋㅋㅋ
자주 오세요!ㅋㅋ
선댓글 후감상 ♥
ㅋㅋ 선댓글 감사합니다
김동하님ㅎㅎ
안녕하세요. 현직 개발자입니다. 개발자의 입장에서 보기에 영상에 나오는 내용은 어려운 것이 아니기에 다 알고 있었지만, '코딩'이라는 것에 대한 새로운 관점을 배우고 갑니다 ㅎㅎ
오 좋은 말씀 감사합니다!ㅎㅎ
와 갓 조코팅., 진짜 쉽게 따라올수있는데 마지막에 이미지 크롤링하고 압축할려했는데 한키워드당 사진이 100장가까이 있어서 그런가 압축파일이 깨져있거나, 키워드전체가 압축되지않았어요 ㅠㅠ 열어보면 두개? 정도ㅠㅠ 사진이 많아서 그런걸까요..?
흠.. 구름IDE에서 확인한 사진이 문제가 없으시다면 압축과 다운받는 과정에서 문제가 있었을 것 같네요ㅠ 로컬에서 python 환경을 설치해서 진행하시거나 구름IDE측에 문의해보셔도 좋을 것 같아요!
파이썬 1강 (환경설정) :ruclips.net/video/yytWGELNeOI/видео.html
진짜 하나하나 다 알려주시니 가르침 받는 입장에서는 너무나도 감사합니다. 앞으로도 좋은 영상 많이 만들어 주시길 :)
좋게 봐주셔서 감사합니다!ㅎㅎ
이번 영상 보고 크롤링해서 앱 만들어 볼려고 했는데 막혔다는 글 보고 조금 아쉽네요ㅜ 언제 새롭게 바뀐 영상을 볼 수 있을까욤?ㅎ
흠.. 라이브러리가 업데이트 될 줄 알았는데 아직 막혔군요ㅠ 동물상 앱 출시, 수익화, 마케팅 과정까지 마치고 진행할 것 같습니다!
선생님 지나가던 파이썬 입문자입니다. 한마디만 하겠습니다. 사랑합니다
감사합니다ㅎㅎ
네이버 홈페이지가 개편 되어서 인지 검색 순위를 못불러오네요
이럴때는 어떻게 해야 돼나요?
원래는 urlopen을 수행할때 검색어가 포함되어 있어서 바로 가져오면 됐지만, 이제는 페이지를 다 로딩한 후 검색어를 동적으로 불러오니 위의 코드로 가져오는 것은 불가능합니다. 셀레니움등 추가 도구를 사용해도 되지만 현재 zum은 문제 없이 동작하니 줌에서 연습해보시는 것도 좋을 것 같습니다.
줌 홈페이지 : m.zum.com/#!/home
이렇게 쉽게설명을해주시니 감사합니다
저도 댓글 남겨주셔서 감사합니다!ㅎㅎ
위에 크롤링이 안되시는 분들은 밑에 블로그 참고해보세요! 바로 사용할 수 있게 코드를 적어 나와있어요!
조코딩님이 알려주신거 따라하다가 안되서 찾아봤어요!
blog.naver.com/wnstj7798/221989835613
오오 멋집니다!ㅎㅎ 좋은 소스 올려주셔서 감사합니다 :)
@@jocoding 항상 좋은 영상 감사합니다!!
요즘크롤링공부중인데
솔직하게 제일쉽게 설명해주시는같습니다
파이썬매크로강의도부탁드립니다
양경석님 그렇게 봐주셔서 감사합니다ㅎㅎ 업무 자동화 관련 영상들 올릴 계획이있는데 그때 매크로 관련하여 다루어보겠습니다!
수익화까지 할 수 있는 완성형 웹, 앱 서비스, 인공지능이 보는 나의 동물상 테스트 만들기 1강으로 인공지능 학습에 필요한 동물상 연예인 사진 데이터를 수집하기 위한 파이썬 크롤링 기초 강의입니다.
Beautifulsoup를 활용하여 네이버 실시간 검색 순위를 크롤링하여 텍스트 파일로 저장해보고, google-images-download를 활용하여 코드 1줄만 수정하고도 연예인 사진을 다운받는 실습을 해봅니다.
파이썬과 라이브러리의 개념을 잘 모르셔도 따라 하실 수 있게 기초부터 차근차근 설명해 드립니다.
이처럼 잘되어있는 라이브러리와 예제 코드를 활용한다면 코드 1줄만 수정하여도 원하는 로직을 작성하실 수 있습니다.
- 구름IDE
ide.goorm.io/
- Beautifulsoup 공식 문서
en.wikipedia.org/wiki/Beautiful_Soup_(HTML_parser)
www.crummy.com/software/BeautifulSoup/bs4/doc/
- google-images-download pypi
pypi.org/project/google_images_download/
- 완성 코드 보기
github.com/youtube-jocoding/python-crawling
아래는 동물상 연예인 제가 구글링하면서 찾은건데 혹시 추가나 수정이 필요한 것 같으면 말해주세요!ㅎㅎ
강아지: 워너원 강다니엘, 엑소 백현, 박보검, 송중기
고양이: 워너원 황민현, 엑소 시우민, 강동원, 이종석, 이준기
곰: 마동석, 조진웅, 조세호, 안재홍
공룡: 윤두준, 이민기, 김우빈, 육성재, 공유
토끼: 방탄소년단 정국, 아이콘 바비, 워너원 박지훈, 엑소 수호
---
본 영상은 구름IDE에서 에반젤리스트 활동 지원을 받아 제작되었습니다.
와 기대합니다.
기대해주셔서 감사합니다 :)
Wide Lens 일정에 변수가 많아 다음주 혹은 다다음주 정도로 넓게 안내드립니다ㅠ
@@jocoding 그런데 연예인 사진쓰면 초상권 침해로 걸리지는 않을까요?
크롤링을 자주 하는데 특히나 파이썬은 크롤링이 쉬운 편이라 처음 파이썬으로 해볼때 놀랐네요 ㅋㅋ 이미지 크롤링도 도전해보아야겠네요 잘 보고 갑니다 유익한 정보 감사합니다
좋은 댓글 감사합니다!
이런 영상 올려주셔서 감사합니다.
댓글 뒤늦게 확인하고 zum으로 갈아타서 해봤는데 정말 잘 작동하네요!
근데 출력을 두 번 씩하네요.. ㅠㅠ 이건 나중에 알아가다보면 해결 할 수 있는 문제겠죵?!!
아마 사이트의 같은 클래스를 가진 2부분에 실시간 검색어가 있어서 그럴거에요! 하나만 선택하도록 세부적으로 조절하면 하나씩만 나올겁니다ㅎ
@@jocoding 그렇군요! 감사합니다!! ㅎㅎ
요즘 빅테이터에 관심가지게된1인 입니다 파이썬 관련해서 관심이 생겼는데 비전공자인저는 너무 막막하더라구요 이렇게 무작정따라하면서 쉽게 다가갈수 있어서 영상너무 감사드려요 ~!
좋게 봐주셔서 감사합니다!ㅎㅎ
코딩 왕초보 인데도 이해가 팍팍 잘 되게 설명 최고시네요. 쉽게 쉽게...사실은 좀 어렵겠지만 ..보고만 있어도 뭔가 할 수 있을거 같은..
좋은 영상 ..고맙습니다. 완전 신세계입니다. 저걸 모르니 하나씩 수작업으로 생노가다...정말 모르면 개고생...ㅜ.ㅜ.
댓글 남겨주셔서 감사합니다 스토리샘님ㅎㅎ 코딩을 배우면 간편하게 할 수 있는 일들이 많은 것 같아요! 앞으로 더 도움이 되는 영상들 많이 올리겠습니다 :)
좋은 영상 감사합니다. 복 받으실 겁니다.
감사합니다ㅎㅎ Jeong Hwan Lee님도 복받으세요!
zum 홈페이지 의 class 는 무엇인가요?
대신 답변해드리자면 div.issue-keyword a를 불러오고 get_text()를 이용하면 됩니다!
@@KylloxStudio 그러면 class 는 div.issue-keyword a 인가요?
@@bingga5427 네네 공백제거도 사용하시면 깔끔하게 나옵니다
@@KylloxStudio 감사합니다^^
오늘 처음 배워 보는데 텍스트 명령어 구문을 잘 이해는 못하겠지만 정말 설명을 잘 해주시는것 같아요. 최곱니다.
그렇게 봐주셔서 감사합니다!ㅎㅎ
초심자입니다 무척 유익해요! 감사합니다
유익하게 봐주셔서 감사합니다!ㅎㅎ
와 이런 강의 너무 좋아요! 시리즈물로 나오면 너무 좋을 것 같아요ㅎㅎ 영상 잘 보고 있어요:)
영상 잘 봐주셔서 감사드립니다 :) 완성형 서비스 만들기 시리즈로 준비중입니다!ㅎㅎ
조코딩 JoCoding 오오 기대할게요!
늘 잘 보고 배워갑니다. 감사합니다.
오 닉네임이 없으시군요! 늘 봐주셔서 감사합니다ㅎㅎ
와.... 지금까지 수많은 시간을 사진 수집하는데 썼는데 코딩만 알았다면 엄청 쉽게 했었겠네요.... 신기하다...
코딩이 이렇게 유용합니다!ㅋㅋ
좋은정보 잘보고갑니다 오늘부터 진행되는 프로젝트 기대할게요 화이팅!
기대해주셔서 감사합니다 박성용님ㅎㅎ 유익한 프로젝트 만들어보겠습니다!
오늘 이 영상 처음봤는데 저는 좀 많이 돌려봐야 할 것 같네요 자세한 설명 감사합니다.
크롤링때매고통받았는데 대박입니다이거ㅜ
진심 코딩 신세계인데, 이렇게 좋은 선생님 만나게 되서 좋습니다. 열심히 볼께요! 그리고 한번 시도도 해보겠습니다.
감사합니다 Jaejae White님ㅎㅎ 코딩 공부 화이팅입니다!
영상에서 네이버 검색 순위는 업데이트로 동일하게 되지 않으니, 다음(Daum)으로 응용하여 테스트 해보세요!
파이선 쉽게 알려주시는거 같아서 좋아요! 영상 감사합니다.
그렇게 봐주셔서 감사합니다ㅎㅎ 더 많은 파이썬 관련 영상 추후 준비중이니 기대해주세요!
유튜브의 이끌림에 따라 흘러들어왔는데 구름IDE가입하고
따라서 해보고 있습니다. 예전부터 코드한번 만져보고 싶었는데
설명을 입문자 한테 맞게 너무 잘 해주셔서 따라하기가 너무 좋은것 같아요,,ㅜㅜ
감사합니다. 열심히 배워보도록 하겠습니다.
좋게 봐주셔서 감사합니다ㅎㅎ 쉽게 배우실 수 있도록 유익한 컨텐츠 많이 올리겠습니다!
아주 쉽게 잘 가르켜 주셔서 감사합니다.
좋게 봐주셔서 감사합니다ㅎㅎ
저 진짜 코딩 쌩초보 36세 아저씨인데 , 뭐랄까 하나씩 배울때마다 뭔가 만들어보고 싶어져요 ㅎㅎㅎㅎ 좋은 설명 감사합니다
감사합니다ㅎㅎ 뭔가 재미있는 것을 만드실 수 있길 바랍니다!
@@jocoding -
좋아요를 안누를수가 없네요. 정말 감사합니다.
좋아요 눌러주시고 이렇게 좋은 댓글 남겨주셔서 감사합니다!ㅎㅎ
얼마전에 크롤링에 대해 공부하기 시작했는데 직접 예제를 보니까 너무나도 신기하고 이해가 쉽게 되네요. 감사합니다.
크롤링 공부에 도움이 되셨다니 좋군요ㅎㅎ 댓글 감사합니다 이상훈님!
크롤링 연습하면서 느낀건데요 검색어 설정이 애매한 이미지들은 어쩔수없이 노가다로 해결해야 하는건가요?
예를 들어 특정 키워드로 검색을 시도했을때 단체사진만 검색된다던가 유사한 이미지들이 굉장히 많이 섞여있던가 해서 실제 정보로서 가치가 떨어지는 데이터들이 대부분일 경우에는 이미지를 하나하나 확인하고 수정하는 작업을 거쳐야 될 듯 하네요.. 이런 경우에는 고수들도 노가다를 하나요? 그리고 영상에서 말씀하셨는데 뒷 배경을 회색으로 처리해서 정보로서의 가치를 높이는 작업이라는게 혹시 포토샵같은 프로그램을 이용해 일일이 수정하는 작업을 말씀하신건지 궁금합니다 ^^
만약에 그렇다면 엄청난 시간과 노가다가 필요할텐데 (팁이 있다면 좀 알려주삼~)
자동으로 할 수 있습니다! 단체 사진으로 학습시킨 모델을 적용하여 단체 사진일 확률이 일정 %이상이면 포함하고 아니면 제외하는 로직을 넣을 수 있고 흑백 처리 및 크롭하는 것도 다 python 라이브러리 및 로직으로 자동처리 가능합니다!
@@jocoding 아~ 역시 고수는 다르군요! 그런 방법이 존재하지만 어떻게 하는지 감도 안오는 것에 좌절감을 느낌과 동시에 코딩교육의 위대함을 느낍니다.
창의력만 풍부하다면 많은 문제들을 해결할 수 있는 서비스를 만들 수 있겠네요.. 답변 너무너무 감사드립니다~!!
와 유용해요 유용해요 ....와
유용하게 봐주셔서 감사합니다ㅎㅎ
감사합나디 2 편 너무 기대됩니다.
기대해주셔서 감사합니다ㅎㅎ 얼른 준비해보겠습니다
이번 영상도 너무 재밌네요.
감사합니다. ~
감사합니다 :)
와~~이런 정보 주셔서 감사합니다!!!
조코딩님 하트주셔서 감사합니다. 열심히 배우고있습니다 3강 제플린 초대꼭부탁드립니다
영상퀄리티가 제대로네요.. 대단하십니다.
퀄리티 좋게 봐주셔서 감사합니다!ㅎㅎ
조코딩님 화이팅!! 정말 강의도 재밌고 난이도 대비 아웃풋이 굉장합니다. 가성비 좋은 강좌네요. (근데 키보드 어떤거 쓰시나요? 소리가 중독성이 있네요;;)
좋게 봐주셔서 감사합니다 송기헌님!ㅎㅎ 키보드도 가성비 좋은 ABKO HACKER 기계식 키보드 쓰고 있습니다ㅋㅋ
저에게 꼭 필요한 기능인데 자세히 알려줘서 감사합니다
열심히 카핑하고있었는데 ... ㅎㅎㅎ 기업들이 막아놓는다고 해도... 시도자체가 재밋는게 프로그래밍인거같아요... 저랑 잘맞는듯 ㅎㅎㅎ 감사합니다 좋은영상 잘봤습니다.
ㅎㅎ 좋게 봐주셔서 감사합니다!
정말 기대합니다. 열심히 따라가보겠습니다:)
Angela Kim님 기대해주셔서 감사합니다ㅎㅎ 더 유익한 영상들 많이 올릴게요!
너무 끝내주네요
그렇게 봐주셔서 감사합니다ㅎㅎ
답변 해주신데로 코딩을 하니 문제는 해결이 됐습니다.
답변해주신것과 같은 내용을 공부하고 싶으면 어떤 식으로 시작하면 좋을지 조언 부탁드려도 될까요?
그리고
크롤링해서 나온 텍스트들이 중복된 것들이 많은데 중복된 텍스트를 지우는 방법을 혼자서 해결해서 찾으려고 구글에
remove overlap text 등등 여러가지로 검색을 해보는데 찾기가 어렵네요 ㅜㅜ
방법좀 알 수 있을까요?
텍스트를 list에 넣은 후 set(list)를 해서 집합 자료형으로 바꾸면 자동으로 중복이 제거됩니다!
헐 크롤링 하고 싶었는데 따라해볼만하메요.. 도전도전 영상 너무 감사해요
화이팅입니다!ㅎㅎ
안녕하세요 조코딩님 현재 열심히 조코딩님 영상보면서 공부중인데
14:25 부분에 나오는 결과값이 저는 안나오네요 ㅜㅜ
현재 네이버에서 F12를 눌러보니 span뒤의 태그가 "keyword"로 바껴있어서
from bs4 import BeautifulSoup
from urllib.request import urlopen
response = urlopen('www.naver.com/')
soup = BeautifulSoup(response, 'html.parser')
for anchor in soup.select("span.keyword")
print(anchor)
이렇게 태그를 짰는데
마지막 윗 줄 for anchor 부분에서 invaild syntax 오류가납니다 ㅜㅜ
혹시 어떻게 해야할까요..
네이버는 현재 오류가 있어요ㅠㅠ
[※ 네이버/구글 업데이트로 실시간 검색어 크롤링이 현재 영상 속 방법으로는 불가능해졌습니다 ※]
1. 네이버 검색 순위 크롤링
원래는 urlopen을 수행할때 검색어가 포함되어 있어서 바로 가져오면 됐지만, 이제는 페이지를 다 로딩한 후 검색어를 동적으로 불러오니 위의 코드로 가져오는 것은 불가능합니다. 셀레니움등 추가 도구를 사용해도 되지만 현재 zum은 문제 없이 동작하니 줌에서 연습해보시는 것도 좋을 것 같습니다.
줌 홈페이지 : m.zum.com/#!/home
2. 구글 이미지 크롤링
구글 검색에서도 최근 업데이트가 있어 라이브러리가 잠시 막혔습니다..
따라서 해당 라이브러리가 새로운 구글 검색 방식에 맞추어 업데이트가 되기 전에는 재대로 동작하지 않을 것 같습니다. 아래는 관련 이슈는 링크를 통해 확인해주시기 바랍니다.
github.com/hardikvasa/google-images-download/issues/280#issuecomment-555182389
대안으로 joygoround님께서 네이버 이미지 크롤링으로 해결하신 과정이 있어서 블로그 링크첨부드립니다. velog.io/@joygoround/%EC%A1%B0%EC%BD%94%EB%94%A9-%EC%99%84%EC%84%B1%ED%98%95-%EC%84%9C%EB%B9%84%EC%8A%A4-%EB%A7%8C%EB%93%A4%EA%B8%B0-1
추가로 Jusung님이 작성해주신 깔끔한 코드도 있는데 참고해주세요!
jusunghan.github.io/2020/05/17/naver-image-crawling/
저도 안되서 계속 바꿔봤는데 제가 잘못한게 아니였군요 ㅠㅠ
@@jocoding from bs4 import BeautifulSoup
from urllib.request import urlopen
response = urlopen('zum.com/#!/home')
soup = BeautifulSoup(response, 'html.parser')
i = 1
f = open("새파일.txt", 'w')
for anchor in soup.select("span.d_keyword"):
data = str(i) + "위 : " + anchor.get_text() + "
"
i = i + 1
f.write(data)
f.close()
이렇게 했더니
3위 : 명륜진사갈비 쭈꾸미
4위 : 명륜진사갈비 쭈꾸미
이런식으로 같은 단어가 2번씩 반복해서 뜨는데 이건 사이트 문제일까요?
감사합니다 많은 도움이 되었습니다
댓글 남겨주셔서 감사합니다ㅎㅎ
안녕하세요 조코딩님 덕분에 영상을 통해서 이미지 크롤링 구현에 성공을 했습니다.
가능하시다면 유튜브 영상 크롤링 강좌도 올리실 계획이 있으신지 궁금합니다.
오 축하드립니다! 유튜브 영상 크롤링에 대한 강좌 계획은 없습니다
네이버는 못했지만 뒤에건 완료 ^^
2강 기다립니다~
1강 보시자마자 2강이 올라오셨군요ㅎㅎ 3강도 얼른 준비하겠습니다~
오... 파이썬 배워볼까 싶어 영상 찾아보는 중인데 재밌네요.
저 대학다닐때 TC 배운게 다인데.. 참 편리해진 세상입니다. ㅎㅎ
안녕하세요!! 지금 이 영상을 보면서 만들고 있는중인데요~ bs4가 없어, 다운을 명령창에서 다운을 받고 있는데, 거기에 새로운버전이 생겼다는 경고가 나타났습니다.이렇게(WARNING: You are using pip version 20.2.4; however, version 23.0.1 is available.) 이와같은 상황에서는 어떻게 해야하나요? 빠른 답변 부탁드립니다 감사합니다.
google_images_download라는 라이브러리가 존재하는지 몰랐네요. 항상 bs4으로 직접 구글이미지 크롤링코니 짜니 막혀서 실망했었는데, 덕분에 좋은것 알아갑니다.
감사합니다! 그러나 요즘 google 업데이트로 라이브러리가 막힌 것 같아요ㅠ 얼른 라이브러리가 수정되었으면 좋겠네요..
Excellent
감사합니다ㅎㅎ
죄송합니다.. 하나 더 질문 드리겠습니다. (너무 기초적인 질문인거 같아서 죄송합니다.)
앱 만드는 1번 방법(네이티브 방법)과 2번 방법(하이브리드)의 차이점을 알고 싶습니다.
앱 제작 난이도가 가령 1단계부터 10단계까지로 나뉜다면.. 제작의 한계점이 서로 다르다던가...하는 게 있을까요?
하이브리드로도 네이티브 앱이 구현 할 수 있는 모든 기능 or 디자인 등등을 제작 할 수 있다면, 굳히 1번 방법을 택할 이유가 없을 듯 해서요..
하이브리드앱의 단점은 성능과 커스터마이징 할 수 있는 기능 입니다. 네이티브는 하이브리드에 비해 각각의 OS에 맞게 만드는 것이기에 더 속도도 빠르고 제어할 수 있는 부분도 많습니다. 자세한 사항은 관련 내용을 작성하신 분의 블로그를 첨부드리겠습니다! (2013년 게시글이라 요즘에는 더 많이 개선되기는 하였을 것 입니다.)
m.blog.naver.com/PostView.nhn?blogId=seban21&logNo=70181217386&proxyReferer=https%3A%2F%2Fwww.google.com%2F
개발 난이도는 상대적인 것이라 어떤 것이 더 어렵다고 말하기는 어렵겠네요..
매번 볼때마다 새롭다는걸 느끼네요 잘보고가요!!
좋게 봐주셔서 감사합니다 chang hun g님!ㅎㅎ
누구나 도와주세요 ㅠㅠ
Beautiful Soup 위키백과에 있는 예제는 따라서 복붙하니까 잘 돌아가는데 네이버 예제를 돌리니까 잘 안되네요..
제가 네이버 열었을때는 이런 HTML 코드가 있더라구요: 박군 == $0
결국 급상승검색어는 span 안에 keyword 클래스를 찾으면 될거라 생각하고 고친 코드가:
from bs4 import BeautifulSoup
from urllib.request import urlopen
response = urlopen('www.naver.com/')
soup = BeautifulSoup(response, 'html.parser')
for anchor in soup.select('span.keyword'):
print(anchor)
를 돌리면 아무것도 리턴이 안되네요.. 심지어 span.keyword말고 그냥 .keyword를 써도 아무것도 나오지 않구요, 그냥 span만 쓰면 리스트가 나오긴 하지만 제가 찾으려고 하는 급상승검색어 라인은 찾아지지가 않네요.
제가 뭘 잘못하고 있는걸까요? ㅠㅠ
조코딩님... 항상 응원합니다....
응원 감사합니다!ㅎㅎ
어색한 손짓에 중독되간다...♡
모블moble ㅋㅋㅋㅋㅋ 감사합니다
Unfortunately all 20 could not be downloaded because some images were not downloadable. 0 is all we got for this search filter! 구글 이미지 검색 코드 복붙해서 실행했는데 세개검색어 모두 이런 메시지가 뜨고 메시지 검색이 안되네요. 한 번 확인해 주실래요. 변경하지 않았는데요.
[※ 네이버/구글 업데이트로 실시간 검색어 크롤링이 현재 영상 속 방법으로는 불가능해졌습니다 ※]
1. 네이버 검색 순위 크롤링
원래는 urlopen을 수행할때 검색어가 포함되어 있어서 바로 가져오면 됐지만, 이제는 페이지를 다 로딩한 후 검색어를 동적으로 불러오니 위의 코드로 가져오는 것은 불가능합니다. 셀레니움등 추가 도구를 사용해도 되지만 현재 zum은 문제 없이 동작하니 줌에서 연습해보시는 것도 좋을 것 같습니다.
줌 홈페이지 : m.zum.com/#!/home
혹은 영롄님이 공유해주신 아래와 같은 방법도 있습니다!
code-nen.tistory.com/111
2. 구글 이미지 크롤링
구글 검색에서도 최근 업데이트가 있어 라이브러리가 잠시 막혔습니다..
따라서 해당 라이브러리가 새로운 구글 검색 방식에 맞추어 업데이트가 되기 전에는 재대로 동작하지 않을 것 같습니다. 아래는 관련 이슈는 링크를 통해 확인해주시기 바랍니다.
github.com/hardikvasa/google-images-download/issues/280#issuecomment-555182389
대안으로 joygoround님께서 네이버 이미지 크롤링으로 해결하신 과정이 있어서 블로그 링크첨부드립니다. velog.io/@joygoround/%EC%A1%B0%EC%BD%94%EB%94%A9-%EC%99%84%EC%84%B1%ED%98%95-%EC%84%9C%EB%B9%84%EC%8A%A4-%EB%A7%8C%EB%93%A4%EA%B8%B0-1
추가로 Jusung님이 작성해주신 깔끔한 코드도 있는데 참고해주세요!
jusunghan.github.io/2020/05/17/naver-image-crawling/
라이브러리를 바꾸어 되도록 만든 분이 있습니다! 아래 블로그를 참고하시면 영상 속 라이브러리를 사용하실 수 있습니다ㅎㅎ
tiktikeuro.tistory.com/174
안녕하세요! 영상 보면서 하나씩 따라하고 있는데 전 맥유저라서 그런지 키보드 위쪽 버튼? 이 정확히 어떤 키보드를 눌러야 작동되는건가요...??
정말 쉽게 설명해주시네요..^^
좋은 영상 감사합니다.
좋게 봐주셔서 감사합니다!ㅎㅎ