(*중요) 현재 셀레니움 업데이트로 최신 버전은 문법이 달라졌습니다. 아래 명령어를 통해 구버전을 설치하시고 진행해주세요!! pip3 uninstall selenium pip3 install selenium==3.141 이미지를 다운로드 하실때 나무위키 등 특정 사이트의 경우 봇이 접근하는 것을 차단해서 urllib.request.urlretrieve(imgUrl, "test.jpg") 줄에서 urllib.error.HTTPError: HTTP Error 403: Forbidden가 뜨실 수 있습니다. 그럴때는 아래와 같이 브라우저 인것 처럼 속이는 header를 추가하시면 정상적으로 크롤링 할 수 있습니다! opener=urllib.request.build_opener() opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')] urllib.request.install_opener(opener) urllib.request.urlretrieve(imgUrl, "test.jpg") 완성 코드 보기 ▶github.com/youtube-jocoding/python-selenium-google-image-crawling/blob/master/google.py
DevTools listening on ws://127.0.0.1:11573/devtools/browser/e6f3603c-5672-48e5-a721-68cfc3f31799 [27668:8660:1221/191834.009:ERROR:device_event_log_impl.cc(211)] [19:18:34.008] USB: usb_device_handle_win.cc:1020 Failed to read descriptor from node connection: 시스템에 부착된 장치가 작 동하지 않습니다. (0x1F) [27668:8660:1221/191834.019:ERROR:device_event_log_impl.cc(211)] [19:18:34.018] Bluetooth: bluetooth_adapter_winrt.cc:1073 Getting Default Adapter failed. 이런 오류는 어떻게 처리해야 할까요?
6분 정도에 크롬드라이버를 디렉토리에 추가하는 부분이 나오는데, 제 경우는 셀레니움 폴더 안에 크롬드라이버를 넣어도 인식을 못하더라구요. 그래서 임시방편으로 절대참조로 셀레니움 폴더 내에서 크롬드라이버를 넣어 사용하다가, 어디에서 상위 폴더에 넣어서 쓰는걸 봤습니다. 해당 영상처럼 하면 JOCODING 폴더네요. 절대참조로 하면 OUTPUT으로 디버깅했을때, 왠지 모르지만 줄수가 엄청 늘어나서 매우 귀찮더라구요... 저처럼 PATH 경로가 인식 안된다고 뜨는분은 참고해보세요.
암것도 모르는 문과생 맥미니로 무작정 따라하는데 ㄹㅇ 코드 한 줄마다 오류가 나서 컴퓨터 열두시간 붙잡으면서 구글링하고 해결해가면서 따라했어요 무식했지만 덕분에 왜 오류가 나고, 그 오류가 대강 어느 코드에서 발생했는지, 눈에 익고 있어요. 코딩도 이젠 덜 무섭고요 너무 뿌듯합니다ㅠㅠ 조코딩님 정말 감사해요! 다음 영상으로 고고 (๑•̀ㅅ•́)و✧
저는 성공하고 이제 자러갑니다~! 그동안 조코딩님 영상 다 봤는데 실제로 처음부터 끝까지 따라해본건 오늘이 처음이었어요. 영상 시간보다 훨씬 오래 걸렸지만 재밌었습니다. 내일 또 해보라면 못하겠지만요ㅋㅋ 다른 영상들도 다시 보면서 실습해보겠습니다. 완전 비전공자인 저에게 멋진 꿈 주셔서 감사합니다. 훗날 저도, 언젠가는 또 다른 모습으로 변할 것 같습니다. 감사합니다.
@@jocoding 이렇게 나옵니다 activate : 'activate' 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프로그램 이름으로 인식되지 않습니다. 이름이 정확한지 확인하고 경로가 포함된 경우 경로가 올바른지 검증한 다음 다시 시도하십시오. 위치 줄:1 문자:1 + activate + ~~~~~~~~ + CategoryInfo : ObjectNotFound: (activate:String) [], CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException
Suggestion [3,General]: activate 명령이 현재 위치에 있지만 이 명령을 찾을 수 없습니다. Windows PowerShell은 기본적으로 현재 위치에서 명령을 로드하지 않습니다. 이 명령을 신뢰하는 경우 대신 ".\activate"을(를) 입력하십시오. 자세한 내용은 "get-help about_Command_Precedence"를 참조하십시오
Power Shell로 설정되어있어서 그런 것 같네요! 아래 내용을 참고하여 cmd로 설정 변경이 필요합니다. somjang.tistory.com/entry/Windows-Visual-Studio-Code-%EC%9D%B4-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%97%90%EC%84%9C-%EC%8A%A4%ED%81%AC%EB%A6%BD%ED%8A%B8%EB%A5%BC-%EC%8B%A4%ED%96%89%ED%95%A0-%EC%88%98-%EC%97%86%EC%9C%BC%EB%AF%80%EB%A1%9C-%ED%95%B4%EA%B2%B0%EB%B0%A9%EB%B2%95
크롬드라이버가 드래그앤 드롭 안될 떄는 어떻게 해야 할까요? 직접 파일을 복사해서 폴더에 넣는 방법은 알겠지만 왜 제 컴에서는 안되는지 모르겠습니다 ㅠ 또 파이썬에서 재생 버튼을 누르면 python google.py가 잘 실행되는 것과 달리 (selenium) C:\Users\변가네\jocoding\selenium>& c:/Users/변가네/jocoding/selenium/Scripts/python.exe c:/Users/변가네/jocoding/selenium/google.py &은(는) 예상되지 않았습니다. 란 에러 메시지가 뜨네요. & 때문이라고 다른 댓글에 답변 달아주셨는데 &없이 실행될 수 있게 하는 방법이 있을까요..
가상환경 이 안만들어 지네요 python -m venv selenium 에서 1.처음에 오른쪽 클릭으로 붙여 넣었습니다.2. python은 노란색 -m은 회색으로 나오고 나머지는 힌색으로 표시되었습니다. 영상대로 python -m venv selenium -- 엔터해도 아무 변화가 없습니다. / 이전것이 바뀌어서 다시 python 가상환경 만들어 크롤링을 하려고 진도 나가던중 ... 앞의 내용으로 진도가 멈추었습니다. 제가 무엇을 잘못한걸까요 ? 가르쳐 주세요 조코딩님.
좋은 강의 항상 감사드립니다. 유튜브에서 적용시키며 스크롤이 안되서 이것저것 찾아보다보니 방법을 찾았습니다. 1. body를 클릭해야 스크롤 다운이 가능하다. ( 이방법 역시 안되더군요 ) 2. document.body -> document.documentElement 로 소스를 바꿔보니 잘 됩니다. 1, 2번 둘다 유튜브에서는 body가 적용안되게 해 놓은 것 같습니다.
2022.06.23 update 1. 스크롤 다하고 나서 창이 닫히는 경우: from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_experimental_option("detach", True) 2. find_element_by_something이 deprecated(사용 불가능)라며 작동 안 되는 경우: from selenium.webdriver.common.by import By 삽입 후 elem = driver.find_element(By.NAME, "q") imgs = driver.find_elements(By.CLASS_NAME, "Q4LuWd") 이런 방식으로 사용하시면 됩니다 :)
src가 찾는 부분에서 이미지의 올바른 주소를 못 가져오는 경우 imgUrl = driver.find_element_by_xpath("/html/body/div[2]/c-wiz/div[3]/div[2]/div[3]/div/div/div[3]/div[2]/c-wiz/div[1]/div[1]/div/div[2]/a/img").get_attribute('src') 로 코드를 바꿔보세요~
조코딩님! 덕분에 코딩이라는 학문?에 진입하게 되었습니다. 올리신 영상을 통해 크롤링을 스스로 깨우치고 배운지 일주일 만에 드디어 저 스스로 만들 수 있게 되었습니다. 정말 구글에 물어보면 답이 나오더라구요. 포기 하고 싶다가도 끝까지 해본 결과의 열매가 참 달게 느껴집니다. 감사합니다. 좋은 영상 올려주셔서 감사해요. 계속 구독하며 배우도록 할게요!
@@jocoding 조코딩님 실제로 vscode에서 실행해보니까 urllib.request.urlretrieve(imgUrl, "test.jpg") 줄에서 urllib.error.HTTPError: HTTP Error 403: Forbidden 라는 에러가 나오고 파일은 다운로드가 안되네요.. 어떻게 해야할까요..?
50개 그림 다운로드까지의 코드입니다. 에러나는 분들을 위해 올립니다. 1. 가상환경 만들기 2. 그림 다운로드 3. 스크롤 다운(자바스크립트 실행법) 4. try catch?except문 감사합니다. 많이 배웠습니다. from outcome import capture from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By import time import urllib.request # 에러나는 부분이 있어서 추가 options = webdriver.ChromeOptions() options.add_experimental_option("excludeSwitches", ["enable-logging"]) options.add_experimental_option("detach", True) # 브라우저 자동꺼짐 방지 # driver = webdriver.Chrome() # 아래처럼 드라이버에 옵션 적용 driver = webdriver.Chrome(options=options) # 위 부분 코드도 아래처럼 실행해야 되는 경우가 있습니다.(크롬 드라이버를 여러개 여러곳에 설치했을 경우) # 에러메시지 내용: selenium.common.exceptions.WebDriverException: Message: 'chromedriver.exe' executable needs to be in PATH. Please see chromedriver.chromium.org/home # driver = webdriver.Chrome(executable_path="D:\jocoding\selenium\chromedriver.exe", options=options) # 크롬드라이버를 어느 경로의 드라이버를 실행할지 정확히 명시해줘야 합니다. # 그런데 executable_path 이 옵션은 더이상 지원되지 않는다라는 메시지가 뜹니다. # 다른 방법은? 아래 3줄을 삽입해서 드라이버의 경로를 지정해야 하는 것 같습니다. # from selenium.webdriver.chrome.service import Service # 크롬드라이버 경로 지정을 위해 # ser = Service("D:\jocoding\selenium\chromedriver.exe") # (절대경로) ## ser = Service("selenium\chromedriver.exe") # 위 줄 코드는 이렇게 상대경로로 적어도 됩니다.(상대경로) # driver = webdriver.Chrome(service=ser, options=options) # 위와 같이 사용해야 하는 것 같습니다. driver.get("www.google.co.kr/imghp?hl=ko&ogbl") elem = driver.find_element(By.NAME, "q") elem.send_keys("조코딩") elem.send_keys(Keys.RETURN) images = driver.find_elements(By.CLASS_NAME, "rg_i.Q4LuWd") count = 1 for image in images: image.click() time.sleep(3) # 아래 에러 나는 부분이 있어서 try except문 추가 try: imgUrl = driver.find_element( By.CLASS_NAME, "n3VNCb").get_attribute("src") urllib.request.urlretrieve(imgUrl, str(count) + ".jpg") except: pass count = count + 1
# 아래는 전체 코드입니다. # 실행중 에러나는 부분을 수정했습니다. from outcome import capture from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By import time import urllib.request # 에러나는 부분이 있어서 추가 options = webdriver.ChromeOptions() options.add_experimental_option("excludeSwitches", ["enable-logging"]) # 터미널에 에러 메시지 나와서 설정 options.add_experimental_option("detach", True) # 브라우저 자동꺼짐 방지 (생략가능) options.add_argument('--start-maximized'); #브라우저가 최대화된 상태로 실행됩니다. (생략가능) options.add_argument('--start-fullscreen'); #브라우저가 풀스크린 모드(F11)로 실행됩니다. (생략가능) # driver = webdriver.Chrome() # 아래처럼 드라이버에 옵션 적용 driver = webdriver.Chrome(options=options) # 위 부분 코드도 아래처럼 실행해야 되는 경우가 있습니다.(크롬 드라이버를 컴퓨터의 여러곳에 여러개를 설치했을 경우) # driver = webdriver.Chrome(executable_path="D:\jocoding\selenium\chromedriver.exe", options=options) # 크롬드라이버를 어느 경로의 드라이버를 실행할지 정확히 명시해줘야 합니다. # 그런데 executable_path 이 옵션은 더이상 지원되지 않는다라는 메시지가 뜹니다. driver.get("www.google.co.kr/imghp?hl=ko&ogbl") elem = driver.find_element(By.NAME, "q") elem.send_keys("조코딩") elem.send_keys(Keys.RETURN) driver.save_screenshot("screenshot.png") # 이부분은 생략 가능, 그냥 연습삼아서 적음. # 스크롤 다운 SCROLL_PAUSE_TIME = 1 # Get scroll height last_height = driver.execute_script( "return document.body.scrollHeight") # 자바스크립트 코드 실행 while True: # Scroll down to bottom driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") # Wait to load page time.sleep(SCROLL_PAUSE_TIME) # Calculate new scroll height and compare with last scroll height new_height = driver.execute_script("return document.body.scrollHeight") if new_height == last_height: try: driver.find_element(By.CSS_SELECTOR, ".mye4qd").click() except: break last_height = new_height # 에러나서 스크롤 맨위로 이동하는 기능 추가 driver.execute_script("window.scrollTo(0, 0);") # 이미지 다운 images = driver.find_elements(By.CLASS_NAME, "rg_i.Q4LuWd") count = 1 for image in images: # 아래 에러 나는 부분이 있어서 try except문 추가 try: image.click() time.sleep(3) # imgUrl = driver.find_element(By.CLASS_NAME, "n3VNCb").get_attribute("src") imgUrl = driver.find_element( By.XPATH, "/html/body/div[2]/c-wiz/div[3]/div[2]/div[3]/div/div/div[3]/div[2]/c-wiz/div/div[1]/div[1]/div[3]/div/a/img").get_attribute("src") # /html/body/div[2]/c-wiz/div[3]/div[2]/div[3]/div/div/div[3]/div[2]/c-wiz/div/div[1]/div[1]/div[3]/div/a/img # 에러발생경우: 주소가 그림파일주소가 아닌 경우 > 리다이렉트되어 다른 주소로 이동하는 경우등 urllib.request.urlretrieve(imgUrl, str(count) + ".jpg") except: pass count = count + 1 driver.close() # [ 추가 ] # 요즘에 ChromeDriver를 따로 다운로드 하지 않고, 코드상에서 자동 설치되도록 하는 것이 있는 것 같습니다. # 검색: 셀레니움 크롬 드라이버 자동 업데이트 방법 # 위 검색어로 검색하면 나옵니다.
@@ptrnh7902 어떤 조건이 있어서 50개까지 나오는 것이 아닙니다. 처음에 검색하면 그림이 원래 50개까지 화면에 나옵니다. 더 많은 그림은 스크롤을 아래로 내리면 그림이 추가로 더 나오게 구글에서 만들어 놓았습니다. 아래 댓글(첫번째 아래 2번째 댓글)에 전체 코드도 달아 놓았습니다
코드를 진행하는데에는 문제가 없는데 아래와 같은 에러코드가 나와요 ㅠㅠ [1180:21812:0505/131025.058:ERROR:device_event_log_impl.cc(214)] [13:10:25.059] USB: usb_device_handle_win.cc:1054 Failed to read descriptor from node connection: 시스템에 부착된 장치가 작동하지 않습니다. (0x1F) 이 에러를 구글에 찾아서 거기에 나와있느대로 해결을 하려고 했습니다. 해결방법은 driver = webdriver() 위 코드를 options = webdriver.ChromeOptions() options.add_experimental_option("excludeSwitches", ["enable-logging"]) driver = webdriver(options=options) 이 걸로 바꿨는데 아래와 같으 오류가 나옵니다. "c:/Users/bc005/Desktop/파이썬 코딩/selenium_image_crawling/selenium/Scripts/python.exe" "c:/Users/bc005/Desktop/파이썬 코딩/selenium_image_crawling/selenium/google.py" Traceback (most recent call last): File "c:\Users\bc005\Desktop\파이썬 코딩\selenium_image_crawling\selenium\google.py", line 8, in driver = webdriver(options=options) TypeError: 'module' object is not callable 참고한 사이트를 보니까 이게 로그를 지우는 거라서 이 문제를 원천적으로 해결하는게 아닌것 같습니다. 그래서 다른 방법을 찾아보려고 구글링을 더 해봤는데 해결방법을 못찾았어요 ㅠㅠㅠ 혹시 이거 문제가 뭔지 아시나요? 코드 참고한 사이트 링크 남깁니다... (althoughh.tistory.com/82)
버전 문제일 수 있는데, driver.execute_script("window.scroll(0, document.body.scrollHeight);")만 실행 시, 무한루프가 돌지만, 뒤의 어떠한 명령문이 오더라도 스크롤이 중간에 멈추는 현상이 있습니다. time.sleep(Scroll_Pause_Time) 5초를 두어도 동일하니, 로딩시간의 문제는 아닌 것 같습니다. 다른 공부하시는 분들 참고해 주세요.
안녕하세요. 영상 잘 보았습니다~ 그런데 한 가지 궁금한게 있어서요... 내가 필요한 부분 구글에 검색해서 복사 붙여넣기 해서 사용을 하셨는데, 코드 하나하나 이해하는게 아니라 그냥 복사 붙여넣기 해서 사용하는게 코딩 공부하는데에 있어서 괜찮은걸까요? 그냥 편하게 사용하는게 나을까요 아님 하나하나 다 이해해보는게 나을까요?
조코딩님, 질문이 있는데요 1. find를 할때 왜 find_element_by_css_selector를 쓰죠? driver.find_element_by_class_name이게 아니고? 2. 클래스 이름을 웹에서 찾아서 넣어줄때, '.mye4qd' 이것 처럼 클래스 이름 앞에 왜 "." 을 붙여주나요?
1. driver.find로 쓰고 있습니다! 아래 완성 코드를 확인해주세요 :) github.com/youtube-jocoding/python-selenium-google-image-crawling/blob/master/google.py 2. CSS에서 클래스를 .으로 쓰고 아이디를 #으로 씁니다! css 문법을 만들때 정해놓은 규칙입니다. 아래 CSS 강의를 참고해주세요! ruclips.net/video/_YrXKxY8PTY/видео.html
이거 구름에서 해도 되는거 맞으려나요 ?ㅠㅠ 구름에서했을 때 root@goorm:/workspace/crawling# python google.py Traceback (most recent call last): File "/usr/local/lib/python3.7/site-packages/selenium/webdriver/common/service.py", line 76, in start stdin=PIPE) File "/usr/local/lib/python3.7/subprocess.py", line 775, in __init__ restore_signals, start_new_session) File "/usr/local/lib/python3.7/subprocess.py", line 1522, in _execute_child raise child_exception_type(errno_num, err_msg, err_filename) FileNotFoundError: [Errno 2] No such file or directory: 'chromedriver': 'chromedriver' During handling of the above exception, another exception occurred: Traceback (most recent call last): File "google.py", line 7, in driver = webdriver.Chrome() File "/usr/local/lib/python3.7/site-packages/selenium/webdriver/chrome/webdriver.py", line 73, in __init__ self.service.start() File "/usr/local/lib/python3.7/site-packages/selenium/webdriver/common/service.py", line 83, in start os.path.basename(self.path), self.start_error_message) selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see sites.google.com/a/chromium.org/ chromedriver/home 이런 에러가 나와요 !
디버그작업을 하였더니 selenium디렉토리로 갈수 있었습니다. 그런데 실제 동작을 하니 다음과 같은 메세지가 뜨고 폴더에 저장도 안되고 있습니다. cc:1048 Failed to read descriptor from node connection: 시스템에 부착된 장치가 작동하지 않습니다. (0x1F) 원인이 무엇일까요?
... 흔하게 올라오는 유머 이미지를 고화질 원본 자동화 하기. 구글 이미지 검색 쓴다 하더라도 해상도 높혀 놓는 트롤링들 때문에 최소한 딥러닝 분석이 필요하고 비싼 컴퓨터가 소비됨. 단순한 직선상에 샤프니스 임계값 출력해서 선호 이미지 나열한다고 치더라도 시행착오 많을 듯. 원콤에 다했으면 구글을 넘어섯을 듯.
4:30 초에 activate를 쳐도 이렇게 나오는데 이거 뭔가요 activate : 'activate' 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프로그램 이름으로 인식되지 않습니다. 이름이 정확 한지 확인하고 경로가 포함된 경우 경로가 올바른지 검증한 다음 다시 시도하십시오. 위치 줄:1 문자:1 + activate + ~~~~~~~~ + CategoryInfo : ObjectNotFound: (activate:String) [], CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException
(selenium) C:\leecoding\selenium>python google.py Traceback (most recent call last): File "C:\leecoding\selenium\google.py", line 4, in driver = webdriver.chrome() TypeError: 'module' object is not calla 이런 문구가 뜨면서 진행이 않되고 있습니다. 컴퓨터를 포맷도 해봤는데 ㅠㅠ 똑같은 문구만 계속 뜨고 있습니당. ㅠㅠ
계속해서 따라하다가 새로운 버전으로는 도저히 답을 못찾겠어서 pip3 uninstall selenium pip3 install selenium==3.141로 강의 영상이랑 selenium 버전 맞추니까 겨우 해결됐네요. "USB: usb_device_handle_win.cc:1048 Failed to read descriptor from node connection: 시스템에 부착된 장치가 작동하지 않습니다. (0x1F)" 이 오류는 계속해서 떠서 구글링 해서 나오는 코드들 작성해보고 했는데 안됐다가 노트북에 연결된 마우스, 키보드 다 빼고 하니까 안뜨더라고요. 근데 떠도 끊김없이 잘 진행됩니다! 새로 하시는 분들 있으면 참고하시면 좋을거 같아요!
hello i am anup i am from bangladesh your video is very helpful but i have been working on this for two years now i am not able to do some things at the moment please if you can help me or where to get it or how to do it
전부 해결 했습니다! 조코딩님의 코드에서 약간 수정해서 처음에 검색어와 다운로드할 사진의 개수를 입력하고 경로만 바꿔주면 자동으로 파일을 생성해서 크롤링을 수행하고 검색어로 파일을 만드는 기능을 넣어보았습니다! 기초만 알았던 파이썬으로 직접 무언가를 해보았다는게 너무 신기하고 감격스럽네요 조코딩님 덕분입니다! 제가 만든 코드 올려두고 가겠습니다! github.com/Junga-a/jungcode/blob/main/google.py
(*중요) 현재 셀레니움 업데이트로 최신 버전은 문법이 달라졌습니다. 아래 명령어를 통해 구버전을 설치하시고 진행해주세요!!
pip3 uninstall selenium
pip3 install selenium==3.141
이미지를 다운로드 하실때 나무위키 등 특정 사이트의 경우 봇이 접근하는 것을 차단해서 urllib.request.urlretrieve(imgUrl, "test.jpg") 줄에서
urllib.error.HTTPError: HTTP Error 403: Forbidden가 뜨실 수 있습니다. 그럴때는 아래와 같이 브라우저 인것 처럼 속이는 header를 추가하시면 정상적으로 크롤링 할 수 있습니다!
opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
urllib.request.install_opener(opener)
urllib.request.urlretrieve(imgUrl, "test.jpg")
완성 코드 보기
▶github.com/youtube-jocoding/python-selenium-google-image-crawling/blob/master/google.py
셀레니음을 이용한 네이버 실시간 보기를 하려고 합니다
따라할수 있는 강좌 알려주세요
조코딩님 코드잇이라는 프로그래밍 배우는 사이트 어떻게 생각하시나요
name 'urllib' is not defined 라는 오류가 뜨네요ㅠㅠㅠ어떻게 해결할 수 있을까요??
정말 감사합니다. 항상 좋은 영상 감사드립니다. 행복하세요~!!
DevTools listening on ws://127.0.0.1:11573/devtools/browser/e6f3603c-5672-48e5-a721-68cfc3f31799
[27668:8660:1221/191834.009:ERROR:device_event_log_impl.cc(211)] [19:18:34.008] USB: usb_device_handle_win.cc:1020 Failed to read descriptor from node connection: 시스템에 부착된 장치가 작
동하지 않습니다. (0x1F)
[27668:8660:1221/191834.019:ERROR:device_event_log_impl.cc(211)] [19:18:34.018] Bluetooth: bluetooth_adapter_winrt.cc:1073 Getting Default Adapter failed.
이런 오류는 어떻게 처리해야 할까요?
6분 정도에 크롬드라이버를 디렉토리에 추가하는 부분이 나오는데, 제 경우는 셀레니움 폴더 안에 크롬드라이버를 넣어도 인식을 못하더라구요.
그래서 임시방편으로 절대참조로 셀레니움 폴더 내에서 크롬드라이버를 넣어 사용하다가, 어디에서 상위 폴더에 넣어서 쓰는걸 봤습니다.
해당 영상처럼 하면 JOCODING 폴더네요.
절대참조로 하면 OUTPUT으로 디버깅했을때, 왠지 모르지만 줄수가 엄청 늘어나서 매우 귀찮더라구요...
저처럼 PATH 경로가 인식 안된다고 뜨는분은 참고해보세요.
신세계네요.
말대로 꿈을 현실로 구현하다니요. 언어로된 적절한 문장과 치밀한 논리가 만나면 꿈을 이룰것같습니다. 감사합니다.
암것도 모르는 문과생 맥미니로 무작정 따라하는데 ㄹㅇ 코드 한 줄마다 오류가 나서 컴퓨터 열두시간 붙잡으면서 구글링하고 해결해가면서 따라했어요
무식했지만 덕분에 왜 오류가 나고, 그 오류가 대강 어느 코드에서 발생했는지, 눈에 익고 있어요. 코딩도 이젠 덜 무섭고요
너무 뿌듯합니다ㅠㅠ 조코딩님 정말 감사해요! 다음 영상으로 고고 (๑•̀ㅅ•́)و✧
오 완성 축하드립니다!!ㅎㅎ
대단하십니다. 공부하는 방법과 해결능력을 알려주는 조코딩 최고의 방송입니다. 감사합니다
“외울 필요없이 검색 ....” 👍👍👍👍👏👏👏👏
좋게 봐주셔서 감사합니다!ㅎㅎ
조코딩을 통해서 파이썬에 입문하고, 영상을 보면 볼수록 빠져 들게 되네요~이해하기 쉽게 설명을 잘해 주셔서 그런듯 합니다~많이 배우고 갑니다~늘 감사해요~👍👍👍👏👏
오 감사합니다!ㅎㅎ 앞으로 더 도움을 드릴 수 있는 유익한 영상들 많이 준비하겠습니다!
넘 쉽게 알려주셔서 감사합니다. 최고의 강의입니다. 덧글도 일일이 다 달아주시고 역시 명불허전 조코딩채널이네요!!
좋게 봐주셔서 감사합니다!ㅎㅎ
와 성공했어요 지금껏 본 강의중에 초보자 입장에서 가장 이해하기 쉬운 강의인것 같아요! 앞으로도 좋은 강의 부탁드려요 감사합니다!
오 축하드립니다! 감사합니다ㅎㅎ
코딩도 모르고 파이썬도 모르는데 영상만봐도 할수있을거같은 자신감 뭐죠...짱이네요 조코딩님
감사합니다ㅎㅎ
좋은 영상 감사합니다.
영상에서도 말씀하신것 처럼 좋은 개발자라고 해서 코드를 많이 외우고 있는게 아닌
검색을 통해서 자신이 원하는 코드를 찾아서 입력하는것이 가장 중요한 부분인거 같습니다.
그리고 검색을 할때는 한글보다는 영어로 검색 하시는거 잊지마세요.
저는 성공하고 이제 자러갑니다~! 그동안 조코딩님 영상 다 봤는데 실제로 처음부터 끝까지 따라해본건 오늘이 처음이었어요.
영상 시간보다 훨씬 오래 걸렸지만 재밌었습니다. 내일 또 해보라면 못하겠지만요ㅋㅋ 다른 영상들도 다시 보면서 실습해보겠습니다.
완전 비전공자인 저에게 멋진 꿈 주셔서 감사합니다. 훗날 저도, 언젠가는 또 다른 모습으로 변할 것 같습니다. 감사합니다.
오 성공하신 것을 축하드립니다!ㅎㅎ 코딩 공부 계속 화이팅입니다! :)
안되는거 오류 찾고 해결하고 며칠만에 드디어 성공했네요~ 휴~
조코딩님의 영상을 몇개만 마스타하면 정말 생각하는데로 살 수 있을것 같네요~ 최고입니다!
감사합니다!ㅎㅎ 이번 강의를 따라해보시면 웹 브라우저로 할 수 있는 웬만한 것들은 다 자동화가 가능합니다
@@jocoding 유익한 기능을 오토 기능을 활용해서 수익을 쉽게 낼수 있도록 열공해야겠어요^^
셀레니움 최신버전은 크롬드라이버도 안깔아도 되고 이 영상을 찍을때와 너무나도 문법이 달라져서 한 번 새로 정리를 해 보심이 어떤지요? ㅎㅎ 다른 영상들을 보면서 구현은 했지만 지금 영상참고하면 첫줄부터 막힙니다. ㅠㅠ
처음에 코딩국룰 그장면 왜캐 편안하면서 웃기죠 ㅋㅋㅋㅋㅋ
이정도니까 이분이 싫어요가 없는거임 ㄷㄷ
좋게 봐주셔서 감사합니다ㅎㅎ 그런데 이제는 하나 생겼네요ㅠ
@@jocoding ㅇㅅㅇ
@@ender9541 니가 눌렀냐?
저도 개발자로 20년가까이 살고 있지만 오늘도 배움을 받고 갑니다 ㅎㅎ 감사합니다
오ㅎㅎ 좋게 봐주셔서 감사합니다 :)
배움을 받고 X 배우고 O
@@hhyy2500 어쩌라고
개발자가 보기에도 너무좋타
좋게 봐주셔서 감사합니다!ㅎㅎ
와 유익합니다
진정한 유튜버이십니다.
감사합니다!ㅎㅎ
맨날 자바스크립트만 하다가 파이썬 처음 해보는데 너무 재밌습니다 ㅠ
ㅋㅋ 파이썬 꿀잼입니다!
예외처리까지 편안합니다~ 올라오는 영상 잘 보고있습니다~
오 감사합니다!ㅎㅎ
정말 알기쉽게 설명을 잘 해주시네요~유용한 정보 감사합니다. 구글 맵에서 가게정보들을 크롤링하는 영상도 만들어주세요~~~
유용하게 봐주셔서 감사합니다!ㅎㅎ 구글 맵 크롤링은 아래 게시물을 참고하시면 도움이 되실 것 같아요!
egloos.zum.com/mcchae/v/11281390
@@jocoding 감사합니다. ^^ 구글맵 정보는 API 라는걸 써야 하나봐요?
천천히 쉽게 설명 잘해주시네요..감사히 잘 봤습니다.
좋게 봐주셔서 감사합니다!ㅎㅎ
혹시 셀레니움 패스 못 찾는다는 오류가 뜨신다면
driver = webdriver.Chrome(executable_path='본인 디렉토리/chromedriver') 하시면 됩니다.
와 감사합니다
파이선 배운김에 관련영상 다 달려보겠습니더
무직 비전공자가 돈버는그날까지 화..팅..
감사합니다! 구현했는데 잘 돌아가내요 한줄한줄 코드설명 해주셔서 감사합니다
조코딩님 안녕하세요 좋은 강의 올려주셔서 감사합니다.
궁금한점이 있습니다.
영상대로 환경설정까지 마쳤는데 Scripts 폴더에서 activate가 안되네요...
혹시 무슨 문제인지 여쭤봐도 될까요? 저는 windows 쓰고 있습니다!
감사합니다!!
ruclips.net/video/4DzGOpsT3bw/видео.html
위 영상의 6분 50초 부근의 cmd로 설정하는 것을 따라해서 바꿔보신 후 시도해보세요!
감사합니다 웹 크롤링 3일 어케하나 보고있더니 올라와있네요.
당일 보고 지금까지 유튜브 목록에 두고 작업하다가 지금 따라하네요;;
감사합니다.
오 잘됐군요!ㅎㅎ 댓글 감사합니다
python -m venv selenium 으로 가상환경 생성을 하려고 하는데 터미널에다가 이렇게 입력을 하면 밑에줄에 Python이라는 글자가 찍히고 가상환경은 생성되지 않습니다... 어떡해야하나요 ? ㅠ
ㄹㅇ 저도 그럼
구독자 천명때부터 봤는데 영상퀄리티랑 알기쉽게 설명해주셔서 떡상 할줄알았습니다. 구독자 100만까지 금방 가능할꺼 같습니다 화이팅.!
와 완전 초기 구독자시군요!ㅎㅎ 구독해주셔서 감사합니다 :) 앞으로도 유익한 영상 계속 올리겠습니다!
activate 했는데 source: no such file or directory: 이렇게 뜨네요ㅠㅠ
강의 완젼 좋아요 ^^ 귀에 쏙쏙 들어옵니다
4:30 에 activate를 쳤느데 오류가 떠서 안됩니다ㅠㅠ
혹시 오류 메세지가 어떻게 되시나요?
@@jocoding 이렇게 나옵니다
activate : 'activate' 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프로그램 이름으로
인식되지 않습니다. 이름이 정확한지 확인하고 경로가 포함된 경우 경로가 올바른지 검증한 다음 다시
시도하십시오.
위치 줄:1 문자:1
+ activate
+ ~~~~~~~~
+ CategoryInfo : ObjectNotFound: (activate:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException
Suggestion [3,General]: activate 명령이 현재 위치에 있지만 이 명령을 찾을 수 없습니다. Windows PowerShell은 기본적으로 현재 위치에서 명령을 로드하지 않습니다. 이 명령을 신뢰하는 경우 대신 ".\activate"을(를) 입력하십시오. 자세한 내용은 "get-help about_Command_Precedence"를 참조하십시오
Power Shell로 설정되어있어서 그런 것 같네요! 아래 내용을 참고하여 cmd로 설정 변경이 필요합니다.
somjang.tistory.com/entry/Windows-Visual-Studio-Code-%EC%9D%B4-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%97%90%EC%84%9C-%EC%8A%A4%ED%81%AC%EB%A6%BD%ED%8A%B8%EB%A5%BC-%EC%8B%A4%ED%96%89%ED%95%A0-%EC%88%98-%EC%97%86%EC%9C%BC%EB%AF%80%EB%A1%9C-%ED%95%B4%EA%B2%B0%EB%B0%A9%EB%B2%95
@@jocoding 감사합니다
@@jocoding 감사합니다. 링크보고 해결하였습니다 :)
영상 보면서 또 한번 느낀게 내가 진짜 씹틀딱이구나하는거....
무려 RPA 코딩이 이렇게 쉬운 시대에 살고있다니... 환경설정 속도에서부터 지렸습니다
아마 파이썬 아예 모르는 사람도 이영상 하나면 뚝딱 가능할듯
크롬드라이버가 드래그앤 드롭 안될 떄는 어떻게 해야 할까요? 직접 파일을 복사해서 폴더에 넣는 방법은 알겠지만 왜 제 컴에서는 안되는지 모르겠습니다 ㅠ
또 파이썬에서 재생 버튼을 누르면 python google.py가 잘 실행되는 것과 달리
(selenium) C:\Users\변가네\jocoding\selenium>& c:/Users/변가네/jocoding/selenium/Scripts/python.exe c:/Users/변가네/jocoding/selenium/google.py
&은(는) 예상되지 않았습니다. 란 에러 메시지가 뜨네요. & 때문이라고 다른 댓글에 답변 달아주셨는데 &없이 실행될 수 있게 하는 방법이 있을까요..
github.com/microsoft/vscode-python/issues/13466
vscode 업데이트 후 이런 문제가 생긴 것 같은데 위 이슈를 확인해주세요!
정말 최고입니다~!! 25년전 중학교때 C언어 배우다가 포기하지만 않았어도....ㅠ.ㅠ
감사합니다!ㅎㅎ 중학생이 C언어 배우기에는 너무 어려운 것 같아요ㅠ
가상 환경을 실행하는 'activate'명령어를 사용하면 빨간색 글씨로 오류가 뜹니다 어떡하죠??
2개월 전이네.... 찾았는데 터미널 설정 cmd로 하면 됩니다. 터미널 관련 블로그랑 영상 참조하면 그부분이 잘 못 된 것 같더라구요! 화이팅입니다~
@@jaykang8941 ???????????? 뭔지 모르겠다유유유유유ㅠㅠㅠㅠㅠㅠ
5:31 감사해요!!!! 완전 흥미롭고 재미있어요!!!!!
재미있게 봐주셔서 감사합니다ㅎㅎ
가상환경 이 안만들어 지네요 python -m venv selenium 에서 1.처음에 오른쪽 클릭으로 붙여 넣었습니다.2. python은 노란색 -m은 회색으로 나오고 나머지는 힌색으로 표시되었습니다.
영상대로 python -m venv selenium -- 엔터해도 아무 변화가 없습니다. / 이전것이 바뀌어서 다시 python 가상환경 만들어 크롤링을 하려고 진도 나가던중 ... 앞의 내용으로 진도가 멈추었습니다.
제가 무엇을 잘못한걸까요 ? 가르쳐 주세요 조코딩님.
저도 그러네요 ㅣㅠㅠ...
hianna.tistory.com/349
cmd로 터미널을 변경하고 시도해보세요!
@@jocoding cmd 변경까지는 되었는데, 여전히 python m venv selenium - 엔터해도 아무 변화가 없습니다 ㅠㅠ. Python 설치도 다시했는데...
처음부터 막히니...답답하네요.. 바보같고...
이제까지 본 강의 중 젤 쉬운 설명입니다 감사합니다! ㅜㅜ
감사합니다!ㅎㅎ
activate로 이동하는 것 부터 자꾸 오류가 나네요... 경로에 잘못된 문자가 포함되 있다고 떠요. 오타인가 해서 여러번 고쳐적었는데도 계속 같은 오류만 뜨네요.. 어떻게 해야하죠...?
저도 거기서 오류가 나요 혹시 해결하셨나요?
@@RUclips액또 아직 못했어요ㅠㅠ... 그래서 직접 손수 하고 있답니다!
@@cixixixioo-x8u 터미널에서 powershell창 말고 cmd 창에서 하니깐 해결 되었어요!!
@@creators6960 cmd로 어떻게 바꾸죠? 저도 그거보고 바꾸려고 했는데 못했거든요ㅠㅠ
@최강연
ruclips.net/video/4DzGOpsT3bw/видео.html
위 영상 6분 50초 부근을 보시면 방법이 나옵니다!
좋은 강의 항상 감사드립니다.
유튜브에서 적용시키며 스크롤이 안되서 이것저것 찾아보다보니 방법을 찾았습니다.
1. body를 클릭해야 스크롤 다운이 가능하다. ( 이방법 역시 안되더군요 )
2. document.body -> document.documentElement 로 소스를 바꿔보니 잘 됩니다.
1, 2번 둘다 유튜브에서는 body가 적용안되게 해 놓은 것 같습니다.
감사합니다 한참 헤맸네요ㅠ
2022.06.23 update
1. 스크롤 다하고 나서 창이 닫히는 경우:
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_experimental_option("detach", True)
2. find_element_by_something이 deprecated(사용 불가능)라며 작동 안 되는 경우:
from selenium.webdriver.common.by import By 삽입 후
elem = driver.find_element(By.NAME, "q")
imgs = driver.find_elements(By.CLASS_NAME, "Q4LuWd")
이런 방식으로 사용하시면 됩니다 :)
와우 꿀팁 공유 감사드립니다!!
왜 activate에서 오류가 나죠?
저도 거기서 오류가 나요
혹시 해결하셨나요?
ㄴㄴ ㅠㅠ
어떤 오류가 나시나요? 오류 메세지를 보면 해결방안을 알 수 있습니다!
영상 보고 따라하니까 잘 됩니다!!. 중간중간 막히기도 했는데 구글에 에러코드 난거 복사해서 검색하거나 댓글 달아놓으신거 보고 해결했어요. 정말 감사해서 댓글남깁니다!
오 해결되셨다니 다행입니다!ㅎㅎ 감사합니다
activate입력하니까 빨간글씨로 이렇게 나와요ㅠ
: 'activate' 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프로그램 이름으로 인식되지 않습니다. 이름이 정확한지 확인하고 경로가 포함된 경우 경로가
올바른지 검증한 다음 다시 시도하십시오
ruclips.net/video/4DzGOpsT3bw/видео.html
위 영상 6분 50초 부근에 나오는 것 처럼 cmd 환경으로 설정을 맞춰주시면 똑같이 되실겁니다!
영상 즐겁게 시청했습니다:)
유익한 정보를 얻게되어 기쁩니다.
이해하기 편하게 설명해주셔서 한번에 알아들었습니다.
나머지는 실습해보면서 시행착오를 겪어야 겠지요..
좋은하루보내세요:)
파이썬 기초 학습 후 크롤링도 안되고 뭘 어떻게 해야 할지 , 어떻게 활용할 수 있을지 몰라 막막했었는데 이렇게 실용적인 강의를 올려주시니 너무 도움이 많이 됐습니다. 포기하려고 했는데 한줄기 빛이 보이는 듯 하네요. 정말 감사합니다^^
조코딩님 항상 초보자 관점에서 쉽게 잘 알려주셔서 감사합니다 ~
좋게 봐주셔서 감사합니다!ㅎㅎ
마침 셀레니움 혼자 해보고 있었는데 감사합니다!
오 마침 잘됐군요! 댓글 감사합니다!😄
너무 고맙습니다 고맙습니다
감사합니다ㅎㅎ
와.....영상 보고 어떤 느낌이었냐면 손흥민 번리전 70M 드리블하고 골 넣을때까지 과정을 보는 것 같았어요. 짜릿합니다. ㅎㅎ 조코딩=손흥민 화이팅
src가 찾는 부분에서 이미지의 올바른 주소를 못 가져오는 경우 imgUrl = driver.find_element_by_xpath("/html/body/div[2]/c-wiz/div[3]/div[2]/div[3]/div/div/div[3]/div[2]/c-wiz/div[1]/div[1]/div/div[2]/a/img").get_attribute('src')
로 코드를 바꿔보세요~
오 꿀팁 공유 감사합니다ㅎㅎ
조코딩님 감사합니다. 이런 분야에 전혀 지식이 없는상태에서 파이썬 응용부문 처음 따라 해보는데 중간 중간 막히는 부분이 많았고 시간이 많이 걸렸지만, 이미지 다운로드까지 결국 완성했습니다. ㅠㅠ (이상한 에로가 뜨는데 되긴 하더라구요) 앞으로도 잘부탁드리겠습니다!!
오 성공 축하드립니다! 앞으로도 화이팅입니다 :)
대박입니다 조코딩님
완성코드 복붙하면 이미지 다운로드가 안되는 경우가 있는데 이미지 xpath 경로를 다시 copy해서 가져오시면 해결됩니다
조코딩님! 덕분에 코딩이라는 학문?에 진입하게 되었습니다. 올리신 영상을 통해 크롤링을 스스로 깨우치고 배운지 일주일 만에 드디어 저 스스로 만들 수 있게 되었습니다. 정말 구글에 물어보면 답이 나오더라구요. 포기 하고 싶다가도 끝까지 해본 결과의 열매가 참 달게 느껴집니다. 감사합니다. 좋은 영상 올려주셔서 감사해요. 계속 구독하며 배우도록 할게요!
오 스스로 완성하신 것을 축하드립니다!ㅎㅎ 앞으로도 코딩 공부 화이팅입니다 :)
코딩공부 하고싶어지게 하는 영상이네요.
그렇게 봐주셔서 감사합니다!ㅎㅎ
좋은 정보 얻어갑니다. 최고!
감사합니다ㅎㅎ
파이썬은 ㄹㅇ 전설이다. 속도만 빨랏으면 어지간한건 다될듯
파이썬 ㄹㅇ 좋습니다
귀한 영상 감사합니다!
아래글보니.. 피드백도 잘해주시고 고생많으십니다.~
감사합니다!!ㅎㅎ
정말 노력하신게 영상으로도 보입니다!!
2번째 이미지부터 크롤링을 하고싶으면 어떻게하나요?
정말 감사드립니다!
걍 천재같음
정말 최고의 영상입니다 :)
감사합니다!ㅎㅎ
최고💯
오 이번엔 셀레니움이 나오네요
셀레니움에 관심이 있었는데 이걸 응용해서 다른것도 만들어 봐야겠어요!!
오 좋습니다! 응용하시면 브라우저로 할 수 있는 모든 것들을 다 자동화하실 수 있어요 :)
@@jocoding 조코딩님 실제로 vscode에서 실행해보니까
urllib.request.urlretrieve(imgUrl, "test.jpg") 줄에서
urllib.error.HTTPError: HTTP Error 403: Forbidden 라는 에러가 나오고 파일은 다운로드가 안되네요..
어떻게 해야할까요..?
서버가 페이지 접근 허용을 거부한 것인데 아마 특정 이미지만 그렇지 않을까 싶어요!
403이 뜬 url 주소로를 print로 찍어보시고 접근 가능한지 확인해보세요! time.sleep()시간이 충분하지 않았을 수 있을 것 같습니다.
@@jocoding 엇.. [0]을 [1]로 바꾸니까 1번째 사진이 다운로드 되네요!
[2]하면 2번째 사진이 다운로드 되고요
0부터가 아니라 1부터 해야 하나봅니다!
답변 감사드립니다!
0번 인덱스의 사진에 뭔가 문제가 있었나보군요! 여러장 받을때는 try except로 예외처리 해주어 오류나는 부분은 건너뛰고 진행하시면 됩니다 :)
50개 그림 다운로드까지의 코드입니다.
에러나는 분들을 위해 올립니다.
1. 가상환경 만들기
2. 그림 다운로드
3. 스크롤 다운(자바스크립트 실행법)
4. try catch?except문
감사합니다. 많이 배웠습니다.
from outcome import capture
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time
import urllib.request
# 에러나는 부분이 있어서 추가
options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["enable-logging"])
options.add_experimental_option("detach", True) # 브라우저 자동꺼짐 방지
# driver = webdriver.Chrome()
# 아래처럼 드라이버에 옵션 적용
driver = webdriver.Chrome(options=options)
# 위 부분 코드도 아래처럼 실행해야 되는 경우가 있습니다.(크롬 드라이버를 여러개 여러곳에 설치했을 경우)
# 에러메시지 내용: selenium.common.exceptions.WebDriverException: Message: 'chromedriver.exe' executable needs to be in PATH. Please see chromedriver.chromium.org/home
# driver = webdriver.Chrome(executable_path="D:\jocoding\selenium\chromedriver.exe", options=options)
# 크롬드라이버를 어느 경로의 드라이버를 실행할지 정확히 명시해줘야 합니다.
# 그런데 executable_path 이 옵션은 더이상 지원되지 않는다라는 메시지가 뜹니다.
# 다른 방법은? 아래 3줄을 삽입해서 드라이버의 경로를 지정해야 하는 것 같습니다.
# from selenium.webdriver.chrome.service import Service # 크롬드라이버 경로 지정을 위해
# ser = Service("D:\jocoding\selenium\chromedriver.exe") # (절대경로)
## ser = Service("selenium\chromedriver.exe") # 위 줄 코드는 이렇게 상대경로로 적어도 됩니다.(상대경로)
# driver = webdriver.Chrome(service=ser, options=options)
# 위와 같이 사용해야 하는 것 같습니다.
driver.get("www.google.co.kr/imghp?hl=ko&ogbl")
elem = driver.find_element(By.NAME, "q")
elem.send_keys("조코딩")
elem.send_keys(Keys.RETURN)
images = driver.find_elements(By.CLASS_NAME, "rg_i.Q4LuWd")
count = 1
for image in images:
image.click()
time.sleep(3)
# 아래 에러 나는 부분이 있어서 try except문 추가
try:
imgUrl = driver.find_element(
By.CLASS_NAME, "n3VNCb").get_attribute("src")
urllib.request.urlretrieve(imgUrl, str(count) + ".jpg")
except:
pass
count = count + 1
# 아래는 전체 코드입니다.
# 실행중 에러나는 부분을 수정했습니다.
from outcome import capture
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time
import urllib.request
# 에러나는 부분이 있어서 추가
options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["enable-logging"]) # 터미널에 에러 메시지 나와서 설정
options.add_experimental_option("detach", True) # 브라우저 자동꺼짐 방지 (생략가능)
options.add_argument('--start-maximized'); #브라우저가 최대화된 상태로 실행됩니다. (생략가능)
options.add_argument('--start-fullscreen'); #브라우저가 풀스크린 모드(F11)로 실행됩니다. (생략가능)
# driver = webdriver.Chrome()
# 아래처럼 드라이버에 옵션 적용
driver = webdriver.Chrome(options=options)
# 위 부분 코드도 아래처럼 실행해야 되는 경우가 있습니다.(크롬 드라이버를 컴퓨터의 여러곳에 여러개를 설치했을 경우)
# driver = webdriver.Chrome(executable_path="D:\jocoding\selenium\chromedriver.exe", options=options)
# 크롬드라이버를 어느 경로의 드라이버를 실행할지 정확히 명시해줘야 합니다.
# 그런데 executable_path 이 옵션은 더이상 지원되지 않는다라는 메시지가 뜹니다.
driver.get("www.google.co.kr/imghp?hl=ko&ogbl")
elem = driver.find_element(By.NAME, "q")
elem.send_keys("조코딩")
elem.send_keys(Keys.RETURN)
driver.save_screenshot("screenshot.png") # 이부분은 생략 가능, 그냥 연습삼아서 적음.
# 스크롤 다운
SCROLL_PAUSE_TIME = 1
# Get scroll height
last_height = driver.execute_script(
"return document.body.scrollHeight") # 자바스크립트 코드 실행
while True:
# Scroll down to bottom
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
# Wait to load page
time.sleep(SCROLL_PAUSE_TIME)
# Calculate new scroll height and compare with last scroll height
new_height = driver.execute_script("return document.body.scrollHeight")
if new_height == last_height:
try:
driver.find_element(By.CSS_SELECTOR, ".mye4qd").click()
except:
break
last_height = new_height
# 에러나서 스크롤 맨위로 이동하는 기능 추가
driver.execute_script("window.scrollTo(0, 0);")
# 이미지 다운
images = driver.find_elements(By.CLASS_NAME, "rg_i.Q4LuWd")
count = 1
for image in images:
# 아래 에러 나는 부분이 있어서 try except문 추가
try:
image.click()
time.sleep(3)
# imgUrl = driver.find_element(By.CLASS_NAME, "n3VNCb").get_attribute("src")
imgUrl = driver.find_element(
By.XPATH, "/html/body/div[2]/c-wiz/div[3]/div[2]/div[3]/div/div/div[3]/div[2]/c-wiz/div/div[1]/div[1]/div[3]/div/a/img").get_attribute("src")
# /html/body/div[2]/c-wiz/div[3]/div[2]/div[3]/div/div/div[3]/div[2]/c-wiz/div/div[1]/div[1]/div[3]/div/a/img
# 에러발생경우: 주소가 그림파일주소가 아닌 경우 > 리다이렉트되어 다른 주소로 이동하는 경우등
urllib.request.urlretrieve(imgUrl, str(count) + ".jpg")
except:
pass
count = count + 1
driver.close()
# [ 추가 ]
# 요즘에 ChromeDriver를 따로 다운로드 하지 않고, 코드상에서 자동 설치되도록 하는 것이 있는 것 같습니다.
# 검색: 셀레니움 크롬 드라이버 자동 업데이트 방법
# 위 검색어로 검색하면 나옵니다.
공유 감사합니다.
글에 [50개 그림 다운로드까지의 코드]라고 하셨는데 위 코드 실행 시 50개 까지만 다운로드 받는다는 말씀이신가요?
50개까지만 받는다면 코드의 어떤 부분이 50개의 조건을 가지고있는지 궁금합니다!
@@ptrnh7902 어떤 조건이 있어서 50개까지 나오는 것이 아닙니다.
처음에 검색하면 그림이 원래 50개까지 화면에 나옵니다.
더 많은 그림은 스크롤을 아래로 내리면 그림이 추가로 더 나오게 구글에서 만들어 놓았습니다.
아래 댓글(첫번째 아래 2번째 댓글)에 전체 코드도 달아 놓았습니다
드릴수있는게 좋아요 밖에 없어 죄송합니다... 공룡닮았어요 귀여움
ㅋㅋㅋㅋ 좋아요 감사합니다! 동물상 테스트 해보면 주로 공룡상 나오더라고요ㅋㅋ
감사합니다. pycharm으로 selenium 패키지 추가가 잘 안되서 VS로 하니 잘되네요. 위의 예제 참고하여 원하는 로직 구현했습니다 ㅎ
맥 환경에서는 셀레니움을 설치하기 시작하는 과정 자체가 다르네요..ㅠ
잘 보고 있습니다. 좋은 강의 감사합니다!
감사합니다!ㅎㅎ
코드를 진행하는데에는 문제가 없는데 아래와 같은 에러코드가 나와요 ㅠㅠ
[1180:21812:0505/131025.058:ERROR:device_event_log_impl.cc(214)] [13:10:25.059] USB: usb_device_handle_win.cc:1054 Failed to read descriptor from node connection: 시스템에 부착된 장치가 작동하지 않습니다. (0x1F)
이 에러를 구글에 찾아서 거기에 나와있느대로 해결을 하려고 했습니다.
해결방법은
driver = webdriver()
위 코드를
options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["enable-logging"])
driver = webdriver(options=options)
이 걸로 바꿨는데 아래와 같으 오류가 나옵니다.
"c:/Users/bc005/Desktop/파이썬 코딩/selenium_image_crawling/selenium/Scripts/python.exe" "c:/Users/bc005/Desktop/파이썬 코딩/selenium_image_crawling/selenium/google.py"
Traceback (most recent call last):
File "c:\Users\bc005\Desktop\파이썬 코딩\selenium_image_crawling\selenium\google.py", line 8, in
driver = webdriver(options=options)
TypeError: 'module' object is not callable
참고한 사이트를 보니까 이게 로그를 지우는 거라서 이 문제를 원천적으로 해결하는게 아닌것 같습니다. 그래서 다른 방법을 찾아보려고 구글링을 더 해봤는데 해결방법을 못찾았어요 ㅠㅠㅠ
혹시 이거 문제가 뭔지 아시나요?
코드 참고한 사이트 링크 남깁니다...
(althoughh.tistory.com/82)
진짜.좋은영상이네요~
감사합니다 ~
좋게 봐주셔서 감사합니다!ㅎㅎ
오 오랜만이네요!! 영상 잘 보겠습니다 ㅎㅎ
요즘 여러 일들이 몰려서 오랜만에 올리게 되었네요ㅠ 댓글 감사합니다!ㅎㅎ
안녕하세요 조코딩님. 혹시 "시스템에 부착된 장치가 작동하지 않습니다. " 라는 오류는 어떻게 잡아야하나요? 아래 댓글에서 찾아보니까 C드라이브에서 작업하라고 하셨는데 그렇게해도 안되서 여쭤봅니다.
이미지 크롤링이 되긴 하는데 첫번째 이미지만 계속 반복해서 다운로드가 되네요ㅠㅠ왜그런걸까요...
와.... 좋은 영상 감사합니다!!
좋게 봐주셔서 감사합니다ㅎㅎ
버전 문제일 수 있는데, driver.execute_script("window.scroll(0, document.body.scrollHeight);")만 실행 시, 무한루프가 돌지만, 뒤의 어떠한 명령문이 오더라도 스크롤이 중간에 멈추는 현상이 있습니다. time.sleep(Scroll_Pause_Time) 5초를 두어도 동일하니, 로딩시간의 문제는 아닌 것 같습니다. 다른 공부하시는 분들 참고해 주세요.
저는 SCROLL_PAUSE_TIME 을 0.5하다가 안되어서 1.5로 하니까 되더라구요
제 컴퓨터에서 로딩시간이 오래걸려서 생긴 문제라고 판단했습니다.
너무 좋은 영상 감사합니다!!
저도 댓글 남겨주셔서 감사합니다ㅎㅎ
16:17 n3VNCb 가 아니네요. 고퀄 영상 잘보고 있습니다. 항상 감사합니다.
엇 이제 바뀌었나요? 그래도 바뀐 클래스로 놓고 진행하시면 됩니다!
감사합니다! 따라하는데 한 3사간정도 걸렸지만 정말 재미있어요!!
안녕하세요. 영상 잘 보았습니다~ 그런데 한 가지 궁금한게 있어서요...
내가 필요한 부분 구글에 검색해서 복사 붙여넣기 해서 사용을 하셨는데, 코드 하나하나 이해하는게 아니라
그냥 복사 붙여넣기 해서 사용하는게
코딩 공부하는데에 있어서 괜찮은걸까요?
그냥 편하게 사용하는게 나을까요 아님 하나하나 다 이해해보는게 나을까요?
너무 감사해요
조코딩님, 질문이 있는데요
1. find를 할때 왜 find_element_by_css_selector를 쓰죠? driver.find_element_by_class_name이게 아니고?
2. 클래스 이름을 웹에서 찾아서 넣어줄때, '.mye4qd' 이것 처럼 클래스 이름 앞에 왜 "." 을 붙여주나요?
1. driver.find로 쓰고 있습니다! 아래 완성 코드를 확인해주세요 :)
github.com/youtube-jocoding/python-selenium-google-image-crawling/blob/master/google.py
2. CSS에서 클래스를 .으로 쓰고 아이디를 #으로 씁니다! css 문법을 만들때 정해놓은 규칙입니다. 아래 CSS 강의를 참고해주세요!
ruclips.net/video/_YrXKxY8PTY/видео.html
이거 구름에서 해도 되는거 맞으려나요 ?ㅠㅠ
구름에서했을 때
root@goorm:/workspace/crawling# python google.py
Traceback (most recent call last):
File "/usr/local/lib/python3.7/site-packages/selenium/webdriver/common/service.py", line 76, in start
stdin=PIPE)
File "/usr/local/lib/python3.7/subprocess.py", line 775, in __init__
restore_signals, start_new_session)
File "/usr/local/lib/python3.7/subprocess.py", line 1522, in _execute_child
raise child_exception_type(errno_num, err_msg, err_filename)
FileNotFoundError: [Errno 2] No such file or directory: 'chromedriver': 'chromedriver'
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "google.py", line 7, in
driver = webdriver.Chrome()
File "/usr/local/lib/python3.7/site-packages/selenium/webdriver/chrome/webdriver.py", line 73, in __init__
self.service.start()
File "/usr/local/lib/python3.7/site-packages/selenium/webdriver/common/service.py", line 83, in start
os.path.basename(self.path), self.start_error_message)
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see sites.google.com/a/chromium.org/
chromedriver/home
이런 에러가 나와요 !
친절하고 상세한 설명 감사합니다. 그런데 (selenium) C:\jocoding\selenium\Scripts>에서 (selenium) C:\jocoding\selenium>로 변경을 할려면 어떻게 해야하나요? 실행을 할 수가 없어서 여쭈어 봅니다. ㅋㅋㅋ
디버그작업을 하였더니 selenium디렉토리로 갈수 있었습니다. 그런데 실제 동작을 하니 다음과 같은 메세지가 뜨고 폴더에 저장도 안되고 있습니다. cc:1048 Failed to read descriptor from node connection: 시스템에 부착된 장치가 작동하지 않습니다. (0x1F) 원인이 무엇일까요?
choihyuunmin.tistory.com/82
이렇게 해결하실 수 있습니다!
cd.. cd 뒤에.. 점점 두개까지 입력하시면 윗폴더로 돌아가요!
... 흔하게 올라오는 유머 이미지를 고화질 원본 자동화 하기. 구글 이미지 검색 쓴다 하더라도 해상도 높혀 놓는 트롤링들 때문에 최소한 딥러닝 분석이 필요하고 비싼 컴퓨터가 소비됨. 단순한 직선상에 샤프니스 임계값 출력해서 선호 이미지 나열한다고 치더라도 시행착오 많을 듯. 원콤에 다했으면 구글을 넘어섯을 듯.
4:30 초에 activate를 쳐도 이렇게 나오는데 이거 뭔가요
activate : 'activate' 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프로그램 이름으로 인식되지 않습니다. 이름이 정확
한지 확인하고 경로가 포함된 경우 경로가 올바른지 검증한 다음 다시 시도하십시오.
위치 줄:1 문자:1
+ activate
+ ~~~~~~~~
+ CategoryInfo : ObjectNotFound: (activate:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException
9:10 저는 구글이 잠깐 나왔다가 바로 창이 닫아지는데, 왜 그럴까요? 검색해도 안 나와서 여기에 댓글 남깁니다. 아시는 분 있으면 알려주시면 감사하겠습니다!
(selenium) C:\leecoding\selenium>python google.py
Traceback (most recent call last):
File "C:\leecoding\selenium\google.py", line 4, in
driver = webdriver.chrome()
TypeError: 'module' object is not calla
이런 문구가 뜨면서 진행이 않되고 있습니다. 컴퓨터를 포맷도 해봤는데 ㅠㅠ 똑같은 문구만 계속 뜨고 있습니당. ㅠㅠ
저는 맥을 사용하고 있는데요. 영상에서 알려주신대로 같은 폴더 내에 크롬드라이버를 압축풀어서 옮겨놓았는데 정상적으로 작동을 하지 않습니다.
에러 메세지 : chromedriver executable needs to be in PATH 라고만 뜨는데요...
계속해서 따라하다가 새로운 버전으로는 도저히 답을 못찾겠어서 pip3 uninstall selenium
pip3 install selenium==3.141로 강의 영상이랑 selenium 버전 맞추니까 겨우 해결됐네요.
"USB: usb_device_handle_win.cc:1048 Failed to read descriptor from node connection: 시스템에 부착된 장치가 작동하지 않습니다. (0x1F)"
이 오류는 계속해서 떠서 구글링 해서 나오는 코드들 작성해보고 했는데 안됐다가 노트북에 연결된 마우스, 키보드 다 빼고 하니까 안뜨더라고요.
근데 떠도 끊김없이 잘 진행됩니다!
새로 하시는 분들 있으면 참고하시면 좋을거 같아요!
오 꿀팁 감사드립니다!
hello i am anup i am from bangladesh your video is very helpful but i have been working on this for two years now i am not able to do some things at the moment please if you can help me or where to get it or how to do it
허헣 아직 영상을 안봤는데도 믿음 가네요 이걸로 배경화면같은거 크롤링 할 수 있을지...!
네 가능합니다! 셀레니움을 활용하면 뭐든지 크롤링하고 자동화할 수 있습니다ㅎㅎ
안녕하세요 조코딩님
초반 4분대에 나오는 셀레니움 설정을 매번 vscode를 킬때마다 해야하는데 저 부분은 자동화나 코드로 작성을 못하나요?
가상환경 설정하시고 File > Save Workspace As를 통해 설정을 저장해놓으시면 vscode 실행 하자마자 같은 환경으로 뜰 겁니다!
와 디버깅과 5시간정도 싸우다가 결국 다운로드가 시작되었을때의 쾌감이란...!너무..!좋아요...!근데 다운로드가 끝나지 않아서 무섭네요...ㅋㅋㅋㅋㅋㅋ무한다운로드중..ㅠㅠㅠㅠㅠ
추가질문이 있는데요, 이런 방법으로는 크롤링되는 사진의 개수를 제한하거나, 전 강의에서 프로그램으로 갖다 썼을 때 그냥 키워드만 넣으면 되었던것처럼 키워드를 입력해서 키워드별로 폴더를 만들수는 없나요??
크롤링 되는 사진의 개수를 제한하는것은
if (count==101):
break
를 통해 해결하였으나, 클래스가 아닌 키워드를 직접 입력하거나 폴더를 생성하는 부분에서는 아직도 막히네요 도움 바랍니다ㅠㅠ
조코딩의 폴더를 자동으로 만들어서 그 안에 모든 사진을 옮기는것까진 구현을 했는데.. 검색어를 입력했을때 나오는 작은 사진과 큰 사진의 클래스를 추출하는 방법은 아무리 찾아봐도 힘드네요 수동으로 해야할지...ㅠㅠ
전부 해결 했습니다! 조코딩님의 코드에서 약간 수정해서 처음에 검색어와 다운로드할 사진의 개수를 입력하고 경로만 바꿔주면 자동으로 파일을 생성해서 크롤링을 수행하고 검색어로 파일을 만드는 기능을 넣어보았습니다! 기초만 알았던 파이썬으로 직접 무언가를 해보았다는게 너무 신기하고 감격스럽네요 조코딩님 덕분입니다! 제가 만든 코드 올려두고 가겠습니다! github.com/Junga-a/jungcode/blob/main/google.py
오오 스스로 다 해결하셨군요! 멋집니다ㅎㅎ 코드도 공유해주셔서 감사합니다 :)
7:58 쯤에서 No such file or directory 라고 뜨는데 뭐가 문제일까요
코딩이형 열일하시네, 지식 전파자 인증.
ㅎㅎ 감사합니다! 더 열일하겠습니다
엄.. venv로 만드는가상환경에서 그냥 답변이 딜레이없이바로 python이라는코드로날아옵니다.....