📣 안내 드립니다. (23년 3월) 본 강의에서 다루는 쿠팡, 네이버 웹툰, 티스토리 등 웹 스크래핑 대상 사이트들은 강의 촬영 시점 이후에 지속적인 업데이트 및 개편으로 인해 페이지가 변경되었습니다. 또한 selenium 버전이 올라감에 따라 일부 기능은 더 이상 사용할 수 없게 된 부분도 있습니다. 이에 따라 실습 내용 중 많은 부분을 따라하기 힘든 문제가 발생하고 있습니다. 새롭게 강의를 수강하시는 분들은 이 점을 감안하셔서 학습 부탁드리며, 강의에서 보여드리는 모든 실습을 따라하기보다는 당시의 페이지 상황에 따라 어떻게 접근할 수 있는지에 대한 이해도를 높이는 목적으로 강의를 활용 부탁드립니다. 학습에 불편드려 대단히 죄송합니다. --------------------------------------------------------------- [웹 스크래핑 변경사항] 1. "티스토리"는 UserAgent 를 변경하지 않아도 정상적으로 html 을 받아옵니다. 2. "네이버"는 로그인 시도 시 자동입력방지 문자 입력 페이지가 뜹니다. 우회방법으로 자바스크립트를 이용하는 방법이 소개된 링크를 참고해주세요. jaeseokim.github.io/Python/python-Selenium을-이용한-웹-크롤링-Naver-login-후-구독-Feed-크롤링/ 3. "쿠팡" 강의 내용 확인 결과 일부 항목이 웹에서 접근했을 때와는 조금 다르게 가져오는듯 합니다. 확인 결과 화면 중 약 80% 는 정상, 20%는 페이지에 존재하지 않는 값을 가져옵니다. (어쩌면 다음 페이지에 나오는 내용일 수도 있습니다) 또한 80% 의 항목도 웹 페이지와는 달리 순서가 조금 뒤죽박죽 섞인듯 보입니다. requests 만 써서 가져왔을 때 쿠팡에서 반환해주는 값에 차이가 있는듯한데, selenium 을 통한 결과를 비교해볼 필요가 있어 보이네요. 수업 시간에 결과 내용에 대해 전수 검사를 해볼 생각을 미처 해보지 못하여 내용에 오류가 있었던 점, 진심으로 사과 드립니다. 4. "프로젝트" 강의 내용 중 네이버 뉴스를 가져올 때 500 Server Error 가 나고 있습니다. 이 때는 requests 에 headers 로 여러분 PC 의 user-agent 를 넣어주시면 됩니다. (예시) def create_soup(url): headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"} res = requests.get(url, headers=headers) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") return soup ----------------------------------------------------------------------------- 아래 블로그에서 소스코드를 받으실 수 있습니다. nadocoding.tistory.com/10 다음은 웹 스크래핑 목차입니다. 열심히 공부하시는 여러분들, 정말 대단합니다. ^^ [기본기] (0:00:00) 0.Intro (0:00:16) 1.소개 (0:02:03) 2.활용편3 소개 (0:07:26) 3.HTML (0:16:51) 4.XPath (0:28:12) 5.크롬 (0:31:45) 6.Requests (0:39:26) 7.정규식 기본 1 (0:50:52) 8.정규식 기본 2 (0:58:56) 9.User Agent (1:06:40) 10.BeautifulSoup4 기본 1 (네이버 웹툰) (1:18:37) 11.BeautifulSoup4 기본 2 (1:28:13) 12.BeautifulSoup4 활용 1-1 (가우스 전자) (1:39:26) 13.BeautifulSoup4 활용 1-2 (1:47:55) 14.BeautifulSoup4 활용 2-1 (쿠팡) (2:00:11) 15.BeautifulSoup4 활용 2-2 (2:05:35) 16.BeautifulSoup4 활용 2-3 (2:15:22) 17.BeautifulSoup4 활용 2-4 (2:22:44) 18.BeautifulSoup4 활용 3-1 (다음 이미지) (2:31:46) 19.BeautifulSoup4 활용 3-2 (2:41:09) 20.CSV 기본 1 (네이버 금융) (2:49:55) 21.CSV 기본 2 (2:56:21) 22.Selenium 기본 1 (3:07:45) 23.Selenium 기본 2 (3:13:43) 24.Selenium 심화 (네이버 로그인) (3:21:40) 25.Selenium 활용 1-1 (네이버 항공권) (3:33:40) 26.Selenium 활용 1-2 (3:39:15) 27.Selenium 활용 2-1 (구글 무비) (3:50:17) 28.Selenium 활용 2-2 (4:00:39) 29.Selenium 활용 2-3 (4:10:39) 30.Selenium 활용 2-4 (4:15:24) 31.Headless 크롬 (4:23:38) 32.Wrap Up [퀴즈] (4:32:21) 33.퀴즈 (다음 부동산) [프로젝트] (4:43:13) 34.프로젝트 (4:48:49) 35.오늘의 날씨 (네이버 날씨) (5:02:06) 36.헤드라인 뉴스 (네이버 뉴스) (5:10:26) 37.IT 일반 뉴스 (네이버 뉴스) (5:18:22) 38.오늘의 영어회화 (해커스 영어) (5:27:25) 39.Outro
4:18:52 에서 WebDriverException: Message: unknown error: Chrome failed to start: was killed. (unknown error: DevToolsActivePort file doesn't exist) (The process started from chrome location C:\Program Files (x86)\Google\Chrome\Application\chrome.exe is no longer running, so ChromeDriver is assuming that Chrome has crashed.) 이렇게 오류가 나는데 어떻게 해결하면 좋을까요???????//?
Selenium 버전이 업그레이드 되면서 일부 명령어가 변경되었습니다. 변경된 명령어를 사용하려면 아래 코드를 먼저 import해야 합니다. from selenium.webdriver.common.by import By 변경된 명령어들은 다음과 같습니다. button = driver.find_element_by_class_name("quiz_button") button = driver.find_element(By.CLASS_NAME, "quiz_button") element = driver.find_element_by_id("element_id") element = driver.find_element(By.ID, "element_id") element = driver.find_element_by_name("element_name") element = driver.find_element(By.NAME, "element_name") element = driver.find_element_by_link_text("element_link_text") element = driver.find_element(By.LINK_TEXT, "element_link_text") element = driver.find_element_by_partial_link_text("element_partial_link_text") element = driver.find_element(By.PARTIAL_LINK_TEXT, "element_partial_link_text") element = driver.find_element_by_tag_name("element_tag_name") element = driver.find_element(By.TAG_NAME, "element_tag_name") element = driver.find_element_by_css_selector("element_css_selector") element = driver.find_element(By.CSS_SELECTOR, "element_css_selector") element = driver.find_element_by_xpath("element_xpath") element = driver.find_element(By.XPATH, "element_xpath")
3:24:21 혹시나 해서 올려요 저도 여기부분 네이버항공권 Html 디자인 변경된거같아서 튜토따라서 안되길래 find.element 모든 함수 다 테스트했는데.. 아래 처럼 xpath으로 따와서 time.sleep 텀 1초 주니 튜토리얼처럼 선택 됩니다. * 대신 튜토리얼처럼 날짜 변수 를 가져와서는 안되구 xpath 아예 절대경로?로 따왔어요. 밑에 보면 table 왼쪽 div[번호] 부분이있는데 2가 이번달 3이 다음달처럼 되어있어서 여기 부분 .format 으로 수정하면 될거같구.. * 물론 2021년 12월 8일 기준입니다. tbody 오른쪽 tr[번호] 그리고 td[번호]가 있는데 여기가 1달치 로우 랑 컬럼으로 각각의 날짜 위치로 구성되어 있더라구요 여기도 .format 으로 수정하면 될거같습니다. My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[4]/div/div/div[2]/div[2]/button[1]").click() # 됨 time.sleep(1) My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[10]/div[2]/div[1]/div[2]/div/div[2]/table/tbody/tr[5]/td[2]/button").click() # 됨 이번달 My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[10]/div[2]/div[1]/div[2]/div/div[3]/table/tbody/tr[2]/td[4]/button").click() # 됨 다음달 이렇게 튜토리얼 올려주셔서 감사합니다.
xpath copy 하면 왜 저는 //*[@id="__next"]/div/div[1]/div[11]/div[2]/div[1]/div[2]/div/div[2]/table/tbody/tr[5]/td[3]/button // 이렇게 div[11]으로 뜰까요? 작성자님꺼 따라 [10]으로 해봤더니 잘되긴하는데 ㅠㅠ
1:06:44 현재 네이버 웹툰 소속의 웹페이지들에서는 이 내용을 제대로 실습할 수 없군요. with open("gausselectronics.html", "w", encoding="utf8") as f: f.write(res.text) 이런 방식으로 긁어보니 는 다 복사되어 들어오는데 쪽은 하나도 복사되어 들어오지 않습니다. 네이버 웹툰 쪽에서 뭔가를 막아놓은 것인지... 다행히 네이버 부동산에서는 해당 내용들을 실습 가능합니다.
진짜 댓글을 달지 않을래야 안달을수가 없을정도입니다. 정말 유튜브 강좌중에 최고입니다!! 저도 프로그래머이긴 하지만 웹프로그래머가 아니라 파이썬 크롤링 자료를 찾아봐도 이렇게 상세하고 자세하게 설명된 강좌가 없었는데, 정말 긴시간동안 상세하게.... 설명해주시니 감동입니다. 또 강의하시는 목소리도 아주 듣기 좋고요.. 강의듣는 분들을 위해 매 스크립트 마다 삭제하지 않고 주석으로 남겨놓는등... 강의 스킬이 엄청 나신것 같습니다. 너무 좋은 영상봐서 기분 좋습니다^^ 앞으로도 좋은 영상 부탁드리겠습니다~ 꾸벅~
나도코딩님이 유료 강의해도 찾아서 볼 것 같아요 ㅠㅠ 요새 하루종일 나도코딩님 강의 보고 따라하다가 시간 다 가네요 ㅎㅎ 벌써 파이썬 나온 강의 중 마지막이라니!!! 다음 것들도 너무 기대돼요 ㅎㅎ 원래 남은 강의가 없어질수록 좋아야 하는데 너무 너무 아쉬울 정도로 강의가 좋네요 😊 이번 편도 잘 마무리하겠습니다! 좋은 강의 항상 감사합니다 !!!!!!!!! 파이팅 ୧ʕ•̀ᴥ•́ʔ୨
안녕하세요 아래 질문에서 "find_elements_by_class_name"서 오류가 나와 찾아 봤는데요 selenium 새4버전 부터 바뀌었다구 바뀌었다고 그러네요 selenium을 설치 한것이 22/12/2 오늘이라 그런가봐요 ㅠㅠㅠ 저의 파이썬버전은 3.10.4 이구요, 윈도우11 입니다. 초보 초보 왕초보 이라서 설명을 보고도 어떻게 대처 해야 할지 ㅠㅠㅠ 도와 주세요 감사 합니다.
pip : 'pip' 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프로그램 이름으로 인식되지 않습니 다. 이름이 정확한지 확인하고 경로가 포함된 경우 경로가 올바른지 검증한 다음 다시 시도하십시오. 위치 줄:1 문자:1 + pip install requests + ~~~ + CategoryInfo : ObjectNotFound: (pip:String) [], CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException 이렇게 나오는데 어떻게하죠?
파이썬 설치할때 Add python 3.x to path 부분 체크가 안되었나봐요. 아래 링크의 설명을 따라 환경변수 설정을 직접 해주셔도 되구요 환경변수 등록 : oz-il.tistory.com/m/21 아니면 임시로 파이썬 설치경로 밑의 Scripts 폴더로 가셔서 pip 명령을 수행하셔도 됩니다. 예) C:￦Python38￦Scripts￦pip install [패키지] 위 방법이 어렵다면 아래 링크의 설명을 따라 파이썬을 아예 삭제하신 후에 다시 설치를 해보실 수 있나요? 삭제 : copycoding.tistory.com/58 설치(파이썬 부분만 보세요) : nadocoding.tistory.com/4
requests 편을 막 들어갔는데.. 터미널에서 pip install requests 를 입력하니까 pip 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프록르매 이름으로 인식되지 않습니다. 이름이 정확한지 확인하고... 등등의 메세지가 나오는 데 어떻게 해야 할까요 ㅠ
그거슨........ 바로바로 환경 변수 등록이 잘되지 않았기 때문입니다! 환경 변수란 무엇이냐~ "내 컴퓨터에 python 프로그램은 여기 설치되어 있음"을 알려주는 겁니다. 윈도우 사용자라면 파이썬 설치할 때 Add path to python 을 체크 했었는지 기억해 보시고. 안 하셨다면 기존 파이썬을 지우고 새로 설치 해보세요. 맥 사용자라면 pip3 install requests로 해보시길 바랍니다. 큐큐
3:34:10, 4:28:49 에서 해당하는 element 로딩될 때까지 기다리는 부분에서 새로 import하고 작성해야하는 부분이 많은데 드라이버에 해당 기능을 하는 매소드가 있습니다. browser.implicitly_wait(10) 이 매소드를 맨 위에서 작성해주시고 진행하시면 모든 로딩에 암묵적으로 10초 대기 시간이 적용되어서(최대 10초 기다리는데 그 전에 로딩 끝나면 바로 진행) 편하게 사용할 수 있어요
조금 전 퀴즈 전까지는 시청 완료 했습니다. 재밌었어요 ㅎㅎ 두가지 막힌게 있는데 첫번째는 네이버 로그인 입니다. 영상에서는 id와 pw를 잘못입력해서 자동입력방지 페이지로 가는줄 알았는데 제 아이디랑 비번을 입력해도 그 화면으로 가네요 헤더 설정을 해주면 로그인 되겠죠?? // 네이버에서 캡챠로 막아서 안되는 거였네요 ㅎ 구글링을 시도해서 로그인 성공했습니다. 하지만 이것도 언제까지 가능할지는 장담 못하는건가보네요 ㅎㅎ 두번째는 구글 영화 검색할때 입니다. "Accept-Language":"ko-KR,ko" 이것으로 헤더 설정을 해도 영상처럼 html을 긁어오지 못하네요 ㅜ_ 혹시 다른 방법이 있을까요??
3:36:40 에서, elem = WebDriverWait(browser, 10).until(EC.presence_of_all_element_located((By.XPATH, "//*[@id='content']/div[2]/div/div[4]/ul/li[1]"))) 을 넣고 실행하니 'selenium.webdriver.support.expected_conditions' has no attribute 'presence_of_all_element_located' 이런 오류가 뜨는데 저만 그런가요? 모든 코드를 다 따라 쳐도 저 오류가 나오네요... 그래서 presence_of_all_element_located에 elements로 바꾸니 또 에러가 안남. 이해가 안되네요 ㅜ
나도코딩님이 올려주신 귀중한 동영상으로 코딩을 공부하고 있습니다. 올려주신 내용중에 시간 2시간 47분 정도에 네이버 금융정보 가져오기에서 전일비 자료 가져오기 코딩이 있습니다. 그런데 전일비 내용에서 네이버 화면에서는 삼각형 표시로 등락을 표시했는데 F12 개발자모드에서는 빈공간 표시로 되어있고 스크래핑 해 보면 등락에 상관없이 숫자만 찍혀 있습니다. 등락을 따로 가져올수 있는 방법이 있을까요? 언제나 좋은 하루 되시고 건강하세요~~
안녕하세요. 덕분에 항상 즐겁게 배우고 있습니다. 이번 크롤링 강의도 너무 유익하네요 ㅎㅎ 그런데 쿠팡의 노트북 검색결과 화면을 url로 지정하고 requests로 불러올 때 어떤 에러메시지도 없이 프로그램이 계속 돌아가기만 합니다. User Agent를 입력해도 마찬가지구요. 혹시 코드가 잘못된 것일까 싶어서 다른 사이트로 해보면 잘 됩니다. 그 사이에 쿠팡이 크롤링을 차단한 것일까요? 혹시 현재도 가능한지 확인 한번만 해주시면 정말 감사하겠습니다.
크롤링 하려는 페이지 에서 다음 페이지 가기가 주소창은 변하지 않고 27 위 구문으로 가게 되어 있습니다. 그래서 xpath 와 find_elements 로 페이지 이동을 해야 하는데 browser.find_elements_by_link_text("27")[0].click() # [0] -> 이번달 browser.find_elements_by_link_text("28")[1].click() # [1] -> 다음달 위 구문에서 ("27") ("28") 부분을 변수로 만들거나 browser.find_element_by_xpath("//*[@id='pager']/li[3]/a").click() 위 구문에서 [3] 부분을 변수로 만들어야 하는데 이것저것 해봐도 에러만 나고 방법을 모르겠습니다. 변수로 만들어서 변수값 증가하면 페이지 이동이 가능하게 도와 주세요. 강의 감사 드립니다..
3:04:19 elem = browser.find_element_by_class_name('link_login') 하면 'WebDriver' object has no attribute 'find_element_by_class_name'이 뜨는데 혹시 어떻게 해결하는지 아시나요ㅠㅠ
기본편에 더해서, 웹스크래핑 강의까지 매우 감사한 시간이었습니다. 사내에서 쓰는 ERP가 WEB기반이라서 일부 업무를 자동화할 수 있었네요. 코드를 가다듬어야하고, 모듈화해서 정리해야하지만 개인적으로 아주 뜻깊은 성취가 아닐 수 없었습니다. 지금 몇몇 남은 업무 중 GUI 및 엑셀 자동화가 필요한 업무들도 있는데, 너무 기대됩니다. 저는 이제 GUI수업으로 넘어가고, 복습을 좀 해야겠네요 ㅎㅎ
from selenium import webdriver browser = webdriver.Chrome() elem = browser.find_element_by_id("query") elem쓰고 마지막에 from selenium.webdriver.common.keys import keys이거 썻더니 cannot import name 'keys' from 'selenium.webdriver.common.keys이렇게 나오네요 왜 없는거죠??
선생님 안녕하세요! 문과출신에서 이직을 준비하기 위해 퇴사 후 열심히 공부중인 학생입니다! 파이썬 기본편도 덕분에 잘 따라갈 수 있었고, 기본편 이해를 바탕으로 선생님의 웹스크래핑 강의를 잘듣고 있는데요! 열심히 따라하던 도중 코드 실행을 누르면 vscode 터미널에서 렉이 걸린 건지 작동을 하지 않고 있습니다ㅜㅜ... 가우스 전자까지는 아무런 문제없이 출력이 되는데, 쿠팡으로 넘어온 뒤부터 정상 코드임에도 불구하고 터미널에서 어떠한 값도 출력을 하지 않습니다...ㅜㅜㅜ cls를 하려고 해도 타자 조차 쳐지지 않습니다.. 이럴 땐 어떻게 해야할까요...? 제 노트북 사양문제인지 알고 게이밍용 컴퓨터로 작동을 해도 터미널에서 작동을 하지 않네요...ㅜㅜ
전공 강의에서 커버하지 못하는 부분을 항상 여기에서 많이 얻어가게 되네요 댓글 잘 안다는 편인데 혼자 구글링하며 끙끙거리던 부분을 무료강의 하나로 해결할 수 있게 되어서 너무 감사하다는 말씀 드리고 싶습니다. 파이썬 활용은 무궁무진하니까 염치없지만 앞으로도 활용강의 꾸준히 올라오길 기대하고 있겠습니다
![파이썬 코딩 무료 강의 (활용편2) - GUI 프로그래밍을 배우고 '여러 이미지 합치기' 프로그램을 함께 만들어요. [나도코딩]](http://i.ytimg.com/vi/bKPIcoou9N8/mqdefault.jpg)
![파이썬 코딩 무료 강의 (활용편2) - GUI 프로그래밍을 배우고 '여러 이미지 합치기' 프로그램을 함께 만들어요. [나도코딩]](/img/tr.png)
📣 안내 드립니다. (23년 3월)
본 강의에서 다루는 쿠팡, 네이버 웹툰, 티스토리 등 웹 스크래핑 대상 사이트들은 강의 촬영 시점 이후에 지속적인 업데이트 및 개편으로 인해 페이지가 변경되었습니다. 또한 selenium 버전이 올라감에 따라 일부 기능은 더 이상 사용할 수 없게 된 부분도 있습니다. 이에 따라 실습 내용 중 많은 부분을 따라하기 힘든 문제가 발생하고 있습니다. 새롭게 강의를 수강하시는 분들은 이 점을 감안하셔서 학습 부탁드리며, 강의에서 보여드리는 모든 실습을 따라하기보다는 당시의 페이지 상황에 따라 어떻게 접근할 수 있는지에 대한 이해도를 높이는 목적으로 강의를 활용 부탁드립니다. 학습에 불편드려 대단히 죄송합니다.
---------------------------------------------------------------
[웹 스크래핑 변경사항]
1. "티스토리"는 UserAgent 를 변경하지 않아도 정상적으로 html 을 받아옵니다.
2. "네이버"는 로그인 시도 시 자동입력방지 문자 입력 페이지가 뜹니다. 우회방법으로 자바스크립트를 이용하는 방법이 소개된 링크를 참고해주세요.
jaeseokim.github.io/Python/python-Selenium을-이용한-웹-크롤링-Naver-login-후-구독-Feed-크롤링/
3. "쿠팡" 강의 내용 확인 결과 일부 항목이 웹에서 접근했을 때와는 조금 다르게 가져오는듯 합니다. 확인 결과 화면 중 약 80% 는 정상, 20%는 페이지에 존재하지 않는 값을 가져옵니다. (어쩌면 다음 페이지에 나오는 내용일 수도 있습니다) 또한 80% 의 항목도 웹 페이지와는 달리 순서가 조금 뒤죽박죽 섞인듯 보입니다. requests 만 써서 가져왔을 때 쿠팡에서 반환해주는 값에 차이가 있는듯한데, selenium 을 통한 결과를 비교해볼 필요가 있어 보이네요. 수업 시간에 결과 내용에 대해 전수 검사를 해볼 생각을 미처 해보지 못하여 내용에 오류가 있었던 점, 진심으로 사과 드립니다.
4. "프로젝트" 강의 내용 중 네이버 뉴스를 가져올 때 500 Server Error 가 나고 있습니다. 이 때는 requests 에 headers 로 여러분 PC 의 user-agent 를 넣어주시면 됩니다.
(예시)
def create_soup(url):
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"}
res = requests.get(url, headers=headers)
res.raise_for_status()
soup = BeautifulSoup(res.text, "lxml")
return soup
-----------------------------------------------------------------------------
아래 블로그에서 소스코드를 받으실 수 있습니다.
nadocoding.tistory.com/10
다음은 웹 스크래핑 목차입니다.
열심히 공부하시는 여러분들, 정말 대단합니다. ^^
[기본기]
(0:00:00) 0.Intro
(0:00:16) 1.소개
(0:02:03) 2.활용편3 소개
(0:07:26) 3.HTML
(0:16:51) 4.XPath
(0:28:12) 5.크롬
(0:31:45) 6.Requests
(0:39:26) 7.정규식 기본 1
(0:50:52) 8.정규식 기본 2
(0:58:56) 9.User Agent
(1:06:40) 10.BeautifulSoup4 기본 1 (네이버 웹툰)
(1:18:37) 11.BeautifulSoup4 기본 2
(1:28:13) 12.BeautifulSoup4 활용 1-1 (가우스 전자)
(1:39:26) 13.BeautifulSoup4 활용 1-2
(1:47:55) 14.BeautifulSoup4 활용 2-1 (쿠팡)
(2:00:11) 15.BeautifulSoup4 활용 2-2
(2:05:35) 16.BeautifulSoup4 활용 2-3
(2:15:22) 17.BeautifulSoup4 활용 2-4
(2:22:44) 18.BeautifulSoup4 활용 3-1 (다음 이미지)
(2:31:46) 19.BeautifulSoup4 활용 3-2
(2:41:09) 20.CSV 기본 1 (네이버 금융)
(2:49:55) 21.CSV 기본 2
(2:56:21) 22.Selenium 기본 1
(3:07:45) 23.Selenium 기본 2
(3:13:43) 24.Selenium 심화 (네이버 로그인)
(3:21:40) 25.Selenium 활용 1-1 (네이버 항공권)
(3:33:40) 26.Selenium 활용 1-2
(3:39:15) 27.Selenium 활용 2-1 (구글 무비)
(3:50:17) 28.Selenium 활용 2-2
(4:00:39) 29.Selenium 활용 2-3
(4:10:39) 30.Selenium 활용 2-4
(4:15:24) 31.Headless 크롬
(4:23:38) 32.Wrap Up
[퀴즈]
(4:32:21) 33.퀴즈 (다음 부동산)
[프로젝트]
(4:43:13) 34.프로젝트
(4:48:49) 35.오늘의 날씨 (네이버 날씨)
(5:02:06) 36.헤드라인 뉴스 (네이버 뉴스)
(5:10:26) 37.IT 일반 뉴스 (네이버 뉴스)
(5:18:22) 38.오늘의 영어회화 (해커스 영어)
(5:27:25) 39.Outro
@1814배종환 0:02:03 부터 설명하는 내용 봐주시면 됩니다 ^^
파이썬으로 모바일 앱도 만들수 있나요?
kivy 를 이용하시면 가능합니다만 파이썬으로 앱개발을 하는 것은 추천드리지 않습니다 ^^
@@nadocoding 앱개발에는 무슨 언어를 추천하시나요?
@@jaemingchoo 안드로이드 자바, 또는 코틀린이 좋지요. 크로스 플랫폼 개발을 위해서라면 플러터를 추천합니다. ^^
본 영상 중 Selenium과 관련하여, 파이썬 최근 버전을 사용하시는 분들(3.7 이상)의 경우에는 find_elements_by_~~가 아닌, find_element(by.~~, "~")로 작성하셔야 정상적으로 작동합니다.
selenium-python.readthedocs.io/locating-elements.html#locating-by-name
1:31:18
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 읽어주시지 그랬어요 ㅋㅋㅋㅋㅋㅋ 빵터지네요 ㅋㅋㅋ
웹툰 스크래핑 보다가 '인생이거'에서 빵 터졌어요!!ㅋㅋㅋㅋㅋㅋ 강의 재밌고 유익하게 만들어주셔서 감사합니다❤
오 너무 궁금했던 건데 감사합니다....^^
아직 다 시청하진 않았지만 구독 먼저 합니다.
드디어 나왔습니다~!!!!!! 고맙습니다!!!!!!
진짜 강의 대박이다........... 정말 잘봤어요 감사합니다!
진짜 미쳤어요 강의....50만원이라도 돈 주고 들을 것 같아요 큰 도움 얻어갑니다!!
Javascript 등 동적 콘텐츠를 다수 포함한 웹을 스크래핑 할 때에는 Selenium 보다 Scrapy, 혹은 request.html 렌더링을 통한 json 값을 가져오는 것을 권합니다.
너무너무너무너무 감사해요ㅜㅜㅜㅜ당신은 엔젤...
2:22:50
감사합니다 책 보다 훠~~얼씬 낫네요 요걸로 웹 페이지 기반 IT 제품 점검서를 만들려고 합니다 ㅎㅎㅎ
프로그램에서 selenium을 백그라운드에서 실행 시키고 beautifulsoup의 결과만을 이용할 수도 있나요?
영상을 보다보니 Headless 설명이 있군요!
^^ 맞습니다. 헤드리스를 이용하시면 됩니다
영상화질이 360p밖에 표시되지 않아 조금 불편합니다. 좋은 영상을 좋은 화질로 보고싶네요 ㅠ
업로드 직후라서 유튜브에서 처리하느라 시간이 조금 걸립니다. 늦어도 오후 중에는 이전과 같이 고화질로 보실 수 있을테니 조금만 기다려주세요 ^^
6시간짜리라 꽤 걸릴꺼에요 기달려주세요
바탕화면에 비쥬얼 스튜디오 코드가 사라졌어요. 오른클릭으로 다시설정 했는데 ~~ 지워졌을까요? 다시 다운로드 받으면 실행이 안되던데~
네이버 화면이 다 바뀌어 샘플 프로그램 테스트가 불가하네요. 아쉽습니다.
4:18:52 에서 WebDriverException: Message: unknown error: Chrome failed to start: was killed.
(unknown error: DevToolsActivePort file doesn't exist)
(The process started from chrome location C:\Program Files (x86)\Google\Chrome\Application\chrome.exe is no longer running, so ChromeDriver is assuming that Chrome has crashed.) 이렇게 오류가 나는데 어떻게 해결하면 좋을까요???????//?
강의가 너무 좋아서, 적은 돈이지만 후원을 하고 싶습니다. 어떻게 하면 되나요?
Selenium 버전이 업그레이드 되면서 일부 명령어가 변경되었습니다.
변경된 명령어를 사용하려면 아래 코드를 먼저 import해야 합니다.
from selenium.webdriver.common.by import By
변경된 명령어들은 다음과 같습니다.
button = driver.find_element_by_class_name("quiz_button")
button = driver.find_element(By.CLASS_NAME, "quiz_button")
element = driver.find_element_by_id("element_id")
element = driver.find_element(By.ID, "element_id")
element = driver.find_element_by_name("element_name")
element = driver.find_element(By.NAME, "element_name")
element = driver.find_element_by_link_text("element_link_text")
element = driver.find_element(By.LINK_TEXT, "element_link_text")
element = driver.find_element_by_partial_link_text("element_partial_link_text")
element = driver.find_element(By.PARTIAL_LINK_TEXT, "element_partial_link_text")
element = driver.find_element_by_tag_name("element_tag_name")
element = driver.find_element(By.TAG_NAME, "element_tag_name")
element = driver.find_element_by_css_selector("element_css_selector")
element = driver.find_element(By.CSS_SELECTOR, "element_css_selector")
element = driver.find_element_by_xpath("element_xpath")
element = driver.find_element(By.XPATH, "element_xpath")
너무너무 감사드립니다!!
ㅋㅋㅋㅋㅋ 재생시간봨ㅋㅋㅋㅋㅋㅋ
러닝타임 실화냐 라면서 와 이거 개고생 했을껀대라는 생각이 먼저드네요.
좋은 재능기부 감사해요.
3:24:21
혹시나 해서 올려요 저도 여기부분 네이버항공권 Html 디자인 변경된거같아서 튜토따라서 안되길래 find.element 모든 함수 다 테스트했는데.. 아래 처럼 xpath으로 따와서
time.sleep 텀 1초 주니 튜토리얼처럼 선택 됩니다. * 대신 튜토리얼처럼 날짜 변수 를 가져와서는 안되구 xpath 아예 절대경로?로 따왔어요.
밑에 보면 table 왼쪽 div[번호] 부분이있는데 2가 이번달 3이 다음달처럼 되어있어서 여기 부분 .format 으로 수정하면 될거같구.. * 물론 2021년 12월 8일 기준입니다.
tbody 오른쪽 tr[번호] 그리고 td[번호]가 있는데 여기가 1달치 로우 랑 컬럼으로 각각의 날짜 위치로 구성되어 있더라구요 여기도 .format 으로 수정하면 될거같습니다.
My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[4]/div/div/div[2]/div[2]/button[1]").click() # 됨
time.sleep(1)
My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[10]/div[2]/div[1]/div[2]/div/div[2]/table/tbody/tr[5]/td[2]/button").click() # 됨 이번달
My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[10]/div[2]/div[1]/div[2]/div/div[3]/table/tbody/tr[2]/td[4]/button").click() # 됨 다음달
이렇게 튜토리얼 올려주셔서 감사합니다.
xpath copy 하면 왜 저는 //*[@id="__next"]/div/div[1]/div[11]/div[2]/div[1]/div[2]/div/div[2]/table/tbody/tr[5]/td[3]/button // 이렇게 div[11]으로 뜰까요? 작성자님꺼 따라 [10]으로 해봤더니 잘되긴하는데 ㅠㅠ
@@jdlim6208 아마 해당 테이블 공간이 없는 월일 이라서 그럴수도 있어욤.. f12 콘솔 로그 창에 찍어서 해당값 확인 해봐도 괜찮을거같아요 ㅎㅎ
와 여기서 막혔는데 타임슬립한번에 다 되네요 미쳤다,, 진짜 감사합니다 ㅠㅠㅠㅠㅠㅠ 텀이 필요할 줄은 상상도 못했네요 배워갑니다!
@@airplaiii good bb
타임슬립...감사합니다!
도서관에서 근무하고 있는데 덕분에 업무의 80퍼센트는 자동화 시킨 것 같아요. 좋은 강의 감사합니다~! 빨리 뇌를 쥐어 짜서 나머지 활용편 강의도 해주세요 ^..^
(나코님 강의 최대 단점)
나코님 강의를 듣다보면 다른 사람 강의를 못 듣겠음....(진심) 이 강의만 찾게 됩니다
마저요... 최대의 단점이죠^^
영상은 길어보이는데 보면 몇시간이훌쩍 지나가 있음 ㅋㅎ
님은 천재이자 나의 영웅임..
진정으로 감사 합니다. 많은 도움이 되였습니다.
1:31:18
인생... ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
'인생...이거랑 'ㅋㅋㅋ
1:06:44
현재 네이버 웹툰 소속의 웹페이지들에서는 이 내용을 제대로 실습할 수 없군요.
with open("gausselectronics.html", "w", encoding="utf8") as f:
f.write(res.text)
이런 방식으로 긁어보니 는 다 복사되어 들어오는데 쪽은 하나도 복사되어 들어오지 않습니다.
네이버 웹툰 쪽에서 뭔가를 막아놓은 것인지...
다행히 네이버 부동산에서는 해당 내용들을 실습 가능합니다.
이제는 웹툰아예 안되네요 ㅋㅋㅋㅋ ㅠㅠ 그냥 따라서 치기만 하고 끝내놓습니다. 웹 크롤링이 많이 어려워졌네요..
이 강의 포인트
인생~ ... 네 이 만화도 있네요 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ
1:31:17
잘 보고 있습니다!
... 강의 중에 제목 보고 순간 뇌정지 왔어요 ㅋㅋㅋㅋㅋㅋ
@@nadocoding 아내랑 같이 보다가 이 장면 보고 한참 폭소했네요
깨알 재미 감사합니다 ㅎㅎㅎㅎㅎㅎㅎㅎ
아 근데 잘못하다가 영상 수익 문제 생기면 진짜 힘들겠다...
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 나도코딩님의 순발력에 감탄!!
앜ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
ㅠㅠㅠ 쿠팡 url을 requests.get 으로 받아오려고 하면 파이썬이 먹통이 되버리네요.....ㅠㅠ
전체적으로 훑어봤는데 중간중간 기본적인 팁들도 있고 실습프로젝트들로 csv,이미지,text들을 스크래핑하는 법에 대해서 자세하게 알려주셔서 유료강의급 퀄리티로 설명이 잘되있네요 ㅎㄷㄷ, 딥러닝 관련 강의는 하실 계획이 없으신가요?
코딩의 천사가 돌아오셧다 드디어ㅠㅠ 감동입니다
컴공2년차: 처음으로 코딩이 재밌어졌다.
fdzz
ㄹㅇㅋㅋ
재능기부 감사합니다. 강의 너무 잘 보고 있어요~ 이번 강의도 빨리 실습해야겠네요. 다음 강의도 기대할게요^^
진짜 댓글을 달지 않을래야 안달을수가 없을정도입니다.
정말 유튜브 강좌중에 최고입니다!!
저도 프로그래머이긴 하지만 웹프로그래머가 아니라 파이썬 크롤링 자료를 찾아봐도 이렇게 상세하고 자세하게 설명된 강좌가 없었는데,
정말 긴시간동안 상세하게.... 설명해주시니 감동입니다.
또 강의하시는 목소리도 아주 듣기 좋고요.. 강의듣는 분들을 위해 매 스크립트 마다 삭제하지 않고 주석으로 남겨놓는등...
강의 스킬이 엄청 나신것 같습니다.
너무 좋은 영상봐서 기분 좋습니다^^
앞으로도 좋은 영상 부탁드리겠습니다~ 꾸벅~
강의 시간이 너무 길어서 학습자분들께 반감을 사진 않을까 걱정했는데 이렇게 말씀해주시니 고개 숙여 감사드립니다. 더 좋은 강의를 계속 만들 수 있도록 최선을 다하겠습니다. ^^ 좋은 하루 보내세요!
목차를 세심하게 나눠서 타임라인 설정해 주셔서 어느정도 배경지식이 있는 사람은 좀 더 빠르게 볼 수 있는것 같아요 진짜 정말 감사합니다 ㅠㅠ
와 진짜 공감...노배경도 도움이 되겠지만, 배경 지식 있으면, 필요한 부분만 듣기 너무 편했어요. 정말 공감입니다.
댓글로나마 감사합니다.
비전공자에게 정말 단비같은 영상!!
네이버 항공권에서elements link_text("27") 등 똑같이 했는데 list index out of range 라고 나옵니다ㅠ 뭐가 잘못된걸까요
쿠팡 url 따서 코드 돌리면 왜 안돌아갈까요? ㅜㅜ 다른 페이지는 다 돌아가던데 쿠팡만 url따서 돌리려고하면 안돌아가네오 ㅠㅠ
저도요ㅠㅠㅠ
저도 쿠팡 안 됩니다 ㅜㅜ
@@정세영-i3d 저 그거 resquests.get이었나 뭐 하나 안써줘서 나오는 오류였어요! 한번 다시 살펴보시면 풀릴지도 몰라요...!
중간 중간에 광고 뜨면 휴식도 할겸 정주행 합시다!~
감사합니다 나도코딩님!
인생이거 ㅋㅋㅋ 한참 웃었습니다.
항상 좋은 강의 감사합니다!
ㅋㅋㅋㅋㅋ
나도코딩님이 유료 강의해도 찾아서 볼 것 같아요 ㅠㅠ 요새 하루종일 나도코딩님 강의 보고 따라하다가 시간 다 가네요 ㅎㅎ 벌써 파이썬 나온 강의 중 마지막이라니!!! 다음 것들도 너무 기대돼요 ㅎㅎ 원래 남은 강의가 없어질수록 좋아야 하는데 너무 너무 아쉬울 정도로 강의가 좋네요 😊 이번 편도 잘 마무리하겠습니다! 좋은 강의 항상 감사합니다 !!!!!!!!! 파이팅 ୧ʕ•̀ᴥ•́ʔ୨
나 혼자로는
도 달할 수 없었던 수준도,
코 꿰여 따라가다 보면
딩 동댕 울리는 성공(고수)의 길!
.find_element_by_class_name 안 되시는분들은 .find_element("class name", "link_login") 입력하시면 정상 작동됩니다 !
감사합니다.
방법 찾느라고 헤매는 시간을 많이 줄여주셨습니다.
나도코딩님
이번 강의도 감사히 잘 시청하겠습다. ~~
최고최고최고.. ^^
나도코딩님, 쿠팡사이트는 requests.get()을 하면 user-agent가 있어도, 접속이 되었다 않되었다 하는데, 이건 쿠팡측에서 homepage를 스크래핑못하도록 막아둬서 그런건가요?
솔직히 광고 더나와야함...
구독을 안하게 할 수 없는 영상이네요..;; 잘보고 갑니다
안녕하세요
아래 질문에서
"find_elements_by_class_name"서 오류가 나와 찾아 봤는데요
selenium 새4버전 부터 바뀌었다구 바뀌었다고 그러네요
selenium을 설치 한것이 22/12/2 오늘이라 그런가봐요 ㅠㅠㅠ
저의 파이썬버전은 3.10.4 이구요, 윈도우11 입니다.
초보 초보 왕초보 이라서 설명을 보고도
어떻게 대처 해야 할지 ㅠㅠㅠ
도와 주세요
감사 합니다.
조회수 100만예감 !!!
최고의 유튜버로 추천하고 싶당...
연필로 복기하면서 되새기로 있어요.. /
안녕하세요.
맥북유저입니다
강의 내용중 pip installs requests 를 실행시 command not found 라는 메시지가 나오며 진행이 불가합니다.
해결방법이 있는 블로그를 찾아 공유합니다.
blog.nachal.com/1530
수고링
정말 좋은 강의 너무 감사합니다. 기초편부터 계속 공부하고 있고 덕분에 Python에 대해 깊이 있게 나아갈 수 있는 바탕이 되고 있다고 생각합니다. 계속 열심히 시청하겠습니다.
pip : 'pip' 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프로그램 이름으로 인식되지 않습니
다. 이름이 정확한지 확인하고 경로가 포함된 경우 경로가 올바른지 검증한 다음 다시 시도하십시오.
위치 줄:1 문자:1
+ pip install requests
+ ~~~
+ CategoryInfo : ObjectNotFound: (pip:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException
이렇게 나오는데 어떻게하죠?
파이썬 설치할때 Add python 3.x to path 부분 체크가 안되었나봐요. 아래 링크의 설명을 따라 환경변수 설정을 직접 해주셔도 되구요
환경변수 등록 : oz-il.tistory.com/m/21
아니면 임시로 파이썬 설치경로 밑의 Scripts 폴더로 가셔서 pip 명령을 수행하셔도 됩니다.
예) C:￦Python38￦Scripts￦pip install [패키지]
위 방법이 어렵다면 아래 링크의 설명을 따라 파이썬을 아예 삭제하신 후에 다시 설치를 해보실 수 있나요?
삭제 : copycoding.tistory.com/58
설치(파이썬 부분만 보세요) : nadocoding.tistory.com/4
넵
역시...오늘도 재미있고 유익한 강의군요!!! 오늘도 잘 보고갑니다
requests 편을 막 들어갔는데.. 터미널에서 pip install requests 를 입력하니까 pip 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프록르매 이름으로 인식되지 않습니다. 이름이 정확한지 확인하고... 등등의 메세지가 나오는 데 어떻게 해야 할까요 ㅠ
그거슨........ 바로바로 환경 변수 등록이 잘되지 않았기 때문입니다!
환경 변수란 무엇이냐~
"내 컴퓨터에 python 프로그램은 여기 설치되어 있음"을 알려주는 겁니다.
윈도우 사용자라면 파이썬 설치할 때 Add path to python 을 체크 했었는지 기억해 보시고.
안 하셨다면 기존 파이썬을 지우고 새로 설치 해보세요.
맥 사용자라면 pip3 install requests로 해보시길 바랍니다. 큐큐
강의 잘 듣고 있습니다. 구글링, 유튜브 등을 통해 단편적으로 알고 있던 내용들이 총정리되어 진심으로 감사드립니다. 항상 좋은 일만 가득하시길 바랍니다~^^
감사합니다 크게되실겁니다...
3:34:10, 4:28:49 에서 해당하는 element 로딩될 때까지 기다리는 부분에서 새로 import하고 작성해야하는 부분이 많은데 드라이버에 해당 기능을 하는 매소드가 있습니다. browser.implicitly_wait(10) 이 매소드를 맨 위에서 작성해주시고 진행하시면 모든 로딩에 암묵적으로 10초 대기 시간이 적용되어서(최대 10초 기다리는데 그 전에 로딩 끝나면 바로 진행) 편하게 사용할 수 있어요
고퀄 강의를 무료로 제공해 주셔서 감사합니다.
쿠팡이 예제에서 문서를 가져오지 못하는데 막혀있는것같은데 header정보를 추가해도 안되네요
25:39 저장. - 6시간짜리 2시간 정도 보다가 실습 한번 해보고 다시 거꾸로 교재 보려고 여기왔습니다.
조금 전 퀴즈 전까지는 시청 완료 했습니다. 재밌었어요 ㅎㅎ
두가지 막힌게 있는데 첫번째는 네이버 로그인 입니다.
영상에서는 id와 pw를 잘못입력해서 자동입력방지 페이지로 가는줄 알았는데
제 아이디랑 비번을 입력해도 그 화면으로 가네요 헤더 설정을 해주면 로그인 되겠죠??
// 네이버에서 캡챠로 막아서 안되는 거였네요 ㅎ 구글링을 시도해서 로그인 성공했습니다.
하지만 이것도 언제까지 가능할지는 장담 못하는건가보네요 ㅎㅎ
두번째는 구글 영화 검색할때 입니다.
"Accept-Language":"ko-KR,ko" 이것으로 헤더 설정을 해도 영상처럼 html을 긁어오지 못하네요 ㅜ_
혹시 다른 방법이 있을까요??
2:56:21
강의를 들을때마다 속이 시원하다는 느낌을 받습니다.
궁금했던 내용을 잘 설명해주셔서...
꼭 완강 하겠습니다.
감사합니다.
완강 했습니다. 동적 크롤링에 대한 개념이 생겼습니다.
정말 감사합니다.
진짜 너무 귀중한 강의감사합니다... 1:31:15 부근 인생존망을 인생 이거로 바꿔부르시는거에서 빵터졌어요 .ㅎㅎ
기초6시간교육부터 양질의 강의 정말 감사합니다. 이번 강의도 완강을 목표로!
3:36:40 에서, elem = WebDriverWait(browser, 10).until(EC.presence_of_all_element_located((By.XPATH, "//*[@id='content']/div[2]/div/div[4]/ul/li[1]")))
을 넣고 실행하니
'selenium.webdriver.support.expected_conditions' has no attribute 'presence_of_all_element_located' 이런 오류가 뜨는데 저만 그런가요?
모든 코드를 다 따라 쳐도 저 오류가 나오네요...
그래서 presence_of_all_element_located에 elements로 바꾸니 또 에러가 안남. 이해가 안되네요 ㅜ
우와 2번째 댓글이네요 ㅎㅎ '6시간 파이썬' 강좌 듣고 있었는데 신기해요~~
나도코딩님이 올려주신 귀중한 동영상으로 코딩을 공부하고 있습니다.
올려주신 내용중에 시간 2시간 47분 정도에 네이버 금융정보 가져오기에서 전일비 자료 가져오기 코딩이 있습니다.
그런데 전일비 내용에서 네이버 화면에서는 삼각형 표시로 등락을 표시했는데 F12 개발자모드에서는 빈공간 표시로 되어있고 스크래핑 해 보면 등락에 상관없이
숫자만 찍혀 있습니다. 등락을 따로 가져올수 있는 방법이 있을까요?
언제나 좋은 하루 되시고 건강하세요~~
안녕하세요. 덕분에 항상 즐겁게 배우고 있습니다. 이번 크롤링 강의도 너무 유익하네요 ㅎㅎ
그런데 쿠팡의 노트북 검색결과 화면을 url로 지정하고 requests로 불러올 때 어떤 에러메시지도 없이 프로그램이 계속 돌아가기만 합니다.
User Agent를 입력해도 마찬가지구요.
혹시 코드가 잘못된 것일까 싶어서 다른 사이트로 해보면 잘 됩니다.
그 사이에 쿠팡이 크롤링을 차단한 것일까요? 혹시 현재도 가능한지 확인 한번만 해주시면 정말 감사하겠습니다.
쿠팡은 문제 있는거 맞아요
@@azrthartjhsrtj 아 그렇군요~ 감사합니다^^
안녕하세요~
1시간 9분쯤에 나오는 soup = BeautifulSoup(res.text, "lxml")
print(soup.title)부분에서 다른 사이트에서 하게 되면 한글이 깨져서 불러와지던데요
이런 경우에는 어떻게 해결 할 수 있을까요?
파이썬으로 RUN 해서 크롤링까진 완료했습니다. 하지만 더 중요한건, 이 정보를 활용하는 것인데
그 중에서 가져온 정보를 내 웹사이트(html 파일)에 업로드 하는 법은 어떻게 하나요..?
정보를 모았으나, 활용을 전혀 못 하고 있습니다 ㅜ
공부든 뭐든 12시간을 연속으로 계속한다는게 너무 힘든데 나도코딩님 강의는 시간가는 줄 모르고 하루내내 따라하고있습니다. 뭔가 만들어낸다는게 너무 재밌네요~~일적으로 취미로 추후 접목시킨다는 마음으로 즐겁게 배우고있습니다. 감사합니다.
3:24:01 네이버 항공권 메뉴에서 태그가 없고 태그가 있어 class name, 가는날 선택, xpath 까지 모두 적용해서 불러보았으나, 가는날 태그의 캘린더가 열리지가 않네요~ 무슨 다른 방법이 있을까요?
저도 모달이 안눌러져서 이래저래 해보다가, xpath로 달력 우상단에 있는 달력/미정 버튼 두번 딸깍 해 주니 되네요.
정말 강의 너무너무 감사해요~!! 진짜 재밌게 공부하고 있습니다!^^
User-Agent 를 넣어도 안되는거면... 쿠팡이 막은걸까요...?ㅠㅠ
저도 그랬는데 쿠팡이 무엇으로 체크하는지 몰라 헤더 정보를 더 많이 넣었더니 되네요. headers = {"accept-language":"ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7","accept-encoding":"gzip, deflate, br","accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9","sec-fetch-mode":"document","sec-fetch-mode":"navigate", "sec-fetch-site":"none","sec-fetch-user":"?1","upgrade-insecure-requests":"1","user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"}
@@lifenggui 이거때문에 몇시간동안 구글이며 다 뒤지다가 결국 포기했는데
덕분에 해결했습니다.. 너무 감사드립니다ㅠㅠ
혹시, 헤더에 헤더만 넣지 않고, 앞의 값들을 넣으면 되는 이유가 뭘까요..?
앞의 긴 값들은 뭘 의미하나요? ㅠㅠ
@@lifenggui 몇 시간 고민하고 고생했는데, 한방에 해결해 주셨습니다. . 왜 그러는지 이해는 안되지만 해결은 되네요. 감사합니다~~
@@lifenggui 감사합니당
@@lifenggui 포기할까 했는데 덕분에 해결 됐습니다. 감사합니다.
기초 강의부터 정말 많은 도움이 되었습니다.
진심으로 감사드립니다....^^
인생 이거..ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 당황하신 게 티가 나서 빵터졌습니다ㅠㅠㅋㅋㅋㅋㅋ 저 만화 진짜 재밌으니까 꼭 보세요 쓰앵님 ㅋㅋㅋㅋㅋㅋ
나도코딩님 영상보면서 독학하고 코딩학원 다녀서 전문적으로 배워보자했는데 답답해서 하루만에 환불받고, 다시 유튜브로 공부하고있습니다. 감사합니다
저도 학원 다녔었는데.. 유튜브 유명 개발자 강의 동영상만 봐도 실력 많이 늘어요 ㅎㅎ!
안녕하세요! 질문드립니다. 우리가 BeautifulSoup을 통해서 사이트의 웹정보를 빼올때 "lxml"로 쓰는 것과 "html.parser"로 쓰는 것의 차이점이 궁금합니다!
혹시 아셨나요?? 저도 궁금..
정말 큰 도움 되었습니다. 항상 행복하시고 복받으실거에요!
강의 정말 잘 보고 있습니다. 프로젝트에서 헤더 정보가 없을 경우 뉴스 정보를 불러 오지 못하네요
알려주셔서 감사합니다. 확인 후 고정댓글에 변경사항 공유하도록 하겠습니다 ^^
저는 lxml이 왜 설치가 안되는지??? ㅠㅠ 죄송하지만 이메일로 에러화면 캡쳐해서 보내드렸는데요. 뭐가 문제인지 알려주시면 감사하겠습니다. 부탁드려요~~~
1일차 (05.13) 00:16:51
2일차 (05.14) 00:33:01
3일차(05.20) 02:06:05
vs code에서 python interpreter를 경로를 지정해 설정해주어도 아무런 변화가 없습니다. python은 찾기 쉽도록 C 드라이브에 바로 설치했습니다. 혹시 답변을 주실 수 있습니까?
helloworld.py 파일을 생성하시고 소스코드 작성 후 실행하시면 어떻게 되나요?
활용편3 너무나 기다렸습니다!!!!! 좋은 강의 올려주셔서 항상 감사합니다
선생님 멋있습니당ㅠㅠㅠ
이번 영상도 클리어했습니다! 항상 고품질의 강의 영상을 올려주셔서 감사합니다~~~!!!!
ip를 계속 바꿔가면서 크롤링할 수 있는 방법은 없을까요?
어... 있지만 그 내용은 강의에서 다루지 않겠습니다 ㅎㅎ 구글링 하시면 금방 나올거에요 ^^
크롤링 하려는 페이지 에서 다음 페이지 가기가 주소창은 변하지 않고
27
위 구문으로 가게 되어 있습니다.
그래서 xpath 와 find_elements 로 페이지 이동을 해야 하는데
browser.find_elements_by_link_text("27")[0].click() # [0] -> 이번달
browser.find_elements_by_link_text("28")[1].click() # [1] -> 다음달
위 구문에서 ("27") ("28") 부분을 변수로 만들거나
browser.find_element_by_xpath("//*[@id='pager']/li[3]/a").click()
위 구문에서 [3] 부분을 변수로 만들어야 하는데
이것저것 해봐도 에러만 나고 방법을 모르겠습니다.
변수로 만들어서 변수값 증가하면 페이지 이동이 가능하게 도와 주세요.
강의 감사 드립니다..
메일로 알려드린 방법이 안되시던가요?
for i in range(1, 32):
browser.find_elements_by_link_text(str(i))[0].click()
@@nadocoding 잘됩니다.. 여기는 메일을 안보시나 해서 리플을 달았습니다. 감사합니다.
@@salestory 그러셨군요. 새로 주신 메일은 내용 확인 후 다시 답변 드리겠습니다 ^^
개발자님 안녕하세요
headers 가 먼지 따로 알려주세요
3:04:19
elem = browser.find_element_by_class_name('link_login')
하면 'WebDriver' object has no attribute 'find_element_by_class_name'이 뜨는데 혹시 어떻게 해결하는지 아시나요ㅠㅠ
selenium이 업데이트 되면서 find_element_by_ 는 사라졌다고 하네요
@@__-qj3eq 아 find_element(By.-)로 하니까 되네요! 정말 감사합니다
BeautifulSoup4 까지 끝냈습니다. 이번달까지 웹스크래핑 완강하는게 목표입니다 ! 취업연계학원알아봤고, 다음달말부터 수강할 계획입니다 . 앞으로도 계속 함께하겠습니다 !
기본편에 더해서, 웹스크래핑 강의까지 매우 감사한 시간이었습니다.
사내에서 쓰는 ERP가 WEB기반이라서 일부 업무를 자동화할 수 있었네요.
코드를 가다듬어야하고, 모듈화해서 정리해야하지만 개인적으로 아주 뜻깊은 성취가 아닐 수 없었습니다.
지금 몇몇 남은 업무 중 GUI 및 엑셀 자동화가 필요한 업무들도 있는데, 너무 기대됩니다.
저는 이제 GUI수업으로 넘어가고, 복습을 좀 해야겠네요 ㅎㅎ
from selenium import webdriver
browser = webdriver.Chrome()
elem = browser.find_element_by_id("query")
elem쓰고 마지막에
from selenium.webdriver.common.keys import keys이거 썻더니
cannot import name 'keys' from 'selenium.webdriver.common.keys이렇게 나오네요 왜 없는거죠??
Keys 의 K 를 대문자로 적어보세요 ^^
너무나 유익한 영상~ 감사 드려요. 쭉 5시간 짜리 다봤네요 ㅎㅎ 재능기부 감사 드립니다. 좋아요 꾹우우욱 누르고 갑니다!!
안녕하세요 강의 잘 보고 있습니다.. 다름이 아니라 soup = BeautifulSoup(res.text,"lxml")으로 soup 객체를 만든 뒤, print(soup.a)를 치면 터미널 창에 none으로 나오는데 이 문제를 해결할 수 있을까요??ㅠㅠ 부탁드립니다.
저도요ㅠ 그냥 네이버 스포츠 사이트에서 실습해볼려고요
감사합니다 기본 판다스 듣고 이거 듣습니다.. 정말 좋아요
선생님 안녕하세요! 문과출신에서 이직을 준비하기 위해 퇴사 후 열심히 공부중인 학생입니다!
파이썬 기본편도 덕분에 잘 따라갈 수 있었고, 기본편 이해를 바탕으로 선생님의 웹스크래핑 강의를 잘듣고 있는데요!
열심히 따라하던 도중 코드 실행을 누르면 vscode 터미널에서 렉이 걸린 건지 작동을 하지 않고 있습니다ㅜㅜ...
가우스 전자까지는 아무런 문제없이 출력이 되는데, 쿠팡으로 넘어온 뒤부터
정상 코드임에도 불구하고 터미널에서 어떠한 값도 출력을 하지 않습니다...ㅜㅜㅜ
cls를 하려고 해도 타자 조차 쳐지지 않습니다.. 이럴 땐 어떻게 해야할까요...?
제 노트북 사양문제인지 알고 게이밍용 컴퓨터로 작동을 해도 터미널에서 작동을 하지 않네요...ㅜㅜ
답변이 늦어 죄송합니다.
프로그램이 응답없음 상태가 되버리신건가요? 가장 깔끔한 해결책으로는 vscode 삭제 후 재설치를 시도해볼 수 있겠습니다..
저도 그런데 headers를 넣어주니까 잘되더라구요!
@@moneywood7790 headers 를 넣어도 안되면... 우짜죠...?ㅠㅠ
혹시 해결하셨을까요?
네이버 웹툰으로 크롤링하는 거 보고 개발자모드 켜서 하는데 잘 안되서 잘 못하고 있나 싶어서 네이버 뉴스 크롤링하니깐 되는데 크롤링이 됩니다. 크롤링이 안되도록 막을 수도 있는건가요??
네
궁금한게 있어요 현재 제작중이신 업무 자동화 에서 구글 스프레드시트도 포함 되어있나요!?
구글 스프레드시트는 포함되지 않습니다. 엑셀은 포함되므로 엑셀에서 작업하신 후 스프레드시트와 연동하는 방안으로 고려해볼 수 있습니다.
전공 강의에서 커버하지 못하는 부분을 항상 여기에서 많이 얻어가게 되네요
댓글 잘 안다는 편인데 혼자 구글링하며 끙끙거리던 부분을 무료강의 하나로 해결할 수 있게 되어서 너무 감사하다는 말씀 드리고 싶습니다.
파이썬 활용은 무궁무진하니까 염치없지만 앞으로도 활용강의 꾸준히 올라오길 기대하고 있겠습니다