📣 안내 드립니다. (23년 3월) 본 강의에서 다루는 쿠팡, 네이버 웹툰, 티스토리 등 웹 스크래핑 대상 사이트들은 강의 촬영 시점 이후에 지속적인 업데이트 및 개편으로 인해 페이지가 변경되었습니다. 또한 selenium 버전이 올라감에 따라 일부 기능은 더 이상 사용할 수 없게 된 부분도 있습니다. 이에 따라 실습 내용 중 많은 부분을 따라하기 힘든 문제가 발생하고 있습니다. 새롭게 강의를 수강하시는 분들은 이 점을 감안하셔서 학습 부탁드리며, 강의에서 보여드리는 모든 실습을 따라하기보다는 당시의 페이지 상황에 따라 어떻게 접근할 수 있는지에 대한 이해도를 높이는 목적으로 강의를 활용 부탁드립니다. 학습에 불편드려 대단히 죄송합니다. --------------------------------------------------------------- [웹 스크래핑 변경사항] 1. "티스토리"는 UserAgent 를 변경하지 않아도 정상적으로 html 을 받아옵니다. 2. "네이버"는 로그인 시도 시 자동입력방지 문자 입력 페이지가 뜹니다. 우회방법으로 자바스크립트를 이용하는 방법이 소개된 링크를 참고해주세요. jaeseokim.github.io/Python/python-Selenium을-이용한-웹-크롤링-Naver-login-후-구독-Feed-크롤링/ 3. "쿠팡" 강의 내용 확인 결과 일부 항목이 웹에서 접근했을 때와는 조금 다르게 가져오는듯 합니다. 확인 결과 화면 중 약 80% 는 정상, 20%는 페이지에 존재하지 않는 값을 가져옵니다. (어쩌면 다음 페이지에 나오는 내용일 수도 있습니다) 또한 80% 의 항목도 웹 페이지와는 달리 순서가 조금 뒤죽박죽 섞인듯 보입니다. requests 만 써서 가져왔을 때 쿠팡에서 반환해주는 값에 차이가 있는듯한데, selenium 을 통한 결과를 비교해볼 필요가 있어 보이네요. 수업 시간에 결과 내용에 대해 전수 검사를 해볼 생각을 미처 해보지 못하여 내용에 오류가 있었던 점, 진심으로 사과 드립니다. 4. "프로젝트" 강의 내용 중 네이버 뉴스를 가져올 때 500 Server Error 가 나고 있습니다. 이 때는 requests 에 headers 로 여러분 PC 의 user-agent 를 넣어주시면 됩니다. (예시) def create_soup(url): headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"} res = requests.get(url, headers=headers) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") return soup ----------------------------------------------------------------------------- 아래 블로그에서 소스코드를 받으실 수 있습니다. nadocoding.tistory.com/10 다음은 웹 스크래핑 목차입니다. 열심히 공부하시는 여러분들, 정말 대단합니다. ^^ [기본기] (0:00:00) 0.Intro (0:00:16) 1.소개 (0:02:03) 2.활용편3 소개 (0:07:26) 3.HTML (0:16:51) 4.XPath (0:28:12) 5.크롬 (0:31:45) 6.Requests (0:39:26) 7.정규식 기본 1 (0:50:52) 8.정규식 기본 2 (0:58:56) 9.User Agent (1:06:40) 10.BeautifulSoup4 기본 1 (네이버 웹툰) (1:18:37) 11.BeautifulSoup4 기본 2 (1:28:13) 12.BeautifulSoup4 활용 1-1 (가우스 전자) (1:39:26) 13.BeautifulSoup4 활용 1-2 (1:47:55) 14.BeautifulSoup4 활용 2-1 (쿠팡) (2:00:11) 15.BeautifulSoup4 활용 2-2 (2:05:35) 16.BeautifulSoup4 활용 2-3 (2:15:22) 17.BeautifulSoup4 활용 2-4 (2:22:44) 18.BeautifulSoup4 활용 3-1 (다음 이미지) (2:31:46) 19.BeautifulSoup4 활용 3-2 (2:41:09) 20.CSV 기본 1 (네이버 금융) (2:49:55) 21.CSV 기본 2 (2:56:21) 22.Selenium 기본 1 (3:07:45) 23.Selenium 기본 2 (3:13:43) 24.Selenium 심화 (네이버 로그인) (3:21:40) 25.Selenium 활용 1-1 (네이버 항공권) (3:33:40) 26.Selenium 활용 1-2 (3:39:15) 27.Selenium 활용 2-1 (구글 무비) (3:50:17) 28.Selenium 활용 2-2 (4:00:39) 29.Selenium 활용 2-3 (4:10:39) 30.Selenium 활용 2-4 (4:15:24) 31.Headless 크롬 (4:23:38) 32.Wrap Up [퀴즈] (4:32:21) 33.퀴즈 (다음 부동산) [프로젝트] (4:43:13) 34.프로젝트 (4:48:49) 35.오늘의 날씨 (네이버 날씨) (5:02:06) 36.헤드라인 뉴스 (네이버 뉴스) (5:10:26) 37.IT 일반 뉴스 (네이버 뉴스) (5:18:22) 38.오늘의 영어회화 (해커스 영어) (5:27:25) 39.Outro
Selenium 버전이 업그레이드 되면서 일부 명령어가 변경되었습니다. 변경된 명령어를 사용하려면 아래 코드를 먼저 import해야 합니다. from selenium.webdriver.common.by import By 변경된 명령어들은 다음과 같습니다. button = driver.find_element_by_class_name("quiz_button") button = driver.find_element(By.CLASS_NAME, "quiz_button") element = driver.find_element_by_id("element_id") element = driver.find_element(By.ID, "element_id") element = driver.find_element_by_name("element_name") element = driver.find_element(By.NAME, "element_name") element = driver.find_element_by_link_text("element_link_text") element = driver.find_element(By.LINK_TEXT, "element_link_text") element = driver.find_element_by_partial_link_text("element_partial_link_text") element = driver.find_element(By.PARTIAL_LINK_TEXT, "element_partial_link_text") element = driver.find_element_by_tag_name("element_tag_name") element = driver.find_element(By.TAG_NAME, "element_tag_name") element = driver.find_element_by_css_selector("element_css_selector") element = driver.find_element(By.CSS_SELECTOR, "element_css_selector") element = driver.find_element_by_xpath("element_xpath") element = driver.find_element(By.XPATH, "element_xpath")
공부기록 4/13 58:58 4/14 1:47:54, 2:17:48 4/15 2:56:19 4/18 3:21:41, 4:13:53 4/20 4:56:26 4월 20일 완강했습니다. 진짜 좋은 강의 감사합니다. 무료로 들을만한 강의가 아닌데 너무 도움이 많이 되었어요. 나도코딩님 덕분에 코딩에 재미도 붙이고 원래 데이터 분석가 신입으로 취업했는데 개발자자로 커리어전화 해보고 싶을정도로 너무 재밌는 강의였습니다. 앞으로도 좋은 강의 많이 부탁드립니다.
진짜 댓글을 달지 않을래야 안달을수가 없을정도입니다. 정말 유튜브 강좌중에 최고입니다!! 저도 프로그래머이긴 하지만 웹프로그래머가 아니라 파이썬 크롤링 자료를 찾아봐도 이렇게 상세하고 자세하게 설명된 강좌가 없었는데, 정말 긴시간동안 상세하게.... 설명해주시니 감동입니다. 또 강의하시는 목소리도 아주 듣기 좋고요.. 강의듣는 분들을 위해 매 스크립트 마다 삭제하지 않고 주석으로 남겨놓는등... 강의 스킬이 엄청 나신것 같습니다. 너무 좋은 영상봐서 기분 좋습니다^^ 앞으로도 좋은 영상 부탁드리겠습니다~ 꾸벅~
1:06:44 현재 네이버 웹툰 소속의 웹페이지들에서는 이 내용을 제대로 실습할 수 없군요. with open("gausselectronics.html", "w", encoding="utf8") as f: f.write(res.text) 이런 방식으로 긁어보니 는 다 복사되어 들어오는데 쪽은 하나도 복사되어 들어오지 않습니다. 네이버 웹툰 쪽에서 뭔가를 막아놓은 것인지... 다행히 네이버 부동산에서는 해당 내용들을 실습 가능합니다.
3:34:10, 4:28:49 에서 해당하는 element 로딩될 때까지 기다리는 부분에서 새로 import하고 작성해야하는 부분이 많은데 드라이버에 해당 기능을 하는 매소드가 있습니다. browser.implicitly_wait(10) 이 매소드를 맨 위에서 작성해주시고 진행하시면 모든 로딩에 암묵적으로 10초 대기 시간이 적용되어서(최대 10초 기다리는데 그 전에 로딩 끝나면 바로 진행) 편하게 사용할 수 있어요
3:24:21 혹시나 해서 올려요 저도 여기부분 네이버항공권 Html 디자인 변경된거같아서 튜토따라서 안되길래 find.element 모든 함수 다 테스트했는데.. 아래 처럼 xpath으로 따와서 time.sleep 텀 1초 주니 튜토리얼처럼 선택 됩니다. * 대신 튜토리얼처럼 날짜 변수 를 가져와서는 안되구 xpath 아예 절대경로?로 따왔어요. 밑에 보면 table 왼쪽 div[번호] 부분이있는데 2가 이번달 3이 다음달처럼 되어있어서 여기 부분 .format 으로 수정하면 될거같구.. * 물론 2021년 12월 8일 기준입니다. tbody 오른쪽 tr[번호] 그리고 td[번호]가 있는데 여기가 1달치 로우 랑 컬럼으로 각각의 날짜 위치로 구성되어 있더라구요 여기도 .format 으로 수정하면 될거같습니다. My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[4]/div/div/div[2]/div[2]/button[1]").click() # 됨 time.sleep(1) My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[10]/div[2]/div[1]/div[2]/div/div[2]/table/tbody/tr[5]/td[2]/button").click() # 됨 이번달 My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[10]/div[2]/div[1]/div[2]/div/div[3]/table/tbody/tr[2]/td[4]/button").click() # 됨 다음달 이렇게 튜토리얼 올려주셔서 감사합니다.
xpath copy 하면 왜 저는 //*[@id="__next"]/div/div[1]/div[11]/div[2]/div[1]/div[2]/div/div[2]/table/tbody/tr[5]/td[3]/button // 이렇게 div[11]으로 뜰까요? 작성자님꺼 따라 [10]으로 해봤더니 잘되긴하는데 ㅠㅠ
휴가 첫날 부터 시작해서 중간에 잠깐 다른 것 하다가 어제 오늘 나머지 동영상을 다 시청했는데요 전 예전에 파이썬 웹드라이버 사용해본 적이 있어서 이번 강의는 비교적 이해하기가 수월했습니다. 태그를 for in 으로 가져온 다음에 각각의 요소 하위 태그와 속성을 지정해 원하는 위치를 정확히 가져오는 부분이 반복 연습이 되어 좋았습니다. 정말 파이썬의 정수인 웹크롤링과 웹스크래핑의 많은 부분을 배울 수 있어서 매우 좋았습니다. 5시간이 넘는 동영상 만드시느라 고생 많이 하셨구요 정말 한줄 한줄 정성을 들여 코딩하시면서 알기쉽게 설명해주시니까 머리에 쏙쏙 잘 들어오는 강의였습니다. 이번 강의를 통해 알찬 여름 휴가 만들어 주심에 감사드리구요 나도코딩님 덕분에 파이썬을 안할래야 안할 수가 없는 백그라운드 경험을 쌓게 된 것 같아 뿌듯합니다. 다시한번 감사의 말씀을 드린다는 내용 전하면서 강의를 듣고 난 소감을 마칠까 합니다. 예전의 몇가지 작은 파이썬 코딩 경험만 있었는데도 나도코딩님 강의를 보면서 실전 코딩 하듯이 그걸 이해하려다 보니까 저절로 또 빠르게 파이썬에 다가가고 있다는 느낌을 받습니다.
열심히 따라하면서 공부하고 있습니다. Headless 크롬 스터디 중에 혹시나 chrome 이 아니고 저처럼 이번 새로 나온 Edge 브라우저를 쓰시는 분이 있으시다면, 로컬 패키지에 msedge-selenium-tools 을 인스톨하시고( pip 쓰시면 pip install msedge-selenium-tools ) 아래 내용을 추가하시면 Headless chrome( Edge )를 사용하실 수 있습니다. 당연한 거겠지만, webdriver도 chromium Edge용으로 설치하셔야 합니다. from msedge.selenium_tools import Edge, EdgeOptions # Launch Microsoft Edge (Chromium) options = EdgeOptions() options.use_chromium = True options.headless = True options.add_argument( 'window-size=1920x1200' ) driver = Edge(options = options)
선생님~ 40넘어서 늦깎이로 코딩공부하는 워킹맘입니다 실습을 따라하느라 계속 멈추고 재생하고 반복이지만... 그래서 재생시간이 3배는 더 걸리지만... 선생님 강의가 너무 재밌고 신기해서 시간가는줄 모르고 공부하고 있습니다 이렇게 좋은 강의 진심으로 감사드리고요 업무자동화강의도 손꼽아 기다리고 있습니다 찐팬됐습니다^^ 복 많이 받으실겁니다 건강하세요~
전공 강의에서 커버하지 못하는 부분을 항상 여기에서 많이 얻어가게 되네요 댓글 잘 안다는 편인데 혼자 구글링하며 끙끙거리던 부분을 무료강의 하나로 해결할 수 있게 되어서 너무 감사하다는 말씀 드리고 싶습니다. 파이썬 활용은 무궁무진하니까 염치없지만 앞으로도 활용강의 꾸준히 올라오길 기대하고 있겠습니다
📣 안내 드립니다. (23년 3월)
본 강의에서 다루는 쿠팡, 네이버 웹툰, 티스토리 등 웹 스크래핑 대상 사이트들은 강의 촬영 시점 이후에 지속적인 업데이트 및 개편으로 인해 페이지가 변경되었습니다. 또한 selenium 버전이 올라감에 따라 일부 기능은 더 이상 사용할 수 없게 된 부분도 있습니다. 이에 따라 실습 내용 중 많은 부분을 따라하기 힘든 문제가 발생하고 있습니다. 새롭게 강의를 수강하시는 분들은 이 점을 감안하셔서 학습 부탁드리며, 강의에서 보여드리는 모든 실습을 따라하기보다는 당시의 페이지 상황에 따라 어떻게 접근할 수 있는지에 대한 이해도를 높이는 목적으로 강의를 활용 부탁드립니다. 학습에 불편드려 대단히 죄송합니다.
---------------------------------------------------------------
[웹 스크래핑 변경사항]
1. "티스토리"는 UserAgent 를 변경하지 않아도 정상적으로 html 을 받아옵니다.
2. "네이버"는 로그인 시도 시 자동입력방지 문자 입력 페이지가 뜹니다. 우회방법으로 자바스크립트를 이용하는 방법이 소개된 링크를 참고해주세요.
jaeseokim.github.io/Python/python-Selenium을-이용한-웹-크롤링-Naver-login-후-구독-Feed-크롤링/
3. "쿠팡" 강의 내용 확인 결과 일부 항목이 웹에서 접근했을 때와는 조금 다르게 가져오는듯 합니다. 확인 결과 화면 중 약 80% 는 정상, 20%는 페이지에 존재하지 않는 값을 가져옵니다. (어쩌면 다음 페이지에 나오는 내용일 수도 있습니다) 또한 80% 의 항목도 웹 페이지와는 달리 순서가 조금 뒤죽박죽 섞인듯 보입니다. requests 만 써서 가져왔을 때 쿠팡에서 반환해주는 값에 차이가 있는듯한데, selenium 을 통한 결과를 비교해볼 필요가 있어 보이네요. 수업 시간에 결과 내용에 대해 전수 검사를 해볼 생각을 미처 해보지 못하여 내용에 오류가 있었던 점, 진심으로 사과 드립니다.
4. "프로젝트" 강의 내용 중 네이버 뉴스를 가져올 때 500 Server Error 가 나고 있습니다. 이 때는 requests 에 headers 로 여러분 PC 의 user-agent 를 넣어주시면 됩니다.
(예시)
def create_soup(url):
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"}
res = requests.get(url, headers=headers)
res.raise_for_status()
soup = BeautifulSoup(res.text, "lxml")
return soup
-----------------------------------------------------------------------------
아래 블로그에서 소스코드를 받으실 수 있습니다.
nadocoding.tistory.com/10
다음은 웹 스크래핑 목차입니다.
열심히 공부하시는 여러분들, 정말 대단합니다. ^^
[기본기]
(0:00:00) 0.Intro
(0:00:16) 1.소개
(0:02:03) 2.활용편3 소개
(0:07:26) 3.HTML
(0:16:51) 4.XPath
(0:28:12) 5.크롬
(0:31:45) 6.Requests
(0:39:26) 7.정규식 기본 1
(0:50:52) 8.정규식 기본 2
(0:58:56) 9.User Agent
(1:06:40) 10.BeautifulSoup4 기본 1 (네이버 웹툰)
(1:18:37) 11.BeautifulSoup4 기본 2
(1:28:13) 12.BeautifulSoup4 활용 1-1 (가우스 전자)
(1:39:26) 13.BeautifulSoup4 활용 1-2
(1:47:55) 14.BeautifulSoup4 활용 2-1 (쿠팡)
(2:00:11) 15.BeautifulSoup4 활용 2-2
(2:05:35) 16.BeautifulSoup4 활용 2-3
(2:15:22) 17.BeautifulSoup4 활용 2-4
(2:22:44) 18.BeautifulSoup4 활용 3-1 (다음 이미지)
(2:31:46) 19.BeautifulSoup4 활용 3-2
(2:41:09) 20.CSV 기본 1 (네이버 금융)
(2:49:55) 21.CSV 기본 2
(2:56:21) 22.Selenium 기본 1
(3:07:45) 23.Selenium 기본 2
(3:13:43) 24.Selenium 심화 (네이버 로그인)
(3:21:40) 25.Selenium 활용 1-1 (네이버 항공권)
(3:33:40) 26.Selenium 활용 1-2
(3:39:15) 27.Selenium 활용 2-1 (구글 무비)
(3:50:17) 28.Selenium 활용 2-2
(4:00:39) 29.Selenium 활용 2-3
(4:10:39) 30.Selenium 활용 2-4
(4:15:24) 31.Headless 크롬
(4:23:38) 32.Wrap Up
[퀴즈]
(4:32:21) 33.퀴즈 (다음 부동산)
[프로젝트]
(4:43:13) 34.프로젝트
(4:48:49) 35.오늘의 날씨 (네이버 날씨)
(5:02:06) 36.헤드라인 뉴스 (네이버 뉴스)
(5:10:26) 37.IT 일반 뉴스 (네이버 뉴스)
(5:18:22) 38.오늘의 영어회화 (해커스 영어)
(5:27:25) 39.Outro
@1814배종환 0:02:03 부터 설명하는 내용 봐주시면 됩니다 ^^
파이썬으로 모바일 앱도 만들수 있나요?
kivy 를 이용하시면 가능합니다만 파이썬으로 앱개발을 하는 것은 추천드리지 않습니다 ^^
@@nadocoding 앱개발에는 무슨 언어를 추천하시나요?
@@jaemingchoo 안드로이드 자바, 또는 코틀린이 좋지요. 크로스 플랫폼 개발을 위해서라면 플러터를 추천합니다. ^^
본 영상 중 Selenium과 관련하여, 파이썬 최근 버전을 사용하시는 분들(3.7 이상)의 경우에는 find_elements_by_~~가 아닌, find_element(by.~~, "~")로 작성하셔야 정상적으로 작동합니다.
selenium-python.readthedocs.io/locating-elements.html#locating-by-name
Selenium 버전이 업그레이드 되면서 일부 명령어가 변경되었습니다.
변경된 명령어를 사용하려면 아래 코드를 먼저 import해야 합니다.
from selenium.webdriver.common.by import By
변경된 명령어들은 다음과 같습니다.
button = driver.find_element_by_class_name("quiz_button")
button = driver.find_element(By.CLASS_NAME, "quiz_button")
element = driver.find_element_by_id("element_id")
element = driver.find_element(By.ID, "element_id")
element = driver.find_element_by_name("element_name")
element = driver.find_element(By.NAME, "element_name")
element = driver.find_element_by_link_text("element_link_text")
element = driver.find_element(By.LINK_TEXT, "element_link_text")
element = driver.find_element_by_partial_link_text("element_partial_link_text")
element = driver.find_element(By.PARTIAL_LINK_TEXT, "element_partial_link_text")
element = driver.find_element_by_tag_name("element_tag_name")
element = driver.find_element(By.TAG_NAME, "element_tag_name")
element = driver.find_element_by_css_selector("element_css_selector")
element = driver.find_element(By.CSS_SELECTOR, "element_css_selector")
element = driver.find_element_by_xpath("element_xpath")
element = driver.find_element(By.XPATH, "element_xpath")
너무너무 감사드립니다!!
님은 천재이자 나의 영웅임..
진정으로 감사 합니다. 많은 도움이 되였습니다.
ㅋㅋㅋㅋㅋ 재생시간봨ㅋㅋㅋㅋㅋㅋ
러닝타임 실화냐 라면서 와 이거 개고생 했을껀대라는 생각이 먼저드네요.
좋은 재능기부 감사해요.
코딩의 천사가 돌아오셧다 드디어ㅠㅠ 감동입니다
도서관에서 근무하고 있는데 덕분에 업무의 80퍼센트는 자동화 시킨 것 같아요. 좋은 강의 감사합니다~! 빨리 뇌를 쥐어 짜서 나머지 활용편 강의도 해주세요 ^..^
목차를 세심하게 나눠서 타임라인 설정해 주셔서 어느정도 배경지식이 있는 사람은 좀 더 빠르게 볼 수 있는것 같아요 진짜 정말 감사합니다 ㅠㅠ
와 진짜 공감...노배경도 도움이 되겠지만, 배경 지식 있으면, 필요한 부분만 듣기 너무 편했어요. 정말 공감입니다.
댓글로나마 감사합니다.
강의가 너무 좋아서, 적은 돈이지만 후원을 하고 싶습니다. 어떻게 하면 되나요?
비전공자에게 정말 단비같은 영상!!
오늘부터 스크래핑 공부 시작합니다 ㅎㅎ 16:50 50:52 58:56 1:18:37 1:36:26 2:22:45 2:56:21 3:13:43 3:50:16 4:23:38 4:43:13 5:02:05
공부기록
4/13 58:58
4/14 1:47:54, 2:17:48
4/15 2:56:19
4/18 3:21:41, 4:13:53
4/20 4:56:26
4월 20일 완강했습니다. 진짜 좋은 강의 감사합니다. 무료로 들을만한 강의가 아닌데 너무 도움이 많이 되었어요.
나도코딩님 덕분에 코딩에 재미도 붙이고 원래 데이터 분석가 신입으로 취업했는데 개발자자로 커리어전화 해보고 싶을정도로 너무 재밌는 강의였습니다. 앞으로도 좋은 강의 많이 부탁드립니다.
(나코님 강의 최대 단점)
나코님 강의를 듣다보면 다른 사람 강의를 못 듣겠음....(진심) 이 강의만 찾게 됩니다
마저요... 최대의 단점이죠^^
영상은 길어보이는데 보면 몇시간이훌쩍 지나가 있음 ㅋㅎ
재능기부 감사합니다. 강의 너무 잘 보고 있어요~ 이번 강의도 빨리 실습해야겠네요. 다음 강의도 기대할게요^^
진짜 댓글을 달지 않을래야 안달을수가 없을정도입니다.
정말 유튜브 강좌중에 최고입니다!!
저도 프로그래머이긴 하지만 웹프로그래머가 아니라 파이썬 크롤링 자료를 찾아봐도 이렇게 상세하고 자세하게 설명된 강좌가 없었는데,
정말 긴시간동안 상세하게.... 설명해주시니 감동입니다.
또 강의하시는 목소리도 아주 듣기 좋고요.. 강의듣는 분들을 위해 매 스크립트 마다 삭제하지 않고 주석으로 남겨놓는등...
강의 스킬이 엄청 나신것 같습니다.
너무 좋은 영상봐서 기분 좋습니다^^
앞으로도 좋은 영상 부탁드리겠습니다~ 꾸벅~
강의 시간이 너무 길어서 학습자분들께 반감을 사진 않을까 걱정했는데 이렇게 말씀해주시니 고개 숙여 감사드립니다. 더 좋은 강의를 계속 만들 수 있도록 최선을 다하겠습니다. ^^ 좋은 하루 보내세요!
중간 중간에 광고 뜨면 휴식도 할겸 정주행 합시다!~
감사합니다 나도코딩님!
1:31:18
인생... ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
'인생...이거랑 'ㅋㅋㅋ
나도코딩님
이번 강의도 감사히 잘 시청하겠습다. ~~
최고최고최고.. ^^
1:06:44
현재 네이버 웹툰 소속의 웹페이지들에서는 이 내용을 제대로 실습할 수 없군요.
with open("gausselectronics.html", "w", encoding="utf8") as f:
f.write(res.text)
이런 방식으로 긁어보니 는 다 복사되어 들어오는데 쪽은 하나도 복사되어 들어오지 않습니다.
네이버 웹툰 쪽에서 뭔가를 막아놓은 것인지...
다행히 네이버 부동산에서는 해당 내용들을 실습 가능합니다.
이제는 웹툰아예 안되네요 ㅋㅋㅋㅋ ㅠㅠ 그냥 따라서 치기만 하고 끝내놓습니다. 웹 크롤링이 많이 어려워졌네요..
강의 잘 듣고 있습니다. 구글링, 유튜브 등을 통해 단편적으로 알고 있던 내용들이 총정리되어 진심으로 감사드립니다. 항상 좋은 일만 가득하시길 바랍니다~^^
3:34:10, 4:28:49 에서 해당하는 element 로딩될 때까지 기다리는 부분에서 새로 import하고 작성해야하는 부분이 많은데 드라이버에 해당 기능을 하는 매소드가 있습니다. browser.implicitly_wait(10) 이 매소드를 맨 위에서 작성해주시고 진행하시면 모든 로딩에 암묵적으로 10초 대기 시간이 적용되어서(최대 10초 기다리는데 그 전에 로딩 끝나면 바로 진행) 편하게 사용할 수 있어요
이 강의 포인트
인생~ ... 네 이 만화도 있네요 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ
1:31:17
잘 보고 있습니다!
... 강의 중에 제목 보고 순간 뇌정지 왔어요 ㅋㅋㅋㅋㅋㅋ
@@nadocoding 아내랑 같이 보다가 이 장면 보고 한참 폭소했네요
깨알 재미 감사합니다 ㅎㅎㅎㅎㅎㅎㅎㅎ
아 근데 잘못하다가 영상 수익 문제 생기면 진짜 힘들겠다...
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 나도코딩님의 순발력에 감탄!!
앜ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
1:16:42 찍어 놓습니다.
항상 강의 잘 듣고 있습니다.
3:24:21
혹시나 해서 올려요 저도 여기부분 네이버항공권 Html 디자인 변경된거같아서 튜토따라서 안되길래 find.element 모든 함수 다 테스트했는데.. 아래 처럼 xpath으로 따와서
time.sleep 텀 1초 주니 튜토리얼처럼 선택 됩니다. * 대신 튜토리얼처럼 날짜 변수 를 가져와서는 안되구 xpath 아예 절대경로?로 따왔어요.
밑에 보면 table 왼쪽 div[번호] 부분이있는데 2가 이번달 3이 다음달처럼 되어있어서 여기 부분 .format 으로 수정하면 될거같구.. * 물론 2021년 12월 8일 기준입니다.
tbody 오른쪽 tr[번호] 그리고 td[번호]가 있는데 여기가 1달치 로우 랑 컬럼으로 각각의 날짜 위치로 구성되어 있더라구요 여기도 .format 으로 수정하면 될거같습니다.
My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[4]/div/div/div[2]/div[2]/button[1]").click() # 됨
time.sleep(1)
My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[10]/div[2]/div[1]/div[2]/div/div[2]/table/tbody/tr[5]/td[2]/button").click() # 됨 이번달
My_browser.find_element_by_xpath("//*[@id='__next']/div/div[1]/div[10]/div[2]/div[1]/div[2]/div/div[3]/table/tbody/tr[2]/td[4]/button").click() # 됨 다음달
이렇게 튜토리얼 올려주셔서 감사합니다.
xpath copy 하면 왜 저는 //*[@id="__next"]/div/div[1]/div[11]/div[2]/div[1]/div[2]/div/div[2]/table/tbody/tr[5]/td[3]/button // 이렇게 div[11]으로 뜰까요? 작성자님꺼 따라 [10]으로 해봤더니 잘되긴하는데 ㅠㅠ
@@jdlim6208 아마 해당 테이블 공간이 없는 월일 이라서 그럴수도 있어욤.. f12 콘솔 로그 창에 찍어서 해당값 확인 해봐도 괜찮을거같아요 ㅎㅎ
와 여기서 막혔는데 타임슬립한번에 다 되네요 미쳤다,, 진짜 감사합니다 ㅠㅠㅠㅠㅠㅠ 텀이 필요할 줄은 상상도 못했네요 배워갑니다!
@@airplaiii good bb
타임슬립...감사합니다!
2:56:21
강의를 들을때마다 속이 시원하다는 느낌을 받습니다.
궁금했던 내용을 잘 설명해주셔서...
꼭 완강 하겠습니다.
감사합니다.
완강 했습니다. 동적 크롤링에 대한 개념이 생겼습니다.
정말 감사합니다.
활용편3 너무나 기다렸습니다!!!!! 좋은 강의 올려주셔서 항상 감사합니다
역시...오늘도 재미있고 유익한 강의군요!!! 오늘도 잘 보고갑니다
정말 하나도 군더더기 없이 깨끗하고 전달이 잘 되는 강의입니다. 짧은 시간에 정말 많이 배웠습니다.
기초6시간교육부터 양질의 강의 정말 감사합니다. 이번 강의도 완강을 목표로!
감사합니다 많은 도움이 되네요. 아래 태그에서 각각 값을 추출하고 싶어요.
...
...
기초금액
1,568,460,000
class="leftTD">투찰율
79.995 %
== $0
...
...
태그에서 기초금액, 1,568,460,000 을 각각 추출하는 방법을 알려주세요.
정말 좋은 강의 너무 감사합니다. 기초편부터 계속 공부하고 있고 덕분에 Python에 대해 깊이 있게 나아갈 수 있는 바탕이 되고 있다고 생각합니다. 계속 열심히 시청하겠습니다.
감사합니다 기본 판다스 듣고 이거 듣습니다.. 정말 좋아요
감사합니다 크게되실겁니다...
정말 큰 도움 되었습니다. 항상 행복하시고 복받으실거에요!
인생이거 ㅋㅋㅋ 한참 웃었습니다.
항상 좋은 강의 감사합니다!
ㅋㅋㅋㅋㅋ
2:45:00 정말 대단하십니다. 감사한 마음으로 공부하겠습니다!
25:39 저장. - 6시간짜리 2시간 정도 보다가 실습 한번 해보고 다시 거꾸로 교재 보려고 여기왔습니다.
기다려왔던 강의가 올라와서 너무 기쁩니다. 시청전에 먼저 글을 써봅니다.
기초 강의부터 정말 많은 도움이 되었습니다.
진심으로 감사드립니다....^^
전체적으로 훑어봤는데 중간중간 기본적인 팁들도 있고 실습프로젝트들로 csv,이미지,text들을 스크래핑하는 법에 대해서 자세하게 알려주셔서 유료강의급 퀄리티로 설명이 잘되있네요 ㅎㄷㄷ, 딥러닝 관련 강의는 하실 계획이 없으신가요?
수업끝!
5:10:30
4:15:27
3:02:42
2:41:40
1:32:56
고퀄 강의를 무료로 제공해 주셔서 감사합니다.
하루하루 잘 보고 있습니다! 감사합니다!
구독을 안하게 할 수 없는 영상이네요..;; 잘보고 갑니다
휴가 첫날 부터 시작해서 중간에 잠깐 다른 것 하다가 어제 오늘 나머지 동영상을 다 시청했는데요 전 예전에 파이썬 웹드라이버 사용해본 적이 있어서 이번 강의는 비교적 이해하기가 수월했습니다. 태그를 for in 으로 가져온 다음에 각각의 요소 하위 태그와 속성을 지정해 원하는 위치를 정확히 가져오는 부분이 반복 연습이 되어 좋았습니다. 정말 파이썬의 정수인 웹크롤링과 웹스크래핑의 많은 부분을 배울 수 있어서 매우 좋았습니다. 5시간이 넘는 동영상 만드시느라 고생 많이 하셨구요 정말 한줄 한줄 정성을 들여 코딩하시면서 알기쉽게 설명해주시니까 머리에 쏙쏙 잘 들어오는 강의였습니다.
이번 강의를 통해 알찬 여름 휴가 만들어 주심에 감사드리구요 나도코딩님 덕분에 파이썬을 안할래야 안할 수가 없는 백그라운드 경험을 쌓게 된 것 같아 뿌듯합니다. 다시한번 감사의 말씀을 드린다는 내용 전하면서 강의를 듣고 난 소감을 마칠까 합니다. 예전의 몇가지 작은 파이썬 코딩 경험만 있었는데도 나도코딩님 강의를 보면서 실전 코딩 하듯이 그걸 이해하려다 보니까 저절로 또 빠르게 파이썬에 다가가고 있다는 느낌을 받습니다.
우와 2번째 댓글이네요 ㅎㅎ '6시간 파이썬' 강좌 듣고 있었는데 신기해요~~
이 영상에 모든게 다 들어있네요. 차근차근 꼭 필요한 것들부터 응용하는 것가지 듣다보니 큰 그림에 놀랍니다.
조회수 100만예감 !!!
최고의 유튜버로 추천하고 싶당...
연필로 복기하면서 되새기로 있어요.. /
BeautifulSoup4 까지 끝냈습니다. 이번달까지 웹스크래핑 완강하는게 목표입니다 ! 취업연계학원알아봤고, 다음달말부터 수강할 계획입니다 . 앞으로도 계속 함께하겠습니다 !
컴공2년차: 처음으로 코딩이 재밌어졌다.
fdzz
ㄹㅇㅋㅋ
1:31:18
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 읽어주시지 그랬어요 ㅋㅋㅋㅋㅋㅋ 빵터지네요 ㅋㅋㅋ
솔직히 광고 더나와야함...
차근차근 가르쳐 주셔서 정말 감사합니다! 다음강의도 정말 기대돼요 :D
나 혼자로는
도 달할 수 없었던 수준도,
코 꿰여 따라가다 보면
딩 동댕 울리는 성공(고수)의 길!
진심으로 감사드립니다~^^
53:58
나도코딩님 정말 감사합니다. 나도코딩님의 강의는 드라마보다 더 재미있고 흥미진진합니다.
쿠팡 url 따서 코드 돌리면 왜 안돌아갈까요? ㅜㅜ 다른 페이지는 다 돌아가던데 쿠팡만 url따서 돌리려고하면 안돌아가네오 ㅠㅠ
저도요ㅠㅠㅠ
저도 쿠팡 안 됩니다 ㅜㅜ
@@정세영-i3d 저 그거 resquests.get이었나 뭐 하나 안써줘서 나오는 오류였어요! 한번 다시 살펴보시면 풀릴지도 몰라요...!
열심히 따라하면서 공부하고 있습니다. Headless 크롬 스터디 중에 혹시나 chrome 이 아니고 저처럼 이번 새로 나온 Edge 브라우저를 쓰시는 분이 있으시다면, 로컬 패키지에 msedge-selenium-tools 을 인스톨하시고( pip 쓰시면 pip install msedge-selenium-tools ) 아래 내용을 추가하시면 Headless chrome( Edge )를 사용하실 수 있습니다.
당연한 거겠지만, webdriver도 chromium Edge용으로 설치하셔야 합니다.
from msedge.selenium_tools import Edge, EdgeOptions
# Launch Microsoft Edge (Chromium)
options = EdgeOptions()
options.use_chromium = True
options.headless = True
options.add_argument( 'window-size=1920x1200' )
driver = Edge(options = options)
완강했습니다. 이제 실습해야겠네요. 다음 업무 자동화 강의 정말 정말 기대하고 있습니다. 이렇게 좋은 강의 올려주시고 막히는 부분 답변도 빨리 해주시고... 재능기부 정말 감사합니다!!
강의별로 파일을 명확히 나눠서 진행해주셔서 너무 좋은거같습니다~
정성스러운 강의 그저 감사할 뿐입니다.. 👍👍
일단 좋아요 박고 공부 시작합니다. 순서대로 쭉 따라오고 있는데 감사합니다 라는 말 보다 더 어떻게 표현할 방법이 없네요. 열심히 배우고 가겠습니다.
고맙습니다. 감사합니다. 더이상 무슨 말이 필요할까 싶은 강의입니다
정말 이해하기 쉽고 머리에 쏙쏙 박히는 강의네요.
한국에 돌아와서 자가격리까지 끝냈습니다. 언제나 감사합니다. 열심히 준비해서 취직도 하고 나도코딩님 처럼 멋진사람이 되겠습니다. 바뀐 나도코딩 로고도 멋집니다.
공부든 뭐든 12시간을 연속으로 계속한다는게 너무 힘든데 나도코딩님 강의는 시간가는 줄 모르고 하루내내 따라하고있습니다. 뭔가 만들어낸다는게 너무 재밌네요~~일적으로 취미로 추후 접목시킨다는 마음으로 즐겁게 배우고있습니다. 감사합니다.
감사합니다! 1강 완료. 개념 정리 04:23:38
강의 정말 잘듣고 있어요
업무 자동화 강의도 빨리 듣고
다음에 데이터 분석 및 시각화 강의도 기대하고 있습니다
감사합니다~~
최고의강의..늘 양질의 영상 정말 감사합니다!!
1:28:29 감사합니당 늘 잘보고 있습니다 ㅎ
덕분에 크롤링으로 정보 가져오는 것을 완료할 수 있었습니다.
감사합니다.
항상 좋은 강의 해주셔서 감사합니다!
강의 영상을 여러개 보면서 배우고 싶은 것들을 배울 수 있다는 거에 감사하다는 것을 매번 느끼네요
정말대단한강의 입니다 이건뮈 다른설명이 필요가 없어요
선생님~
40넘어서 늦깎이로 코딩공부하는 워킹맘입니다
실습을 따라하느라 계속 멈추고 재생하고 반복이지만... 그래서 재생시간이 3배는 더 걸리지만... 선생님 강의가 너무 재밌고 신기해서 시간가는줄 모르고 공부하고 있습니다
이렇게 좋은 강의 진심으로 감사드리고요
업무자동화강의도 손꼽아 기다리고 있습니다
찐팬됐습니다^^
복 많이 받으실겁니다 건강하세요~
이번 영상도 클리어했습니다! 항상 고품질의 강의 영상을 올려주셔서 감사합니다~~~!!!!
전공 강의에서 커버하지 못하는 부분을 항상 여기에서 많이 얻어가게 되네요
댓글 잘 안다는 편인데 혼자 구글링하며 끙끙거리던 부분을 무료강의 하나로 해결할 수 있게 되어서 너무 감사하다는 말씀 드리고 싶습니다.
파이썬 활용은 무궁무진하니까 염치없지만 앞으로도 활용강의 꾸준히 올라오길 기대하고 있겠습니다
많이 배우고 갑니다. 또 배우러 오겠습니다 ^^ 고맙습니다 ~~
진정한 실력자, 최고입니다. 감사합니다.
.find_element_by_class_name 안 되시는분들은 .find_element("class name", "link_login") 입력하시면 정상 작동됩니다 !
감사합니다.
방법 찾느라고 헤매는 시간을 많이 줄여주셨습니다.
1:18:26 find
1:20:38 next_sibling
1:56:43 정규식
2:34:16 이미지 저장
3:19:25 기존데이터 지우기
4:00:00 자동 내리기
이런저런 책 찾아봤는데, 여기 강의만한게없네요.. 너무!!감사합니다
평소 궁금하고 어렵게 생각해던 내용을 감사히 배웠습니다.
고맙습니다. 이런 귀한 강의를 또 올려주시다니,,최고의 코딩 유튜버이셔요.^^
열심히 공부하겠습니다.
드디어 나왔습니다~!!!!!! 고맙습니다!!!!!!
주말마다 이곳으로 오게 되네요. 이번주는 이걸 마무리 한번 지어보겠습니다. 감사합니다
책갈피 2:00:10
정성 들인 고급 강의를 올려주셔서 진심으로 감사드립니다 !! 수강 완료했습니다 !!! :)
와우 다양하게 정리되어있어서 너무 좋네요! 영상을 제작하기 위해 열심히 노력하시는 모습이 보이네요 유익한 강의 감사합니다!!
하... 사랑합니다. 절실한 상황에서 희망이 보였습니다
진짜 너무 귀중한 강의감사합니다... 1:31:15 부근 인생존망을 인생 이거로 바꿔부르시는거에서 빵터졌어요 .ㅎㅎ
기초편에 이어 웹스크래핑 강의도 잘 수강했습니다. 감사합니다.
강의 정말 유용합니다. 말투가 정말 귀에 쏙쏙 들어오고요.
잘 보고 있습니다!! ^^
활용편 3 기다렸습니다!! 열심히 또 배우겠습니다. 좋은 강의 항상 감사드립니다
나도코딩님 영상보면서 독학하고 코딩학원 다녀서 전문적으로 배워보자했는데 답답해서 하루만에 환불받고, 다시 유튜브로 공부하고있습니다. 감사합니다
저도 학원 다녔었는데.. 유튜브 유명 개발자 강의 동영상만 봐도 실력 많이 늘어요 ㅎㅎ!
와 강의 미친거 아니예요ㄷㄷㄷ 너무 고퀄인데요ㄷㄷbbb
기본강의하고 웹스크래핑 강의 다 들었습니다. 강의 훌륭하고 목소리도 좋아요~~
빨리 업무자동화 강의 듣고 싶어요^^ 언제 될까요??
다른 일과 병행중이라 업무자동화는 조금 오래 걸릴지도 모르겠습니다 ^^;; 빠른 업로드가 되도록 노력하겠습니다
갑 오브 갑입니다. 좋아요 구독신청 하였습니다. 언제나 좋은 강의가 이어지기를 기원합니다. ~
유료 온라인 강의 보다가 포기하고 나도코딩 강의 듣고있습니다. 정말 강의 잘 하십니다.
내용이 좋아서 주말에 몰아봤습니다 업무자동화 인공지능 데이터 분석 등 다음 토픽들 너무 기대됩니다 감사합니다
파이선 강좌 중 단연 최고입니다. 정말 잘 짜여진 내용과 어마어마한 분량 너무 힘드셨을 텐데 감사합니다. 다음 머신러닝 편도 기대하겠습니다.~