실전! 네이버 뉴스 크롤링 - 파이썬으로 데이터 수집 쉽게 하자 (1단계)
HTML-код
- Опубликовано: 24 сен 2024
- ****주의 사항****
1. 상업적 용도로 크롤링한 정보를 이용하지 말 것
2. 서버에 부담을 줄 정도로 많은 요청을 하지 말 것
네이버 뉴스 크롤링을 초보자 분들도 쉽게 할 수 있도록
영상을 제작하였습니다.
(1단계) 네이버 뉴스 1페이지 제목과 링크 크롤링하기
(2단계) 네이버 뉴스 검색어 변경하면서 크롤링하기
(3단계) 네이버 뉴스 여러 페이지 가져오기
어렵고 불친절한 코딩 강의에 지치셨나요?
스타트코딩이 여러분들을 힘껏 도와 드리겠습니다.
★ 스타트코딩과 함께 코딩 공부하기
startcoding.li...
어렵고 불친절한 코딩 강의에 지치셨나요?
스타트코딩이 여러분들을 힘껏 도와 드리겠습니다.
★ 스타트코딩과 함께 코딩 공부하기
startcoding.liveklass.com/p/review
딱 필요한 부분만 있어서 좋습니다 감사합니다
강의를 정말 깔끔하게 잘하시네요^^
칭찬 감사합니다!
패캠에서 선생님 수업듣고 집에서 영상 하나 하나 씩 독파 중입니다. 큰 도움이 되네요. 감사합니다!
감사합니닷! 😁
와 잘 배웠습니다. 답답했는데 이대로 적고 실행하니까 뭐가 되긴 하네요.
답답함을 풀어드리겠습니다~!
강의 중입니다. ^^
문의합니다. from bs4 import시 oduleNotFoundError: No module named: 'bs4' 어케해결해야하나요
BeautifulSoup 모듈이 설치 되어 있지 않다는 이야기입니다. 터미널 열어서 ... pip install BeautifulSop 입력해서 설치해 주시면 에러 안날겁니다.
class에 .을 붙여야한다고 하셔서 .을 붙이고 했는데 안뜨는데 왜그런건가요??
1. 어떤 태그를 가지고 오려고 하는지
2. 선택자는 어떻게 만들었는지
알려 주쎄용~
질문이 있습니다 네이버 영단어퀴즈 3지선다 크롤링 하려고하는데 다음과같이 스타일 x축에 따라서 슬라이드로 넘어가는구조입니다 will-change: transform; transform: translate(-1390px, 0px) selector로 지정이 안되는데 어떤방법으로 크롤링 해올 수 있을까요? 퀴즈 진입전 영단어 목록은 쉽게 가져와 집니다
네이버 영단어퀴즈 사이트의 url이 어떻게 되나요? ㅎㅎ
(3단계) 네이버 뉴스 여러 페이지 가져오기 영상은 어디있나요?
재생목록중 '이것이 진짜 크롤링이다'에서 확인할 수 있습니다~!
안녕하세요. 강의 감사히 들었습니다. KeyError: 'href' 영역 에러가 계속 나는데 그 원인이 무엇일까요? 이전 단계까지는 출력이 잘되었는데 마지막 단계에서 계속 안되네요.
음.. 오타가있을것 같은데요..? 소스코드 전체를 지우고 다시한번 따라해보세요ㅎㅎ
3개월이나 지나서 이 댓글을 보실진 모르겠지만 같은 에러가 나서 한번 확인해보니, 제가 연습을 위해 선택했던 class 이름은 a 태그가 아니었더군요. 그냥 제목만 들어있는 태그였습니다. 그래서 그 태그에는 href 속성이 없기 때문에 해당하는 값이 없다는 뜻입니다. 링크가 포함되어 있는 a태그를 선택해주셔야해요!
안녕하세요 나도코딩님.. 이 뉴스결과를 텔레그램으로 알람을받아보고싶습니다 혹시 강의가능하실까요?
저는 스타트코딩 입니다 ^^
텔레그램은 구글에 검색하면 충분히 찾아 볼 수 있는데, 기회가 된다면 유튜브에서도 다뤄보겠습니다 ㅎㅎ
@@startcoding.official 네 부탁드리겠습니다 ^^
질문이 있습니다.
네이버에서 rss 제공하는 부분이 삭제 되어서 기존에 사용하였던 rss 리더기에 url 추가를 할 수가 없습니다.
rss 리더기에 '삼성전자' 검색어를 만든 후 url 주소를 어떻게 찾을 수 있을까요?
안녕하세요? 이런 강의를 이제서야 찾아보네요.
동영상 강의대로 진행을 해보다가, 네이버 뉴스 페이지가 개편되면서, 동영상에 나온 거처럼 구성이 안되어 있어서 link.~ 이 아니라, cluster~ 이렇게 표기가 되어 있더라고요.
이럴경우에 select_one 다음에 어떻게 서술해야하나요?
제가 셀렉터 찾을 때 처럼 응용해보세요!!
import requests가 ModuleNotFoundError: No module named 'requests'라는 오류가 뜹니다...pip처럼 따로 설치를 해야하는 건가요?
pip install requests로 라이브러리를 설치해주셔요~!
7:56
response.text를 출력하면 태그와 모든내용이 출력되고
link.text를 출력하면 태그는 빼고 속의 내용만 출력되는데요
같은 .text 메소드인데 왜 다른역활을 할까요
안녕하세요😀
response.text 는 html 전체를 의미하고
link.text는 링크 태그에서 텍스트 속성을 의미합니다
그리고 .text는 메소드가 아니라 속성입니다 ^^
제 영상중에 클래스 영상을 보시면 이해가 되실 거예요!
@@startcoding.official 감사합니다!
실행해 보니 10개의 title과 url이 크롤링 되지 않고, 1개만 수집되는데.. 이유가 뭘까요?
혹시 마지막에 print 부분이 바로 위 url 부분의 시작점과 위치가 같은지 확인해보세요! 파이썬은 괄호가 없기때문에 줄을 잘 맞춰주셔야해요
soup 저장하고 출력하는것 까지는 잘 나오는것 같은데 links 에 저장하고 links 를 출력하면 결과값이 [ ] 이렇게만 나오네요 ㅠㅠ 어떻게 해야할까요?
어딘가 오타가 있을 확률이 높습니다~!
url주소 다시한번 확인해보시고, css 선택자도 다시 눈 크게 뜨고 확인해 보세요 ^^
soup = BeautifulSoup(html, 'html.parser')
여기에서 soup이
예외가 발생했습니다. TypeError
object of type 'module' has no len()
File "C:\startcoding\chapter03\05뉴스제목과링크가져오기.py", line 18, in
soup = BeautifulSoup(html, 'html.parser')
이런 오류가 생겼어요. 어떻게 해결 할 수 있나요?