좋은 강의 감사드립니다. 정말 많이 도움이 되었습니다. 질문이 하나 있는데요. 네이버뉴스에서 봤을 때는 감정(ex. 좋아요) 부분에 분명 사람들이 클릭한 걸로 숫자가 나오는데 스크래핑 해왔을 때는 그냥 0으로 뜹니다. 또 몇 번 다시 돌리다보면 제대로된 숫자가 나오기도 합니다. 이건 어떤 부분을 수정해야 안정적으로 스크래핑을 할 수 있을까요?
@@suanlab 코드는 선생님과 똑같이 작성했습니다. url만 달랐습니다. 좋아요 숫자도 분명 0이 아니었습니다. 제가 아직 많이 부족해서요.. implicitly wait 숫자를 늘렸더니 조금 괜찮아지는 것 같은데 이것도 효과를 볼 수 있는건가요? 너무 무지하죠? 죄송합니다.ㅠㅠ
@@suchungchoi3687 웹서버에 데이터를 요청하고 되돌려받는 속도가 너무 빨라서 어떤 때에는 제대로 불러오고 또 어떤 때에는 제대로 못 불러오는 경우가 생깁니다. def 함수 위에 코드줄을 from time import sleep 을 삽입하시고, article 밑에 sleep(1) good 밑에 sleep(1) warm 밑에 sleep(1) 사이사이에 1초간의 데이터 받는 텀(Term)을 주시고, 코드를 실행하시면 안정적인 스크래핑이 됩니다. 사용자가 실제로 웹서버를 사용할 때 딜레이가 걸릴지 판단하시고, 응답받는 내용이 많거나 응답시간이 조금 필요할때 sleep(초) 함수를 사용하세요.
코로나 확진자 관련 데이터도 다뤄주셨으면 감사하겠습니다
넵 ^^
끝까지 따라했지만 에러네요. ^^ 쉽지 않네요. 좋은 강의 감사합니다.
현재 네이버에서 뉴스에 대한 구조를 변경한것 같아요.
추후에 새로운 구조에 대한 스크래핑을 올려볼께요 ^^
좋은 강의 감사드립니다. 정말 많이 도움이 되었습니다.
질문이 하나 있는데요.
네이버뉴스에서 봤을 때는 감정(ex. 좋아요) 부분에 분명 사람들이 클릭한 걸로 숫자가 나오는데 스크래핑 해왔을 때는 그냥 0으로 뜹니다.
또 몇 번 다시 돌리다보면 제대로된 숫자가 나오기도 합니다.
이건 어떤 부분을 수정해야 안정적으로 스크래핑을 할 수 있을까요?
코드가 어떻게 되어있는지 몰라서 수정을 도와드리기 어렵네요.
보통은 좋아요가 0이라서 그렇게 스크래핑 된 것 아닌가요?
@@suanlab 코드는 선생님과 똑같이 작성했습니다. url만 달랐습니다. 좋아요 숫자도 분명 0이 아니었습니다. 제가 아직 많이 부족해서요.. implicitly wait 숫자를 늘렸더니 조금 괜찮아지는 것 같은데 이것도 효과를 볼 수 있는건가요? 너무 무지하죠? 죄송합니다.ㅠㅠ
@@suchungchoi3687 웹서버에 데이터를 요청하고 되돌려받는 속도가 너무 빨라서 어떤 때에는 제대로 불러오고 또 어떤 때에는 제대로 못 불러오는 경우가 생깁니다.
def 함수 위에 코드줄을 from time import sleep 을 삽입하시고,
article 밑에 sleep(1)
good 밑에 sleep(1)
warm 밑에 sleep(1)
사이사이에 1초간의 데이터 받는 텀(Term)을 주시고,
코드를 실행하시면 안정적인 스크래핑이 됩니다.
사용자가 실제로 웹서버를 사용할 때 딜레이가 걸릴지 판단하시고,
응답받는 내용이 많거나 응답시간이 조금 필요할때 sleep(초) 함수를 사용하세요.