인프런 강의 주소가 올바르지 않은 것 같습니다! 저는 셀레니움을 서버에 올려서 주기적으로 실행하고 싶은데, 방법을 아실까요? ㅜㅜ 제가 찾아본 바로는 리눅스 xvfb(x virtual framebuffer) 밖에 없는데.. 현재 Vultr에 윈도우깔고(그냥 개인컴처럼..) 돌리고 있기는 한데 웹 서버를 만들어야 해서 셀레니움 스크립트도 함께 리눅스에 넣고 싶어서요.. 헤드리스는 쓸만한게 못되는 것 같아서 GUI 가 필요할텐데 이와 관련된 자료를 찾기가 힘드네요 ㅠ
윈도우에 우분투 깔아서 셀레니움을 사용하는데요, 저는 그냥 headless로 돌립니다.. 말씀주신 상황에서는 더더욱 헤드리스로 돌리는것 밖에 방법이 없지 않나 싶네요.. 다만 디버깅이나 예외처리가 필요한 경우에 try except 구문 안에 driver.save_screenshot() 메소드나, driver.current_url 을 프로퍼티를 사용해서 하고 있어요.
![Seungmin "그렇게, 천천히, 우리(As we are)" | [Stray Kids : SKZ-PLAYER]](http://i.ytimg.com/vi/kAzmhLHePqU/mqdefault.jpg)
실습으로 끝장내는 파이썬 웹 크롤링과 웹 페이지 자동화 강의 : inf.run/jX3V
셀레니움 크롤링에 관련된 좋은 내용들이 많이 포함되어 구독박고 갑니다!
감사합니다~
알려주신 윤리적 혹은 상도덕(?)적인 면이 중요한 것 같습니다. 이 부분을 robot.txt 를 통해 대충 파악이 가능한지, 크롤링을 하기 전 이러한 정보를 미리 보는 법에 관한 영상도 있으면 좋을것같아요
저도 항상 다루고 싶은 내용이었는데 영상으로 만들어 봐야겠네요.ㅎㅎ
영상 감사합니다.
헉 저는 그동안 오늘 강의주신 '사람처럼 보이게 하는 코드'없이 제 구글에 홈페이지 검색결과 순위 올릴라고 셀레니움 자동화로 트래픽 주고 했었거든요. 구글 검색 봇이 알 수도 있었겠네요😂
혹시 홈페이지가 티스토리는 아니죠??
티스토리는 특정 아이피로 중복 접속하거나 사이트 소유자 아이피로 접속하면 오히려 노출도를 떨어트리는걸로 알아서요
감사합니다 덕분에 크롤링 막히던 사이트도 뚫었네요 ㅎㅎ 근데 이거 chrome 에서만 가능한 건가요?? firefox나 edge나 safari 도 동일하게 적용할 순 없는건가요??
인프런 강의 주소가 올바르지 않은 것 같습니다!
저는 셀레니움을 서버에 올려서 주기적으로 실행하고 싶은데, 방법을 아실까요? ㅜㅜ
제가 찾아본 바로는 리눅스 xvfb(x virtual framebuffer) 밖에 없는데.. 현재 Vultr에 윈도우깔고(그냥 개인컴처럼..) 돌리고 있기는 한데 웹 서버를 만들어야 해서 셀레니움 스크립트도 함께 리눅스에 넣고 싶어서요.. 헤드리스는 쓸만한게 못되는 것 같아서 GUI 가 필요할텐데 이와 관련된 자료를 찾기가 힘드네요 ㅠ
감사합니다! 덕분에 수정했습니다.
그리고 리눅스 서버에서 셀레니움 화면은 좀 찾아보니 X Window 시스템을 사용해서 VNC 서버 설치하면 된다고 하는데 저도 해본건 아니라서 확실하게 말씀을 못드리겠네요;
윈도우에 우분투 깔아서 셀레니움을 사용하는데요, 저는 그냥 headless로 돌립니다..
말씀주신 상황에서는 더더욱 헤드리스로 돌리는것 밖에 방법이 없지 않나 싶네요..
다만 디버깅이나 예외처리가 필요한 경우에 try except 구문 안에 driver.save_screenshot() 메소드나, driver.current_url 을 프로퍼티를 사용해서 하고 있어요.
덕분에 자꾸 https2 error로 차단되는걸 해결했습니다 ㅠ 단 한줄이지만 큰 도움 받았습니다 감사합니다
감사합니다~
options.add_argument('--disable-blink-features=AutomationControlled')
기존 브라우저로 접속하면 접속이 되는데, 셀레니움 창으로만 접속하면 로봇이라고 나오는데 해결방법이 없을까요? 위 코드랑, 디버깅모드 등 해봐도 사이트 접속만해도 로봇으로 나오네요. 셀레니움 안쓰고 브라우저로 접속하면 잘됩니다.
로봇이라고 나온다는게 접속이 안된다는 의미인가요?
어떤 사이트인지 알려주시면 살펴보겠습니다.