웹 사이트 크롤링 허용 범위에 대한 이해와 Robots.txt 설정

보안프로젝트 (www.boanproject.com )에서 제공하는 IT 개발 강의입니다. 이번 강의 주제는 "웹 사이트 크롤링 허용 범위에 대한 이해와 Robots.txt 설정" 입니다.
파이썬 크롤링 제작에 앞서 웹 사이트 크롤링 허용 범위를 이해하시면서 데이터 활용을 하시기 바랍니다. 네트워크에 영향을 줄 정도의 크롤링을 하는 것과 크롤링을 허용하지 않는 정보를 가져오는 것은 불법 행위로 간주될 수 있습니다.

[@WJK-wk8we]

양질의 강의 감사합니다^^

[@조준혁-z1w]

로봇배제 표준이 구글에서 만든 권고안이라 강제성이 없다고 들었습니다. 그래서 개인이 상업성 없이 혼자서 머신러닝 프로그램 만들면서 크롤링해도 괜찮나요? 정말 자기만족용으로요.

[@ewatae87]

ㄹㄹ