🚀AI로 함께 성장하려면? AI 도구 커뮤니티(무료): open.kakao.com/o/gu5sxe0e 제이커브스쿨 카페: cafe.naver.com/6pmclass 📧비즈니스 문의 : info@j-curveschool.com *2024년 5월 18일부로 제이커브스쿨로 변경 되었습니다:) 시간을 아끼고 싶은 당신을 위해. 0:00 인트로 0:30 데이터 크롤링 도구 Octoparse 회원 가입 1:37 Octoparse 사용법 소개 2:05 URL 넣고 데이터 긁어오기 3:50 상세페이지 데이터 긁어오기
잘 배우고 갑니다. 한 가지 궁금한게 있는데요 블라인드 같은 곳에서 기업 리뷰를 크롤링 하려고 따라 해 보니, 로그인 하고 접속해도 다른 리뷰 글들이 비공개로 보이고, 한계가 있던데, 이런 경우에도 크롤링 할 수 있는 방법이 있을까요? 블라인드나 잡코리아 같은 곳에서, 또는 신문에서 뉴스 기사의 본문 내용을 크롤링 하는 방법 등에 대해서도 한번 방법을 알려주시면 큰 도움이 될 것 같습니다. 감사합니다
유익한 동영상을 잘 보고 있습니다. 감사합니다. 그런데 동영상을 보다 보니 몇가지 질문이 있습니다 1.옥토버스를 돌렸는데 데이터 취출이 안되면 몇번 반복해도 안되는 부분은 계속 안되는건가요? 2.기한이 없이 무한히 쓰는건가요? 3.카드등록 skip은 잘 알려주셨는데 카드등록하면 어떤 혜택(?) 같은게 있나요?
칼퇴하고 N잡하자 -칼퇴교실 망구입니다. 이런 질문 너무 좋아요. 답변 드릴게요. 1. Workflow의 Option에 들어가보시면, Wait before action이라는 부분에서 지연시간(1초~2초)을 늘리시면, 더 안정적으로 데이터를 받아올 수 있습니다. 2. 네, 약간의 제약사항 제외하고는 없어요. 그래서 처음 데이터 크롤링 해보시는 분들이 사용하기 좋습니다. www.octoparse.com/pricing에 보시면 자세히 나와 있어요. 3.Skip 안하시고 결제를하시면, 설정한 시간에 맞춰 데이터를 자동으로 크롤링해서 업데이트 해주거나, 클라우드에 저장할 수 있는 기능이 생깁니다. 만약에 데이터베이스나 데이터 전송 노코드를 더 잘 활용하시는 단계가되면 유료로 완전 자동화로 만들면 좋죠 ㅎㅎ 지금은 그냥 무료 쓰세요!
일만 여러번 계속 하게 되실겁니다. 간단하게 페이지네이션 한두페이지 하는정도면 상관없지만 매일 연속으로 데이터를 추출하는 부분 가공해야되는 부분 모두 다 설정하고 만져서 개발자가 만들어준것 처럼 사용할 수 있지만, 깊고 길게 가기에는 좋은 선택은 아닙니다. 전문영역과 비영역에 차이라고 보시면 될거 같습니다. 프로그램이 미흡한점이 많고, 크롤링 이라는 자체는 사실상 불법에 영역이여서, 어느 사이트든 암호화기술을 구축하고 로봇개념이 들어가 있어서 길게 써야 한달 쓰면 그다음 또 뚫어내기 위해서 비용을 지불 해야 하기 때문에, 계속 코드 수정해야 하고 그러다 보면 시간 뺏깁니다. 저는 배워서 능숙해지는데 2년 걸렸지만, 지금은 안씁니다. 개발자에게 돈주고 의뢰합니다. 1. 무료 버전은 만행 까지 가능합니다. 2. 무료버전은 무한이 씁니다. 다만 업데이트 될 때 마다 인터페이스가 바뀌고, 기법이 바뀝니다. 그것은 html 구조상 정규표현식을 감추거나 암호화하거나 비꼬아 놓거나 옮겨지기 때문에, 그렇습니다. 그리고 유료가 아니면 1년이상 꾸준히 쓰면 귀찮아집니다. 내가 원하는 형태로 가공을 다시 또 해줘야하기때문에 한계에 직면합니다. 유료를 쓰면 구글시트나 db를 구축해서 사용해서 좋습니다. 3. 카드 등록을 해서 혜택은 첫 일주일 인가 이주일인가 무료체험기간을 제공해 주는걸로 압니다.
@@gt5272 맞습니다. GT님. 깊고 길게 가기에는 좋은 선택은 아니죠. 너무 예리한 분석 너무 감사드려요:) 모든 노코드 툴이 그렇듯, Octoparse도 한계가 뚜렷이 있습니다. 노코드는 IT나 디지털에 대한 지식이 없는 분들이, 초기에 진입하기 좋은 도구일 뿐이죠. 그래서 개발 지식이 전혀 없는 기획자나 예비 창업자가 콘텐츠 기획을 위한 데이터 모으기용으로는 이보다 더 적합한 툴은 없어 보입니다:) 결국 어느 시점에는 개발의 영역으로 가야하더라요!
![소설을 웹툰으로 만드는 AI 등장..어렵고 복잡한 프롬프트에 지쳤다면 [원클릭 AI시대의 도래]](/img/1.gif)
🚀AI로 함께 성장하려면?
AI 도구 커뮤니티(무료): open.kakao.com/o/gu5sxe0e
제이커브스쿨 카페: cafe.naver.com/6pmclass
📧비즈니스 문의 : info@j-curveschool.com
*2024년 5월 18일부로 제이커브스쿨로 변경 되었습니다:)
시간을 아끼고 싶은 당신을 위해.
0:00 인트로
0:30 데이터 크롤링 도구 Octoparse 회원 가입
1:37 Octoparse 사용법 소개
2:05 URL 넣고 데이터 긁어오기
3:50 상세페이지 데이터 긁어오기
잘 배우고 갑니다.
한 가지 궁금한게 있는데요
블라인드 같은 곳에서 기업 리뷰를 크롤링 하려고 따라 해 보니, 로그인 하고 접속해도 다른 리뷰 글들이 비공개로 보이고, 한계가 있던데, 이런 경우에도 크롤링 할 수 있는 방법이 있을까요? 블라인드나 잡코리아 같은 곳에서, 또는 신문에서 뉴스 기사의 본문 내용을 크롤링 하는 방법 등에 대해서도 한번 방법을 알려주시면 큰 도움이 될 것 같습니다. 감사합니다
안녕하세요 답이 늦었습니다
대부분의 사이트에서 크롤링을 막아 두었는데, 이거또한 편법으로 하는 방법이 있긴 합니다만...
케이스바이케이스가 너무커서요! 저희 커뮤니티 오셔서 어떤 사이트 찾아보고 싶은지 알려주시면 저도 연구해볼게요^^
칼퇴교실 때문에 돈 벌었습니다!!! 안녕하세요 34살 온라인 부업하고 있는 직장인입니다. 영상보고 인사이트 얻어서 여러가지 적용하고 있네요ㅎㅎ 너무 너무 유익한정보 감사드립니다!! 강의 같은것도 여시나요?? 있다면 꼭 가보고 싶습니다ㅜ
크롤링은 많은 도움이 되죠 ㅎㅎ 더 쉽고 유익한 영상 기획해서 알려드리겠습니다. 칼퇴교실 2기는 모집이 마감되어서, 카카오톡 플러스 추가하시면 관련 정보 안내해드립니다:-
유익한 동영상을 잘 보고 있습니다. 감사합니다.
그런데 동영상을 보다 보니 몇가지 질문이 있습니다
1.옥토버스를 돌렸는데 데이터 취출이 안되면 몇번 반복해도 안되는 부분은 계속 안되는건가요?
2.기한이 없이 무한히 쓰는건가요?
3.카드등록 skip은 잘 알려주셨는데 카드등록하면 어떤 혜택(?) 같은게 있나요?
칼퇴하고 N잡하자 -칼퇴교실 망구입니다.
이런 질문 너무 좋아요. 답변 드릴게요.
1. Workflow의 Option에 들어가보시면, Wait before action이라는 부분에서
지연시간(1초~2초)을 늘리시면, 더 안정적으로 데이터를 받아올 수 있습니다.
2. 네, 약간의 제약사항 제외하고는 없어요. 그래서 처음 데이터 크롤링 해보시는 분들이 사용하기 좋습니다.
www.octoparse.com/pricing에 보시면 자세히 나와 있어요.
3.Skip 안하시고 결제를하시면, 설정한 시간에 맞춰 데이터를 자동으로 크롤링해서 업데이트 해주거나, 클라우드에 저장할 수 있는 기능이 생깁니다.
만약에 데이터베이스나 데이터 전송 노코드를 더 잘 활용하시는 단계가되면 유료로 완전 자동화로 만들면 좋죠 ㅎㅎ 지금은 그냥 무료 쓰세요!
일만 여러번 계속 하게 되실겁니다. 간단하게 페이지네이션 한두페이지 하는정도면 상관없지만 매일 연속으로 데이터를 추출하는 부분 가공해야되는 부분 모두 다 설정하고 만져서 개발자가 만들어준것 처럼 사용할 수 있지만, 깊고 길게 가기에는 좋은 선택은 아닙니다. 전문영역과 비영역에 차이라고 보시면 될거 같습니다. 프로그램이 미흡한점이 많고, 크롤링 이라는 자체는 사실상 불법에 영역이여서, 어느 사이트든 암호화기술을 구축하고 로봇개념이 들어가 있어서
길게 써야 한달 쓰면 그다음 또 뚫어내기 위해서 비용을 지불 해야 하기 때문에, 계속 코드 수정해야 하고 그러다 보면 시간 뺏깁니다.
저는 배워서 능숙해지는데 2년 걸렸지만, 지금은 안씁니다. 개발자에게 돈주고 의뢰합니다.
1. 무료 버전은 만행 까지 가능합니다.
2. 무료버전은 무한이 씁니다. 다만 업데이트 될 때 마다 인터페이스가 바뀌고, 기법이 바뀝니다. 그것은 html 구조상 정규표현식을 감추거나 암호화하거나 비꼬아 놓거나 옮겨지기 때문에, 그렇습니다. 그리고 유료가 아니면 1년이상 꾸준히 쓰면 귀찮아집니다. 내가 원하는 형태로 가공을 다시 또 해줘야하기때문에 한계에 직면합니다. 유료를 쓰면 구글시트나 db를 구축해서 사용해서 좋습니다.
3. 카드 등록을 해서 혜택은 첫 일주일 인가 이주일인가 무료체험기간을 제공해 주는걸로 압니다.
@@gt5272 맞습니다. GT님. 깊고 길게 가기에는 좋은 선택은 아니죠. 너무 예리한 분석 너무 감사드려요:)
모든 노코드 툴이 그렇듯, Octoparse도 한계가 뚜렷이 있습니다. 노코드는 IT나 디지털에 대한 지식이 없는 분들이, 초기에 진입하기 좋은 도구일 뿐이죠.
그래서 개발 지식이 전혀 없는 기획자나 예비 창업자가 콘텐츠 기획을 위한 데이터 모으기용으로는 이보다 더 적합한 툴은 없어 보입니다:) 결국 어느 시점에는 개발의 영역으로 가야하더라요!