구독자 여러분 안녕하십니까 *(_ _)* 오늘은 엑셀 VBA의 http 요청을 활용한 웹 크롤링 방법의 모든 것을 기초부터 시작하여 네이버 부동산 크롤링 응용까지 단계별로 알아보는 강의를 준비하였습니다. 기존의 인터넷 익스플로러를 사용하는 방식은 올 11월 말부터 중요 업데이트 중단 및 내년 8월 부터는 전면적인 지원 중단으로 인해 실질적으로 실무에 적용이 불가능해졌습니다. 따라서 이번 강의에서는 크롬의 개발자툴과, HTTP요청을 사용하여 웹 페이지를 크롤링하는 방법에 대하여 핫픽스 강의를 준비하였습니다. VBA를 처음 다루시는 분들께는 다소 어려운 내용일 수 있습니다. 하지만 기초 이론을 포함하여 영상을 보면서 쉽게 따라할 수 있도록 준비해드렸으니, 많은 분께 되었으면 좋겠습니다. 강의 내용 중 궁금하신 내용은 영상 댓글로 남겨주세요! 감사합니다. ⭐오빠두엑셀 위캔두 멤버쉽 채널을 오픈하였습니다. ruclips.net/channel/UCZ6UHYBQFBe14WUgxlgmYfgjoin 👇🏻 강의에 사용된 예제파일 다운로드 www.oppadu.com/엑셀-크롤링-네이버-부동산/ 00:00 엑셀 웹 크롤링 강의 시작 01:37 웹 크롤링 기초 살펴보기 06:20 크롤링 원리는 간단하다! 11:46 실습을 시작하기 전에 앞서서.. 14:38 개발도구 활성화 하기 16:21 크롬 개발자 도구 사용방법 22:18 연관검색어 쿼리문 분석 24:54 연관검색어 스크랩 명령문 작성 30:46 연관검색어 JSON 데이터 파싱 40:44 연관검색어 스크랩 툴 마무리 42:24 네이버 부동산 스크랩 살펴보기 44:37 검색지역 접속 URL 확인 51:14 검색지역 고유 정보 스크랩 55:55 지역 내 단지정보 URL 링크 생성 01:07:19 지역 내 단지정보 가져오기 01:15:18 단지 내 매물정보 받아오기 01:32:58 매물 정보를 시트 위에 출력하기 01:44:12 단지별 대표 이미지 출력하기 01:50:33 초기화 & 실행 명령문 작성
@@Oppadu 저야 말로 오빠두님 왕팬! 늘 뜨겁게 응원합니다.~ ^^ 말씀하신대로 자동화는 앞으로 갈수 밖에 없는 방향인지라, 그 다양한 툴들을 다 익혀둘 필요는 있을것 같아요. 엑셀 VBA는 또 분명 VBA만에서만 할 수 있는 일이 많으니, 툴은 내게 필요한 것을 그때 그때 활용하는 유연성이 필요할것 같아요. ^^
오빠두님 강의 보면서 항상 많은 도움 받고 있습니다! (거의 회사에서 오빠두 찬양론자로 불리고 있어요 ㅎㅎ) 제가 VBA 에 관한 기본 지식 없이 하려다보니 중간에 많이 놓쳤는데요. 그래도 대략적으로 원리는 이해했습니다! 혹시 부동산 매물을 가져올 때 "oo아파트의 OO평수의 매물, 가격" 정보를 불러 오는 것도 이 VBA 크롤링을 활용해서 할 수 있을까요? 현재 코드는 아파트 전체의 매물 갯수와 가격대 Range 를 갖고 오는데, 평수별로 볼 수 있는지 궁금해서 여쭙게 되었습니다! 항상 좋은 영상 만들어주셔서 감사합니다~!
Dim searchType As String: searchType = "OPST" 여기서 ""사이에 OPST와 APT를 입력했더니 결과는 만족스럽게 나옵니다만, VL, APTHGJ, GJ/CG(빌라, 아파트형공장(지식산업센터), 공장/창고)는 나오지 않습니다. 어디부터 다시 접근을 해야할까요? 영상을 계속 돌려봐도 부동산 카테코리를 수정할려면 저 구간밖에 없는거 같습니다..제발 도와주세요.
강의 항상 감사히 듣고있습니다 어려운 질문드려도 될까요 네이버에서 볼리젼밴드(설정 15일선) 주식 종목별 일봉,주봉.월봉 볼린져 밴드 크로링이 가능할까요 여러 전문가님께도 문의드려 보았지만 어렵다는 답변만 들었습니다 고민끝에 오빠두에 다시한번 문의드려봅니다 나눔강의 너무나 감사드리며 댓글 답변은 꼭 듣고싶습니다
정말 유용한 강의 업로드해주셔서 감사합니다... 예제파일 이용해서 따라해보고있는데, 34분대 Splitter 관련으로 문제를 겪고 있습니다.... 실행 시, '9'런타임 오류가 발생하였습니다: 아래첨자 사용이 잘못되었습니다. 라는 문구가 나오며 디버그(D)버튼을 클릭하면 기존에 만들어진 모듈(z_CrawlModule)에서 varr=split(v,cutter)(1) 행에 노란색으로 표시가 되는데 어떤 부분을 수정해야 하는지 모르겠습니다. 밑에 댓글에서도 유사한 Q&A보고 items부분 복사해봤는데도 안되네요 ㅠㅠ
선생님 강의 잘듣고 있습니다.. 강의를 통해 웹 크롤링을 해보고 있는데요, 시작부터 난관이네요 ㅎ... 혹시 질문 드려도 될까요?? 1. 어떤 시점부터.. 엑셀 내 vba 실행 시 엑셀 오류 걸리면서 파일이 꺼집니다. (윈도우 11홈, 엑셀 365 or 2016) 2. exportText strResult 이후 [F5] 버튼 동작시 , 70오류 뜨면서 권한이 없다고 나오네요.. 검색에서도 명확한 설명이 없는데 왜 이러는걸까요? ㅠㅠㅠ 실습 시작하자마자 막혀서....답답하네요 ㅎ;;
24:54 변수설정후 검색하는것 부터 막혔습니다. Sub OO() Dim URL as string ... Dim strSearch As String strSearch = "트럼프" URL = "https.......................... -> 여기에 strSearch 변수를 삽입할때 " " 안에 넣으면 에러가 나구요, "" "" 를 빼면 트럼프 값이 적용되지않고 변수명 strSearch 로 검색됩니다. 여기서 막혀서 앞으로 나아가지 못하고 있습니다.
강의 잘 보고 있습니다. 강의 보면서 따라만드는 중인데 34분대 부터 실행시 '9'런타임 오류가 발생하였습니다: 아래 첨자 사용이 잘못되었습니다. 라는 문구가 나오며 디버그(D)버튼을 클릭하면 기존에 만들어진 모듈(z_CrawlModule)에서 varr=split(v,cutter)(1) 행에 노란색으로 표시가 되는데 어떤부분을 수정해야 하는지 모르겠습니다.
안녕하세요? 말씀하신데로 수정 하였습니다... '13' 런타임 오류가 발생했습니다. 형식이 일치하지 않습니다. vaArr = Split(vaArr, Trimmer)(0) 노란색으로 표시가 되는데...이거 제가 잘못입력한 것 같은데....몇번을 다시 해도 똑같이 나옵니다. 아 죽겠습니다.
Dim URL As String Dim htmlResult As Object ' gethttp 명령문의 결과값 html anstj Dim strResult As String 'htmlResult에서 받아온 html 문자열 Dim srtSearch As String ' 검색단어 ' Dim v As Variant
' strSearch = Sheet2.Range("c2").Value strSearch = "바이든" URL = "ac.search.naver.com/nx/ac?q=" & srtSearch & "&frm=nx&st=100" ' 기본 형식 =기본주소?쿼리1=값1&쿼리2=값2
Set htmlResult = GetHttp(URL) strResult = htmlResult.body.innerhtml strResult = Splitter(strResult, "items"" : [ [", "] ] }") Debug.Print strResult ' v = Split(strResult, ",") ' For i = LBound(v) To UBound(v) ' v(i) = Replace(Replace(v(i), "[""", ""), """]", "") ' ' Next ' ' ArrayToRng Sheet2.Range("A1"), v ' ' Debug.Print "" End Sub 이렇게 작성했습니다.
여기서 배워서 실무에 쓰고 있습니다. 사용자함수로 만들었는데 시스템이 다운되는 수준이네요 더 좋은 방법이 없을까요? 인턴사원 200명에 대하여 전국지점 50곳에 배치를 하기위해서 사원주소지(200명*주소 2개)에 대하여 전국지점과 가까운 곳에 배치하기 위해서 네이버 지도에서 크롤링은 하였습니다. 먼저 주소 450곳에 대하여 좌표를 크롤링(450회) 하고, 두 좌표간의 대중교통 소요 시간을 크롤링(400개*50개=20,000회) 하고자 합니다. 20명씩 나누어 파일을 만들었는데도 1시간 이상 걸리네요 오픈API는 대중교통 소요 시간을 지원하지 않는 것 같아요
YongUn Jeong 님 안녕하세요. 사용자 함수(Function) 으로 실행하면 매 수식 새로고침시마다 모든 함수가 다시 실행되기 때문에 부하가 걸릴 수 있습니다. Function 대신 Sub 으로 한 번에 데이터를 받아올 수 있도록 코드를 변경하면 속도가 많이 개선되실거에요.
안녕하세요. 말씀하신 오류는 GetHttp 함수가 작성되지 않아서 그렇습니다. www.oppadu.com/%ec%97%91%ec%85%80-%ed%81%ac%eb%a1%a4%eb%a7%81-%ed%95%a8%ec%88%98/ 위 링크로 이동하신 후, GetHttp 전체 코드를 복사하고 VBA 모듈 아래쪽에 붙여넣기 한 후 다시 실행해보세요. 또는 홈페이지에서 제공하는 완성파일을 다운 받은 후, 예제로 작성하신 코드와 비교해서 잘못된 부분을 찾아보시길 바랍니다. :) 감사합니다!
잘 보고있습니다 :) lat = Splitter(strResult, "lat:", ","): MsgBox lat 이건 문제가 없는데 lat = Splitter(strResult, "lat:'", ","): MsgBox lat ('를 추가했을때) 계속 9런타임오류 / 아래첨자 사용이 잘못되었다고 나오는데 어떻게 수정해야 할까요?
안녕하세요! 오빠두엑셀입니다. 오빠두엑셀 홈페이지에 정리된 게시글을 확인해보시겠어요? 각 과정별 필요한 코드와 마스터 코드를 꼼꼼하게 정리했습니다. :) www.oppadu.com/%EC%97%91%EC%85%80-%ED%81%AC%EB%A1%A4%EB%A7%81-%EB%84%A4%EC%9D%B4%EB%B2%84-%EB%B6%80%EB%8F%99%EC%82%B0/ 감사합니다.
@@Oppadu Open FilePath For Output As TextFile 이곳에서 error발생하여, 오빠두님 말씀데로 MsgBox FilePath 걸었더니, path 부분이 자꾸 null로 떠서, If IsMissing(Path) Then Path = Environ("USERPROFILE") & "\Desktop\" 구분 이전에 Path = Environ("USERPROFILE") & "\Desktop\" 를 추가 해줬더니 ,FilePath 가 제대로 경로를 갖고 오더군요... 그런데도 Open FilePath For Output As TextFile 에서 error가 발생하는데, 혹 의문점이 TextFile = FreeFile여기서 FreeFile 이 어디 지정이 안됐거나, TextFile = '0','1' 등의 지정이 안되서 출력이 안되는건지? TextFile이 innerStrings 변환이 잘 안되는건지.... 어떻게 해결해야 할지 모르겠어요...갈켜 주세요 ㅜ ㅜ
@@Oppadu 자료를 찾아보니, sub OpenTextFile Test Const ForReding =1 ,ForWriting =2,ForAppending =3 dim fs,f Set fs = CreateObject("Scripting.FileSystemObject") Set f = fs.OpenTextFile("c:\testfile.txt",ForAppending,TristateFalse) f.Write "안녕하십니까?" f.Close End Sub Open FilePath For Output As TextFile에서 TextFile의 값이 ="1" 로 나타나는데, TextFile=1 의 값 정의가 필요한건가요?
예제에서 직접 작성해도, 완성본 받아서 돌려도 그렇고 런타임 오류가 계속 나오네요. strResult = Splitter(strResult, "items"" : [ [", "] ] }") "items" : [ [ 형태를 "items"" : [ [" 로 한 줄로 가져오면서 오류가 나는거 같은뎅 초보인 저는 모르겠네요..
안녕하세요, 엑셀을 처음 하는데, 오빠두엑셀을 보면서 vba 로 많은 것을 할 수 있었습니다! 감사합니다:) 그런데, 제가 자동로그인을 응용해서 자동검색? 을 하고, 나온결과를 엑셀로 로드하고 싶은데요, table로 들어가서 각 행별로 thead, subthead, tr, td 이런 구성으로 되어 있는 경우에는 어떻게 읽어올 수 있나요?? "엑셀파일로 다운로드"의 경우에는 href 더라구요, 그런데 다운로드 버튼을 작동시키는데 실패해서 그냥 결과 테이블을 엑셀에 다운로드 하고 싶습니다. 도움 부탁드립니다.!!
여기에서 좀 더 몇걸음을 더 발전하고 싶으신 분들은 파이썬을 배워보세요. 파이썬으로 엑셀파일도 자동으로 만들어줍니다. 때에 따라서 VBA보다 쉬울 수 있어요. 참고로 윈도우 10을 사용 중이라면 장바구니 아이콘 모양으로 된 마이크로소프트 마켓에서 파이썬을 무료로 다운받아 자동으로 설치가 됩니다. 내용중에 JSON을 다룰 수 있는 수준이 된다면 이미 프로그래밍 절반을 배운거고 데이터를 다루는 프로그래밍을 하시는 거세요. 웹 프로그래밍 절반이 JSON 입니다.
구독자 여러분 안녕하십니까 *(_ _)*
오늘은 엑셀 VBA의 http 요청을 활용한 웹 크롤링 방법의 모든 것을 기초부터 시작하여 네이버 부동산 크롤링 응용까지 단계별로 알아보는 강의를 준비하였습니다.
기존의 인터넷 익스플로러를 사용하는 방식은 올 11월 말부터 중요 업데이트 중단 및 내년 8월 부터는 전면적인 지원 중단으로 인해 실질적으로 실무에 적용이 불가능해졌습니다.
따라서 이번 강의에서는 크롬의 개발자툴과, HTTP요청을 사용하여 웹 페이지를 크롤링하는 방법에 대하여 핫픽스 강의를 준비하였습니다.
VBA를 처음 다루시는 분들께는 다소 어려운 내용일 수 있습니다. 하지만 기초 이론을 포함하여 영상을 보면서 쉽게 따라할 수 있도록 준비해드렸으니, 많은 분께 되었으면 좋겠습니다.
강의 내용 중 궁금하신 내용은 영상 댓글로 남겨주세요! 감사합니다.
⭐오빠두엑셀 위캔두 멤버쉽 채널을 오픈하였습니다.
ruclips.net/channel/UCZ6UHYBQFBe14WUgxlgmYfgjoin
👇🏻 강의에 사용된 예제파일 다운로드
www.oppadu.com/엑셀-크롤링-네이버-부동산/
00:00 엑셀 웹 크롤링 강의 시작
01:37 웹 크롤링 기초 살펴보기
06:20 크롤링 원리는 간단하다!
11:46 실습을 시작하기 전에 앞서서..
14:38 개발도구 활성화 하기
16:21 크롬 개발자 도구 사용방법
22:18 연관검색어 쿼리문 분석
24:54 연관검색어 스크랩 명령문 작성
30:46 연관검색어 JSON 데이터 파싱
40:44 연관검색어 스크랩 툴 마무리
42:24 네이버 부동산 스크랩 살펴보기
44:37 검색지역 접속 URL 확인
51:14 검색지역 고유 정보 스크랩
55:55 지역 내 단지정보 URL 링크 생성
01:07:19 지역 내 단지정보 가져오기
01:15:18 단지 내 매물정보 받아오기
01:32:58 매물 정보를 시트 위에 출력하기
01:44:12 단지별 대표 이미지 출력하기
01:50:33 초기화 & 실행 명령문 작성
미쳤어...진짜...ㄷㄷㄷ
오빠두님 진짜 대박이시다 신기해요
어찌보면 이렇게 무료오 공개하기 어려울수 있는 내용인데도 이렇게 쉽고 친절하게 알려주시니 참 고마울따름입니다 다른 채널도 많이 있지만 오빠두님은 이런 실전예제로 직접 다뤄주시니 제 일에 바로 적용하기에도 참 용이합니다 항상 감사합니다
요즘 오빠두님 덕분에 엑셀실력이 나날이 늘어갑니다 ^^ 감사해요 항상!!
과찬의 말씀이십니다! 앞으로도 쭉쭉- 건승하시길 기원할께요! :)
33:15 즈음에 vaArr = Split(v, Cutter)(1) 요거 에러뜹니다.
영상에서 아무렇지도 않게되는게 이상한 건데요.
아래 댓글보니 해결 본 분이 있더군요.
strResult = Splitter(strResult, "tems"" : [" & Chr(10) & "[", "]" & Chr(10) & "]" & Chr(10) & "}")
이걸로 개행문자를 넣어서 해결을 봤습니다.
36:18 지역창에 아무것도 안보이면 F8을 누르면 됨.
엑셀로 초대박 친 분 이분 처음봄.. 대단해요.~
와 이게 뭐람...진짜 대박
양질의 강의 자료 준비하신다고 수고가 많으십니다.
이 사이트 강의로 많이 배우고 있습니다.
구독으로 보답 드리고 항상 응원하겠습니다.
진짜 대단하다....이분 영상만 따라가도 진짜 엑셀 마스터까지는 아니더라도 익스퍼트까지는 될듯..
와 대단하네요. 대박!! 감사합니다.
정말 감동입니다 감사합니다~~♡♡
정말 많은 분들이 이분의 콘텐츠를 알고 가셨으면 합니다.
정말 대단하신분입니다아. 모든일이 잘되시길 바랍니다.
볼때 마다 감탄사가 절로 나옵니다. 최고 입니다. 또한 자료까지 무료로 주시는 더욱 감사할 따름입니다
감사합니다. 열심히 하겠습니다.
헛... 2시간... 이건 유료로 해야 되는 강의 아녀요? 대단하십니다~~
강의 내용 이외에도 파일을 다운 받아서 보니 이미 만들어 놓으신 Function 중에서도 공부할 내용이 많네요~~
이번에도 많이 배웁니다. ^^
좋아요와 댓글만으로도 벅차고 힘이납니다-! 호홍홍😍 요즘은 uiPath를 다루고 계시네요..! 저도 언젠간 꼭 다뤄보고 싶은 주제입니다..ㅜㅜ
@@Oppadu 넵! 제 채널의 지향점이 소소한 업무자동화인데....
업무자동화 전용툴이 있기에... 제 지향점과도 맞아들어가고... 그래서 낼름!! ^^
RPA는 짧게봐도 길게봐도 미래가 참 밝은 분야인 듯 합니다. 엑셀은 자동화를 하는데 VBA 라는 틀에 갇혀있다보니, 다양한 자동화를 구현하는데에는 제약이 많은게 사실이죠 ㅜㅜ .. 아무쪼록 항상 응원합니다!😍
@@Oppadu
저야 말로 오빠두님 왕팬! 늘 뜨겁게 응원합니다.~ ^^
말씀하신대로 자동화는 앞으로 갈수 밖에 없는 방향인지라, 그 다양한 툴들을 다 익혀둘 필요는 있을것 같아요. 엑셀 VBA는 또 분명 VBA만에서만 할 수 있는 일이 많으니, 툴은 내게 필요한 것을 그때 그때 활용하는 유연성이 필요할것 같아요. ^^
감사합니다. 큰 도움이 되었습니다.
와...대박...넘넘넘 수고많으셨어요~~!!!감사합니다~엑셀초보라 구독해서보다가 이건뭔가싶어서 강의들었는데 신기하기도하고 어렵기도..열정적인 강의 잘 들었습니다~!!👍
이건 정말 미쳤다... 엑셀의 정수를 본 것 같네요^^ 우와...내일 샴실 출근하면 무조건 가입할게요... 무료로 듣는건 아닌것 같네요^^ 대박
진짜 미쳤닼ㅋㅋㅋㅋ 이걸로 네이버 말고 다른 시이트도 크롤링 가능한거죠?
네 가능합니다
영상감사합니다.. 이런거 어떻게 하나 궁금했는데 예제와 함께 자세히 설명까지 해주셔서 도움이많이됩니다
강의 들으면서 궁금한 부분까지 설명 정말로 잘해주시네요! 유용하게 쓰도록 하겠습니다. 전부 이해했어요.
당신은 신인가요...?
감동 강의!!
강의퀄리티 너무 좋아요!! 3회독정도 하고 실행해보겠습니다. 너무 감사합니다.
오빠두님 영상은 엑셀 함수 사용법 필요할 때마다 봤었는데 ... 그냥 유용한 영상이네 이정도 느낌이었는데요. 이렇게 매크로 제작 영상보니깐 열정과 섬세함에 감탄하고 갑니다. 미약한 힘이나마 늘 응원하겠습니다!!
엄지척^~^👍👍 오~짱!빠두 아멘!! 너무 고생 많았습니다. 2시간
대단하셔엽
엑셀이 진심 모든게 되는게 신기함
정말 대박이네요~~ 굉장하십니다~~ 너~무 좋은 강의 였습니다. 물론 전체를 다 이해하지는 못합니다만... 몇번이고 다시보기 해야겠네요~~ 진심 감사합니다~~^^
JSON 데이터파싱까지 3시간걸려 성공했습니다ㅜㅜ 어렵지만 재밌네요 ㅎㅎ 남은 시간도 열심히 배워보겠습니다!!
신세계네요... 제 업무를 얼마나 확장할 수 있을지 짐작도 안됩니다. 아이디어가 샘솟네요.
좋은 영상 감사합니다.
이거 좋아요 굳이에요
안녕하세요. 부동산업에 종사하는데 정말 귀한 자료네요. 선생님 덕분에 시간 정말 많이 단축했습니다. 감사합니다!
감사합니다.
안녕하세요~ 제가 보통 영상 좋아요만 누르고 댓글은 안 남기는데 영상자체 퀄리티가 너무 높아 글을 한번 남깁니다~ 크롤링을 여러 영상을 통해 배우고 있는데 이 영상 하나로 모든게 해결된 것 같네요. 감사합니다~
앗 도움이 되셨다니 정말 다행입니다~! :)
크롤링은 익혀두면 여러모로 정말 유용한 스킬이죠!
와 대박
말이 필요 없는 최고의 무료 강좌 채널 인정 합니다.
증권거래위원회 제무제표 쿼리도 크롤링해서 엑셀로 가져올 수 있나요??
지금 네이버 사전은 이 방법대로 하면 안되는 거 같습니다. 메타가 바꿨나봐요. 지금 기준 혹시 네이버 사전을 크롤링 할 수 있는 방법은 없을까요?
와 지난주 강의가 벌써 업로드라니..;; 엄지척!!👍👍 믿고보는 갓빠두 아멘!!
빛
은혜
정말 필요한 내용의 강의를 이렇게 해주시니 너무 감사합니다. 네이버부동산 웹크롤링이 필요해서 따라해보는데 극초보라 무지하게 어렵네요...^^;; 혹시 이번 강의를 마스터 하기 위해서는 어떤강의부터 들어야 할까요?? 며칠을 돌려보기 중간에 에러 나기 일쑤입니다.ㅠㅠㅠㅠ
이번 강의는 정말 어렵네요 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅠㅠ 이 산을 넘어야 크롤링에 더 다가갈 수 있겠죠..?후... 크롤링을 하려고 html 공부를 하고왔더니 자바까지는 알아야한다뇨...ㅎㅎㅎㅎㅎㅎㅎㅎ
안녕하세요
자바는 선택사항입니다 :) 모르셔도 괜찮아요.
대부분의 경우 자바로 출력되는 URL 경로를 확인할 수 있기 때문에, 강의에서 소개해드린 네트워크 분석을 활용하면 대부분의 경우 자바로 호출되는 URL을 받아와서 크롤링할 수 있습니다.
만약에... 서울에 있는 모든 동에대해서도 자동으로 한 sheet에 쫘라락 되게하려면 어떻게하면좋을까요..??
range에 딱 구로구 구로동만 넣는 셀 하나가 아니라 특정 영역안에 있는 값들로 쭈루룩 다 진행되도록 하면될거같은디..
오빠두님 강의 보면서 항상 많은 도움 받고 있습니다! (거의 회사에서 오빠두 찬양론자로 불리고 있어요 ㅎㅎ)
제가 VBA 에 관한 기본 지식 없이 하려다보니 중간에 많이 놓쳤는데요. 그래도 대략적으로 원리는 이해했습니다! 혹시 부동산 매물을 가져올 때 "oo아파트의 OO평수의 매물, 가격" 정보를 불러 오는 것도 이 VBA 크롤링을 활용해서 할 수 있을까요? 현재 코드는 아파트 전체의 매물 갯수와 가격대 Range 를 갖고 오는데, 평수별로 볼 수 있는지 궁금해서 여쭙게 되었습니다! 항상 좋은 영상 만들어주셔서 감사합니다~!
안녕하세요4^^ 잘보고갑니다d
강의 15분20초에"통합 문서 보호"에 보면 메크로 보안 이라는 것은 없고 암호설정 현재시트보호 엑세스 제한 등 탭이 있는데 어떤걸 해제 해야 메크로를 활성화 하는건가요?
Dim searchType As String: searchType = "OPST" 여기서 ""사이에 OPST와 APT를 입력했더니 결과는 만족스럽게 나옵니다만, VL, APTHGJ, GJ/CG(빌라, 아파트형공장(지식산업센터), 공장/창고)는 나오지 않습니다. 어디부터 다시 접근을 해야할까요? 영상을 계속 돌려봐도 부동산 카테코리를 수정할려면 저 구간밖에 없는거 같습니다..제발 도와주세요.
안녕하세요? 오늘 처음 발견해서 보고 있는데요.. 강의가 엄청나네요.. 근데 관련 명령어를 EBOOK으로 올려놓으셨다고 하셨는데, 이건 어디서 받을수 있는건가요? 아무리 둘러봐도 알수가 없네요 ㅠ
혹시 해당 엑셀 파일은 어디서 다운 받을 수 있을까요? 해당 주소에서도 다운 받을 수가 없네요?
좋은 자료 감사합니다. ^^
ms오피스 365는 VBA 메크로 사용이 안되나요?
강의 항상 감사히 듣고있습니다
어려운 질문드려도 될까요
네이버에서 볼리젼밴드(설정 15일선)
주식 종목별 일봉,주봉.월봉 볼린져
밴드 크로링이 가능할까요
여러 전문가님께도 문의드려 보았지만
어렵다는 답변만 들었습니다
고민끝에 오빠두에 다시한번
문의드려봅니다
나눔강의 너무나 감사드리며
댓글 답변은 꼭 듣고싶습니다
안녕하세요.
볼린전밴드는 크롤링보다 엑셀에서 직접 계산하시면 될 것 같습니다.
형님 최고!!!
그의 세심함이란... F12키가 없어졌을때도 대비해준다니ㅎㄷㄷ
정말 유용한 강의 업로드해주셔서 감사합니다...
예제파일 이용해서 따라해보고있는데, 34분대 Splitter 관련으로 문제를 겪고 있습니다....
실행 시, '9'런타임 오류가 발생하였습니다: 아래첨자 사용이 잘못되었습니다. 라는 문구가 나오며 디버그(D)버튼을 클릭하면 기존에 만들어진 모듈(z_CrawlModule)에서 varr=split(v,cutter)(1) 행에 노란색으로 표시가 되는데 어떤 부분을 수정해야 하는지 모르겠습니다.
밑에 댓글에서도 유사한 Q&A보고 items부분 복사해봤는데도 안되네요 ㅠㅠ
저도 보니깐 여기가 안되더라구요, excel 버전문제인지는 모르겠는데 대괄호 사이에 줄바꿈을 인식을 못하는게 보여서 strResult = Splitter(strResult, "tems"" : [" & Chr(10) & "[", "]" & Chr(10) & "]" & Chr(10) & "}")이런식으로 줄바꿈에 대해서 chr(10)을 입력해서 해결봤습니다.
@@minseokpark5369 오! 님 저도 요것때문에 못하고 있었는데 개행문자 Chr(10) 요걸 못 찾았는데 감사합니다. ~~~
오~ F(Line Feed) : 커서를 한칸 아래로 이동하여 새로운 라인을 추가 (아스키 코드 : 10) 이거 입니다. 다들 참조하시고요 오빠두 화이팅~~
vba 코드가 실행중에는 다른 프로그램을 사용하면 멈추나요?
안녕하세요.
VBA 코드를 실행하면서 다른 프로그램을 사용할 수 있습니다.
다만, VBA 코드가 실행되는 동안 엑셀은 사용할 수 없습니다. :)
선생님 강의 잘듣고 있습니다..
강의를 통해 웹 크롤링을 해보고 있는데요, 시작부터 난관이네요 ㅎ...
혹시 질문 드려도 될까요??
1. 어떤 시점부터.. 엑셀 내 vba 실행 시 엑셀 오류 걸리면서 파일이 꺼집니다. (윈도우 11홈, 엑셀 365 or 2016)
2. exportText strResult 이후 [F5] 버튼 동작시 , 70오류 뜨면서 권한이 없다고 나오네요..
검색에서도 명확한 설명이 없는데 왜 이러는걸까요? ㅠㅠㅠ
실습 시작하자마자 막혀서....답답하네요 ㅎ;;
이거 상가,창고공장 으로도 가능한가요?
24:54 변수설정후 검색하는것 부터 막혔습니다.
Sub OO()
Dim URL as string
...
Dim strSearch As String
strSearch = "트럼프"
URL = "https.......................... -> 여기에 strSearch 변수를 삽입할때 " " 안에 넣으면 에러가 나구요, "" "" 를 빼면
트럼프 값이 적용되지않고 변수명 strSearch 로 검색됩니다.
여기서 막혀서 앞으로 나아가지 못하고 있습니다.
개쩌는데 나는 머리가 나쁜가봐요 두통생기네요 ㅋㅋㅋㅋㅋ
선생님ㅎㅎ 혹시 유튜브 실시간 스트리밍의 실시간채팅도 크롤링으로 가져올 수 있을까요?
좋은 강의 정말 감사합니다. 몰랐던게 엄청 많았네요..근데 ajax통해서 GET방식 말고 POST방식은 어떻게 가져올수 있을지 방법이 있을까요?
GetHTTP 명령문에서 "GET"을 "POST"로 바꿔보세요.
잘 보고 있습니다. 저는 맥용 오피스를 사용하는데.. 위 기능을 맥 용 오피스에서는 사용할 수 없다는 말씀이지요??
안녕하세요.
네 맞습니다. :-)
크콜링을 이용하면 구글 지도에서 우편번호를 가지고 두 도시의 거리도 알 수 있나요?
고건 gis가 직빵이죠 ㅋㅋㅋㅋ
제가 사용중인 엑셀2010은 웹쿼리가 내부적으로 Internet Explorer로 동작하는 것 같은데요. 2022.6월 이후에는 MS사에서 Internet Explorer를 사용중지한다고 합니다. 그러면 어떻게 해야 되나요? 엑셀 상위 버전에서는 문제가 없나요?
대표님 완성된 엑셀 파일은 어디서 볼 수 있을까요?
좋은 강의 감사합니다. 기초지식이 없어 따라 해보는 중인데요. GetHTTP 부분에서 컴파일 오류가 납니다. z.crawlmodule은 어디에서 찾을 수 있는 건가요..??
안녕하세요.
홈페이지에 올려드린 완성파일을 확인하시면 크롤링에 사용된 전체 모듈을 확인하실 수 있습니다.
내용 잘 봤습니다 구글 크롬으로 접속해서 데이터를 가지고 오는걸로 보이는데 크롬으로 하는 설정이나 셋팅은 필요없나요?
안녕하세요.
강의에서 크롬을 사용한 이유는 웹 페이지를 분석하기 위해 사용한 것입니다.
실제 동작은 크롬과 무방하게 동작합니다.
야~~ 신세계다.
Ebook은 어디에서 다운받을수 있는걸까요😅
안녕하세요.
현재 E-book 은 모두 홈페이지 교안으로 대체하여 제공하고 있습니다. 홈페이지 링크를 확인해보세요.
@@Oppadu 와 빠른답글 감사해요~~오빠두님 혹시 방대한 양의 스크롤로 내려야하는 웹데이터는 vba로 어려운것일까요? 일부만 다운로드되네요 ㅜㅜ
그럼 로그인이 필요한 페이지는 엑셀로 크롤링하기 힘든걸까요?? ㅜㅜ(아직 강의를 다 듣기 전입니다)
안녕하세요.
로그인이 필요한 페이지는 셀레니움으로 크롤링하실 수 있습니다. :)
혹시 엑셀 창시자 아니십니까??? 이런걸 어떻게 알 수 있는거죠???
메모장이 바탕화면에 만들어지지 않네요... ㅜ 이런 상황이 흔한 상황인가요? 아니면 저만 그런가요?
안녕하세요.
그럴 경우 '내 문서' 폴더를 한번 확인해보시겠어요? :)
감사합니다.
강의 잘 보고 있습니다.
강의 보면서 따라만드는 중인데 34분대 부터 실행시 '9'런타임 오류가 발생하였습니다: 아래 첨자 사용이 잘못되었습니다. 라는 문구가 나오며 디버그(D)버튼을 클릭하면 기존에 만들어진 모듈(z_CrawlModule)에서 varr=split(v,cutter)(1) 행에 노란색으로 표시가 되는데 어떤부분을 수정해야 하는지 모르겠습니다.
"items"" : [ [", "] ] }" 이부분 복사해서 붙여넣어보세요 띄어쓰기 문제인듯하네요
안녕하세요? 말씀하신데로 수정 하였습니다...
'13' 런타임 오류가 발생했습니다. 형식이 일치하지 않습니다.
vaArr = Split(vaArr, Trimmer)(0) 노란색으로 표시가 되는데...이거 제가 잘못입력한 것 같은데....몇번을 다시 해도 똑같이 나옵니다. 아 죽겠습니다.
@@아이써치-h3v 코드좀 볼 수 있을까요
'변수설정
Dim URL As String
Dim htmlResult As Object ' gethttp 명령문의 결과값 html anstj
Dim strResult As String 'htmlResult에서 받아온 html 문자열
Dim srtSearch As String ' 검색단어
' Dim v As Variant
' strSearch = Sheet2.Range("c2").Value
strSearch = "바이든"
URL = "ac.search.naver.com/nx/ac?q=" & srtSearch & "&frm=nx&st=100"
' 기본 형식 =기본주소?쿼리1=값1&쿼리2=값2
Set htmlResult = GetHttp(URL)
strResult = htmlResult.body.innerhtml
strResult = Splitter(strResult, "items"" : [ [", "] ] }")
Debug.Print strResult
' v = Split(strResult, ",")
' For i = LBound(v) To UBound(v)
' v(i) = Replace(Replace(v(i), "[""", ""), """]", "")
'
' Next
'
' ArrayToRng Sheet2.Range("A1"), v
'
' Debug.Print ""
End Sub
이렇게 작성했습니다.
@@아이써치-h3v URL = 값에 srtSearch(x) strSearch(o) 오타가 있네요 그리고 i에 대한 변수도 선언되지 않았어요 주석처리한거 지우고 실행해보시면 잘됩니다.
16분 정도에 말씀하신 이북은 어디에서 구할 수 있을까요??
홈페이지 포스트에서 '보충파일'을 확인해보세요 :)
행정동을 입력해서 단지 데이터를 받아오는것이 아니라,
조회하려는 아파트 단지들의 개별 complexNo 를 exel 시트에 기록하고
입력해놓은 단지들의 정보만 불러오려면 어떻게 해야 할까요
z_Crawl에서 vaArr = Split(v, Cutter)(1) 이 부분에서 멈추는데, 뭐가 문제이죠? NaverLAND모듈에서 strResult = Splitter(strResult, "filter:{", "},")여기까지 따라했는데....
안녕하세요.
네이버 부동산 페이지가 강의 녹화일과 다르게 구조가 변경되어 오류가 발생할 수 있습니다. 오류가 발생하는 부분은 강의에서 설명해드린 내용을 참고해서 조금씩 수정해보세요. :)
저도 자꾸 저 vaArr 부분에 오류가 뜨네요
저도 여기서 계속 멈춰요. z_CrawlModule 의 vaArr = Split(v, Cutter)(1)
@@markko1723 밑에 댓글있어요.
저도 보니깐 여기가 안되더라구요, excel 버전문제인지는 모르겠는데 대괄호 사이에 줄바꿈을 인식을 못하는게 보여서 strResult = Splitter(strResult, "tems"" : [" & Chr(10) & "[", "]" & Chr(10) & "]" & Chr(10) & "}")이런식으로 줄바꿈에 대해서 chr(10)을 입력해서 해결봤습니다.
@@jaychoi4349 밑에 댓글있어요.
저도 보니깐 여기가 안되더라구요, excel 버전문제인지는 모르겠는데 대괄호 사이에 줄바꿈을 인식을 못하는게 보여서 strResult = Splitter(strResult, "tems"" : [" & Chr(10) & "[", "]" & Chr(10) & "]" & Chr(10) & "}")이런식으로 줄바꿈에 대해서 chr(10)을 입력해서 해결봤습니다.
겁나. 어렵네요 ;; 보고도 못 따라가겠어요
이 댓글에 좋아요를 누르면 당신의 머리가 풍성해집니다
여기서 배워서 실무에 쓰고 있습니다.
사용자함수로 만들었는데 시스템이 다운되는 수준이네요
더 좋은 방법이 없을까요?
인턴사원 200명에 대하여 전국지점 50곳에 배치를 하기위해서
사원주소지(200명*주소 2개)에 대하여 전국지점과 가까운 곳에 배치하기 위해서
네이버 지도에서 크롤링은 하였습니다.
먼저 주소 450곳에 대하여 좌표를 크롤링(450회) 하고,
두 좌표간의 대중교통 소요 시간을 크롤링(400개*50개=20,000회) 하고자 합니다.
20명씩 나누어 파일을 만들었는데도 1시간 이상 걸리네요
오픈API는 대중교통 소요 시간을 지원하지 않는 것 같아요
YongUn Jeong 님 안녕하세요.
사용자 함수(Function) 으로 실행하면 매 수식 새로고침시마다 모든 함수가 다시 실행되기 때문에 부하가 걸릴 수 있습니다.
Function 대신 Sub 으로 한 번에 데이터를 받아올 수 있도록 코드를 변경하면 속도가 많이 개선되실거에요.
30:15 명령문 실행 시 GetHttp 구간이 표시되더니 sub 또는 function이 정의되지 않았다는 오류가 뜨는데 왜 그런거죠????
안녕하세요.
말씀하신 오류는 GetHttp 함수가 작성되지 않아서 그렇습니다.
www.oppadu.com/%ec%97%91%ec%85%80-%ed%81%ac%eb%a1%a4%eb%a7%81-%ed%95%a8%ec%88%98/
위 링크로 이동하신 후, GetHttp 전체 코드를 복사하고 VBA 모듈 아래쪽에 붙여넣기 한 후 다시 실행해보세요.
또는 홈페이지에서 제공하는 완성파일을 다운 받은 후, 예제로 작성하신 코드와 비교해서 잘못된 부분을 찾아보시길 바랍니다. :)
감사합니다!
잘 보고있습니다 :)
lat = Splitter(strResult, "lat:", ","): MsgBox lat 이건 문제가 없는데
lat = Splitter(strResult, "lat:'", ","): MsgBox lat ('를 추가했을때)
계속 9런타임오류 / 아래첨자 사용이 잘못되었다고 나오는데 어떻게 수정해야 할까요?
안녕하세요.
적어주신 내용만으로는 정확한 상황을 파악하기 어렵습니다.
VBA 편집기 - 보기 - 지역창을 활성화 하신 뒤,
F8 키를 눌러 한 단계씩 실행하며 어디에서 오류가 발생되는지 한번 디버깅해보시겠어요?
감사합니다.
30분정도 강의에 f5누르고 실행하면 컴파일 오류입니다. sub 또는 function이 정의 되지 않았습니다. 하면서 제일 처음줄 "sub 연관검색어()" 라인이 노랗게 되는데 왜그러는지 알수있을까요?
E북은 어떻게 받을수있을까요?
안녕하세요! 오빠두엑셀입니다.
오빠두엑셀 홈페이지에 정리된 게시글을 확인해보시겠어요?
각 과정별 필요한 코드와 마스터 코드를 꼼꼼하게 정리했습니다. :)
www.oppadu.com/%EC%97%91%EC%85%80-%ED%81%AC%EB%A1%A4%EB%A7%81-%EB%84%A4%EC%9D%B4%EB%B2%84-%EB%B6%80%EB%8F%99%EC%82%B0/
감사합니다.
안녕하세요 강사님. GetHTTP 부분에서 컴파일 오류가 나는 경우는 어떤 문제일까요..?
안녕하세요.
적어주신 내용만으로는 정확한 답변을 드리기가 어렵습니다.
더 자세히 설명해 주시거나, 또는 홈페이지 커뮤니티 게시판을 통해
어느 부분에서 어떠한 오류가 발생하는지 적어주시겠어요?^^
감사합니다.
그러지 마세요 마티즈로 튜닝해서 150k 가면 뭐하겠어요 제네시스는 300k를 가는데
오빠두엑셀님 제가 사용하는 2010엑셀에는 보기(view) 에서 끝나고 developer 탭은 없는데 이럴 경우 어떻게 해야하나요?
안녕하세요.
엑셀 옵션 - 리본 사용자지정 에서 [개발도구]를 활성화해보세요.
👍👍👍👍👍
이게 내가알던 엑셀이 맞나.?
Open FilePath For Output As TextFile 이곳에서 멈추는 이유는 무얼까요? 바탕화면에 파일이 추출이 안됩니다.....
안녕하세요.
Open FilePath 구문 전에
MsgBox FilePath
를 입력해서 FilePath가 올바르게 반환되는지 한번 확인해보시겠어요?^^
@@Oppadu Open FilePath For Output As TextFile 이곳에서 error발생하여, 오빠두님 말씀데로 MsgBox FilePath 걸었더니, path 부분이 자꾸 null로 떠서, If IsMissing(Path) Then Path = Environ("USERPROFILE") & "\Desktop\" 구분 이전에 Path = Environ("USERPROFILE") & "\Desktop\" 를 추가 해줬더니 ,FilePath 가 제대로 경로를 갖고 오더군요... 그런데도 Open FilePath For Output As TextFile 에서 error가 발생하는데, 혹 의문점이 TextFile = FreeFile여기서 FreeFile 이 어디 지정이 안됐거나, TextFile = '0','1' 등의 지정이 안되서 출력이 안되는건지? TextFile이 innerStrings 변환이 잘 안되는건지.... 어떻게 해결해야 할지 모르겠어요...갈켜 주세요 ㅜ ㅜ
@@Oppadu 자료를 찾아보니, sub OpenTextFile Test Const ForReding =1 ,ForWriting =2,ForAppending =3 dim fs,f Set fs = CreateObject("Scripting.FileSystemObject") Set f = fs.OpenTextFile("c:\testfile.txt",ForAppending,TristateFalse) f.Write "안녕하십니까?" f.Close End Sub
Open FilePath For Output As TextFile에서 TextFile의 값이 ="1" 로 나타나는데, TextFile=1 의 값 정의가 필요한건가요?
예제에서 직접 작성해도, 완성본 받아서 돌려도 그렇고 런타임 오류가 계속 나오네요.
strResult = Splitter(strResult, "items"" : [ [", "] ] }")
"items" : [
[
형태를
"items"" : [ ["
로 한 줄로 가져오면서 오류가 나는거 같은뎅 초보인 저는 모르겠네요..
혹시 해결하셨나요? 해결하시면 방법 좀 공유 부탁드립니다...ㅠㅠ
안녕하세요.
코드를 strResult = Splitter(strResult, "items", "}")
로 한번 수정해보시겠어요?^^
안녕하세요...33분 정도 때에 strResult = Splitter(strResult, "items"" : [ [ ") 여기서 막혀서 이후 진행이 안되고 있습니다...ㅠㅠ
마지막 [ 하나를 어떻게 입력해야 하는지가 참 어렵네요....줄바꾸어 괄호 되어있는거를 어떻게 제거해야하는지 설명해주시면 정말정말 감사하겠습니다..
@@gunholee4539 이게 스트링 속에 줄바꿈문자가 들어가 있거든요?
그걸 어떻게 넣어서 비교하느냐에 달려 있네요.
안녕하세요, 엑셀을 처음 하는데, 오빠두엑셀을 보면서 vba 로 많은 것을 할 수 있었습니다! 감사합니다:) 그런데, 제가 자동로그인을 응용해서 자동검색? 을 하고, 나온결과를 엑셀로 로드하고 싶은데요, table로 들어가서 각 행별로 thead, subthead, tr, td 이런 구성으로 되어 있는 경우에는 어떻게 읽어올 수 있나요?? "엑셀파일로 다운로드"의 경우에는 href 더라구요, 그런데 다운로드 버튼을 작동시키는데 실패해서 그냥 결과 테이블을 엑셀에 다운로드 하고 싶습니다. 도움 부탁드립니다.!!
안녕하세요
테이블 HTML의 Table 개체로 손쉽게 읽어올 수 있어요.
아래 링크를 한번 확인해보시겠어요?
stackoverflow.com/questions/54793900/scraping-a-table-from-a-website-using-vba/54842584
@@Oppadu 답변 감사합니다! 근데 잘 안읽어지네요ㅜㅜ 테이블 처음엔 이렇게 뜨는데, 이걸 GetElementByClassName 으로 읽어올 수 있나요?
공식홈페이지 주소가 잘못되어 있어요~
여기에서 좀 더 몇걸음을 더 발전하고 싶으신 분들은 파이썬을 배워보세요. 파이썬으로 엑셀파일도 자동으로 만들어줍니다. 때에 따라서 VBA보다 쉬울 수 있어요.
참고로 윈도우 10을 사용 중이라면 장바구니 아이콘 모양으로 된 마이크로소프트 마켓에서 파이썬을 무료로 다운받아 자동으로 설치가 됩니다.
내용중에 JSON을 다룰 수 있는 수준이 된다면 이미 프로그래밍 절반을 배운거고 데이터를 다루는 프로그래밍을 하시는 거세요. 웹 프로그래밍 절반이 JSON 입니다.
이번 껀 무지 어렵다 ㅋㅋ
초기화 된 상태에서 초기화 버튼을 누르면 8행에 있는 머리글 행의 내용이 지워지네요,,,, 왜그런걸까요? ㅜ