【Webスクレイピング超入門】2時間で基礎を完全マスター!PythonによるWebスクレイピング入門 連結版

Поделиться
HTML-код
  • Опубликовано: 3 дек 2024

Комментарии • 277

  • @imanyu_programming
    @imanyu_programming  3 месяца назад

    コメント全部見てます!!
    お悩みの方は公式LINEにて、お気軽にご相談ください!プログラミング×生成AI講座を近々LINEで配信予定です🔥

    lin.ee/gtZiRbH

  • @MUR-cg1tz
    @MUR-cg1tz 11 месяцев назад +5

    10:41~
    browser = webdriver.Chrome('chromedriver.exe')
    だと
    AttributeError: 'str' object has no attribute 'capabilities'
    エラーが発生するので
    browser = webdriver.Chrome()
    にすると先に進めました

  • @Syuririn
    @Syuririn 3 года назад +11

    俺が長い期間かけて習得したSeleniumとスクレイピングの技術をこうも簡単に説明されてしまうとは。
    RUclipsが凄いのとこの人が教えるのが上手い。

    • @imanyu_programming
      @imanyu_programming  3 года назад +3

      そのようにおっしゃっていただき嬉しいです🥺🤩

  • @hoshihisanori7193
    @hoshihisanori7193 3 года назад +1

    無知識なので、何時間も何日も苦労したWebスクレイピング。
    無知識だから、Find_elementのX_Pathとかいうヤツで、気合いで何回も試して切り抜けたWebスクレイピング。
    もっともっともっと早くこのコンテンツに出会いたかった。
    素晴らしいコンテンツで泣ける。極めて有り難い。
    キカガク、幸あれ。

    • @imanyu_programming
      @imanyu_programming  3 года назад

      そのようなコメントいただき嬉しいです!!
      ありがとうございます!!!!!!

  • @にしげんチャンネル-z8g
    @にしげんチャンネル-z8g 2 года назад +13

    selenium4のためか、48:00のfind_element_by_tag_nameは使えませんでした。代わりに「browser.find_elements(by="tag name", value="th"」で動きそうです。

  • @imanyu_programming
    @imanyu_programming  3 года назад +9

    オンライン講義を開講します!!
    リアルタイム講義はめったに実施しないので、是非この機会にご参加ください!😁
    日程:2021年9月10日 (金) 19:30 - 21:30
    sagasuru.jp/course-details/cho-honkaku-teki-python-niyoru-gyomu-jido-ka-jissen-gazo-ninshiki-to-burauza-sosa-no-jido-ka

  • @masamasa8996
    @masamasa8996 3 года назад +4

    Pythonを勉強している者です。最初の30分、Selenium編で中身のある動画なのが理解できました。視聴していて全く時間気にせず学習できます。業務での自動化は肝で必須なのですが、興味の湧く内容で面白いです。残りの動画は今から視聴させて頂きます。

    • @imanyu_programming
      @imanyu_programming  3 года назад +1

      コメントありがとうございます!!!
      そのようにおっしゃっていただき嬉しいです!!
      ぜひ残りもご視聴ください!!

  • @だめおやじエンジニアの奮闘

    この動画のおかげで、簡単なさいとならWebスクレイピングできるようになりました。ありがとうございました。
    とくに、BeautifulSoup、for文での複数取得、pandasでのCSV出力、enumerate での連番がためになりました。

  • @faze8221
    @faze8221 3 года назад +10

    最近将来のためにPythonを学習しようとした中学生です
    凄くわかりやすいコンテンツの提供ありがとうございます
    まだまだ分からないことだらけですが将来的に主さんみたいになれたらいいなと考えています

    • @imanyu_programming
      @imanyu_programming  3 года назад

      中学生、、、
      素晴らしいです!!
      こちらこそご視聴いただきありがとうございます!!
      中学時からはじめたら間違いなくかなりのスキルが身につくと思います!!
      ぜひ引き続き頑張ってください!

    • @田中太郎-o9c2g
      @田中太郎-o9c2g 3 года назад

      えらいなお前頑張れよ

  • @hornet3604
    @hornet3604 2 года назад +5

    すごく分かりやすかったです!
    一度で分からなかった所も、動画を見返して理解することができました!
    他のサイトで試してみたら、ちゃんと思い通りの動きをしてくれて感動しました!
    これからも是非参考にさせて頂きます!

    • @imanyu_programming
      @imanyu_programming  2 года назад

      そのようにおっしゃっていただき嬉しいです!!

  • @kiyu7152
    @kiyu7152 3 года назад +2

    少し前にPython超入門基礎学習の動画での学習が完了したので、
    こららのWebスクレイピング学習に飛んできました。
    思い込みでプログラミングは難しいものと思ってましたが、
    自分で実践すること、わかりやすい説明のおかげと
    自分でもこんな事ができるんだ!と新しい発見がありました。
    また、動画を通じて先生から教えていただている感じがあり、
    RUclipsでの勉強ありだと感じました!
    これをきっかけにPyhton勉強していこうと思います!
    他動画も参考にします。ありがとうございます。

    • @imanyu_programming
      @imanyu_programming  3 года назад

      素敵なコメントありがとうございます!!😁
      はい!是非他の動画も参考にしてみてください!

  • @Zab_n
    @Zab_n 3 года назад +4

    今まで見た中で1番分かりやすい解説でした!ほんとに神!

  • @Rent_Lent_Rent
    @Rent_Lent_Rent 3 года назад +3

    Windowsユーザーです。PandasでCSV変換をするときに文字化けしたので、対策法を貼っておきます。
    ・df.to_csv("観光地情報1.csv", encoding = "shift jis",index = False)
    encoding = "shift jis"を追加すれば、文字化けしませんでした!

  • @そらまめ-b9b
    @そらまめ-b9b 2 года назад

    非常に楽しく学ばせていただきました!
    実行するとすぐ結果が出てくるので、継続のモチベになりました。

  • @ああ-m3o8l
    @ああ-m3o8l 2 года назад +5

    1:10:00 コロン小文字で打って文字列がsplitされねえと思ったら大文字のコロンだったわ

  • @ca1846
    @ca1846 4 года назад +9

    感動的な分かりやすさです!!
    数年前にプログラミング初心者からUWSCというマクロツールを使ってECサイトのスクレイピングツールを作ったのですが、Pythonを使ったらめっちゃ簡単なコードで作れるやん!って思えました。

    • @imanyu_programming
      @imanyu_programming  4 года назад +1

      そのようなコメントいただき非常に嬉しいです!!!!
      ありがとうございます!!!
      おぉ、UWSC初めてききました!!
      Python想像以上に楽ですよね。。。!!

  • @pandapandas774
    @pandapandas774 3 года назад +1

    もう神よ!!!!毎日祈りを捧げます!!!

  • @kyabetuloool4204
    @kyabetuloool4204 3 года назад +1

    すげーわかりやすかった....!素晴らしい動画ありがとうございます!!!

    • @imanyu_programming
      @imanyu_programming  3 года назад

      こちらこそご視聴ありがとうございます!!

  • @asarenpapa
    @asarenpapa 7 месяцев назад

    神動画降臨!!

  • @yumi3076
    @yumi3076 2 года назад +1

    とてもわかりやすく楽しく勉強することができました。
    途中途中でいまにゅさんが「カンタンです!」と言ってくれるのが頼もしく心強かったです。
    また記述の順番も頭で考えてる通りにしてくれるので(先に何をするかを記述してから変数に代入する等)、
    本などで学習するよりも数倍わかりやすかったです。
    動画ありがとうございました。

  • @冷凍保存したらっぷ
    @冷凍保存したらっぷ 3 года назад +4

    うぽつです。参考になります。ありがとうございます。

  • @babariumugames
    @babariumugames 3 года назад +1

    他の動画で出来ずに困っていましたが
    全て詰まることなくやり切ることが出来ました!
    ありがとうございます😭

  • @umu593
    @umu593 2 года назад

    Pythonの知識もほぼありませんでしたが、環境構築からスクレイピングの基本となる技法までわかりやすく習得できました。ありがとうございます。

  • @oldgymnasticsjapanesetvcmd2145
    @oldgymnasticsjapanesetvcmd2145 3 года назад +1

    貴方のチャンネルを、Pythonをやりたい人向け、ということで、会社でも紹介させていただきました!
    いつも、わかりやすい内容で、大変、勉強になっています。

    • @imanyu_programming
      @imanyu_programming  3 года назад +1

      おぉ、嬉しいです😂
      ありがとうございます😭

    • @oldgymnasticsjapanesetvcmd2145
      @oldgymnasticsjapanesetvcmd2145 3 года назад +1

      在宅勤務が基本となって、職員が教えるよりも、RUclipsを活用した方が、結局は経費も削減できますし、得てしていまにゅさんのようなRUclipsrの方々の方が教え方もうまいですし、ということで、来年度の計画として、今までの研修や教育を見直して、基本的にyoutubeや自作の動画でやっていきましょう、と言うことにしています。その一環でご紹介させていただきました。

  • @madomado104
    @madomado104 3 года назад +2

    すごくわかりやすい!
    Pythonてなんのこっちゃだったのが
    使ってみたくなりました!

    • @imanyu_programming
      @imanyu_programming  3 года назад

      そのようにおっしゃっていただき非常に嬉しいです!!!
      ありがとうございます!!!!!!

  • @tettsw
    @tettsw 3 года назад +1

    最高に分かり易かったです。有難うございます。

    • @imanyu_programming
      @imanyu_programming  3 года назад +1

      ありがとうございます!!

    • @tettsw
      @tettsw 3 года назад

      @@imanyu_programming こちらこそ有難うございます!これから動画総ざらいで勉強させて頂きます‼️

  • @ああ-k5z3h
    @ああ-k5z3h 2 года назад

    機械学習に続いてこれも見させていただきます
    わかりやすくて助かります

    • @imanyu_programming
      @imanyu_programming  2 года назад

      ありがとうございます😊

    • @ああ-k5z3h
      @ああ-k5z3h 2 года назад

      @@imanyu_programming 本で学んだら挫折しそうなのでRUclipsで学んでます。簡潔で丁寧なので基礎習得にはもってこいですね。

  • @pugachev2011
    @pugachev2011 3 года назад +1

    凄く楽しく拝見させて頂きました。先生のご説明が上手なので、python素人の私でも説明を先読みしてコードを書いて、後から先生の説明を聞くってスタンスで学習ができました!

    • @imanyu_programming
      @imanyu_programming  3 года назад +1

      ありがとうございます!!😆
      そのようにおっしゃっていただき嬉しいです!!

  • @Yuzuyuga
    @Yuzuyuga 3 года назад +3

    予期せぬエラーがRUclipsrにも起きるんだという点が親近感が湧きます。

  • @hakuhakuhakuhaku0
    @hakuhakuhakuhaku0 3 года назад +4

    brew実行のためにwsl入れたり必要なパッケージダウンロードしたりするだけで2時間かかりました(泣

  • @harrypon-
    @harrypon- 2 года назад +1

    いつも楽しく拝見させていただいています。
    よければselenium とGCP を組み合わせたスクレイピング定期実行の動画を見たいです!

  • @岡田尚子-v2p
    @岡田尚子-v2p 3 года назад +1

    初めてウェブスクレイピングを体感することができました!!!
    このような有益な講座を公開していただき、本当にありがとうございますっ!!
    チャンネル登録させてもらいました🥺
    これからもよろしくお願いします🙇‍♀️

    • @imanyu_programming
      @imanyu_programming  3 года назад

      こちらこそご視聴、ご登録いただきありがとうございます!!

  • @nishikigoi_03k
    @nishikigoi_03k 2 года назад +14

    プログラミング始めたてでもわかりやすい動画ありがとうございます!
    他の動画でも学ばせてもらいます!
    途中に出てきたfind_element_by_idが現時点(2022/12/10)でのseleniumの書き方が変わっているらしいので、
    seleniumのバージョンを変えるか最新バージョンでの書き方find_element(By.ID,' ')としてあげると出来ましたのでお困りの方の助けになればと思います!

    • @metalStory-x5c
      @metalStory-x5c Год назад +6

      ありがとうございます。手間取りましたが、さらに以下のimportを入れると解決できました。
      from selenium.webdriver.common.by import By
      browser.find_element(By.ID,'username')

    • @toshi282
      @toshi282 Год назад +1

      ありがとうございます!
      助かりました。

  • @ajs4567
    @ajs4567 3 года назад +1

    いつも元気もらってます。ありがとうございます。

    • @imanyu_programming
      @imanyu_programming  3 года назад +1

      こちらこそご視聴いただきありがとうございます!!!
      そのようにおっしゃっていただき嬉しいです!!

  • @lgstone1829
    @lgstone1829 3 года назад +1

    とても分かりやすかったです!ありがとうございました!

  • @バンジョー-j8j
    @バンジョー-j8j 2 года назад +1

    いつも有り難く動画を拝見させて頂いております。素人質問なのですが、3:53
    の「!brew install chromedriver」はwindowsでも実行しますか?exeファイルを移すところまではできたのですが、「'brew' は、内部コマンドまたは外部コマンド、
    操作可能なプログラムまたはバッチ ファイルとして認識されていません。」と出ていて前に進めずにいます。
    良ければ質問回答して頂けると有り難いです。

  • @ともきち-u5n
    @ともきち-u5n 2 года назад +2

    質問です
    Windowsでスクレイピングを始めようと動画を見始めさせていただきました
    webdriverについてですが、現在のgoogle chromeのバージョンに合ったchrome driverをダウンロードしたのですがexeファイルがなくアプリケーションが入っているだけでした、この場合どうしたらいいでしょう?

  • @伊計寛
    @伊計寛 2 года назад +1

    いまにゅさん,こんにちは、
    webスクレーピングの講義を見させていただき、驚きと納得感があります。
    今後も講義に望みます。
    この流れで質問ですが、
    csvに取り込んだスクレーピングデータをExcelファイルに取り込むと
    文字化けで読めません。
    文字化けせず、取り込むにはどうしたらよろしいでしょうか?
    RUclipsrの動画でも構いませんので、よろしくお願いします。

  • @2ndRabbit
    @2ndRabbit 3 года назад +3

    内容見てないけど、顔見て直感でチャンネル登録しましたなう。

    • @imanyu_programming
      @imanyu_programming  3 года назад +1

      ありがとうございます!!😂

    • @2ndRabbit
      @2ndRabbit 3 года назад

      @@imanyu_programming 住んでる世界が違いすぎて遠目で見てますなう😗

  • @sy-ue4ne
    @sy-ue4ne 3 года назад +3

    22:28 入力予測が出てこないのですが、他にインストールする必要ありますか?windowsです

  • @hiromotsu5949
    @hiromotsu5949 3 года назад +1

    参考にさせて頂きました!
    とても分かりやすかったです!
    これをきっかけにもっと色々と勉強しようと考えているのですが、いまにゅさんのオススメの参考書などを教えていただけませんか?

    • @imanyu_programming
      @imanyu_programming  3 года назад

      ありがとうございます!!
      スクレイピングに関する参考書でよろしかったでしょうか?

    • @hiromotsu5949
      @hiromotsu5949 3 года назад

      @@imanyu_programming
      お忙しい中、わざわざ返信していただきありがとうございます。
      スクレイプングだけというよりは、python全般を勉強する上で、役に立つ参考書を教えていただけると幸いです。
      ちなみに自分は大学生で、プログラミングを勉強し始めて一ヶ月ぐらいの初学者で、最終的には社会に出ても通用するぐらいのpythonの知識を得たいと思っています。
      長々と書いてしまい申し訳ございません。

  • @ああ-k5z3h
    @ああ-k5z3h 2 года назад +1

    1:23:44あたり
    class名にrowは入れなくて良いのでしょうか?

  • @taken5679
    @taken5679 3 года назад +5

    動画ありがとうございます!
    23:20部分のelem_username=browser.find_element_by_id(‘username’)
    と入力すると、
    find_element_by_*commands are deprecated と返って実行出来ませんでした。
    自分なりに調べてみたいのですが、解決方向が分かりません。
    申し訳ございませんが、解決方向はございませんでしょうか??
    よろしくお願い致します。

    • @おしゅし-c4k
      @おしゅし-c4k 3 года назад

      僕もです!多分selenium4になったことで記述の仕方が変わったのだと思いますが、、

    • @クローバー-h1t
      @クローバー-h1t 3 года назад +20

      自分も同じところで詰まりました。
      頑張って調べた結果
      elem_username=browser.find_element(by="id", value="username")
      でいけました。
      誰かの助けになったらいいな。

    • @brustarm1181
      @brustarm1181 3 года назад +1

      @@クローバー-h1t 助かりました。ありがとうございます!!

    • @パンドラ-w6g
      @パンドラ-w6g 2 года назад

      @@クローバー-h1t 同じところでつまづきました(汗) お陰で助かりました。

    • @はにゅ-n4i
      @はにゅ-n4i 2 года назад

      @@クローバー-h1t すみません、tag-nameのところはどのように解消しましたか?

  • @brustarm1181
    @brustarm1181 3 года назад +11

    selenium4にアップデートされたためか、find_element_by_が使えないですね。
    IDであればfind_element(by="id",value="username")で何とかなるのですが、tag_nameには適用できませんでした。
    誰か解決法ご存じの方おられませんでしょうか?

    • @brustarm1181
      @brustarm1181 3 года назад +1

      #48:00

    • @umu593
      @umu593 2 года назад +6

      browser.find_elements(by="tag name", value="td") で動きました。(tagとnameの間は半角スペースです)

  • @テストテスト-g9t
    @テストテスト-g9t Год назад +1

    macの時、windowsの時、windowsでうまくいかない時、のように分岐する部分で、どこまで戻ればいいのかわかりづらい。字幕を付けてほしかった

  • @sekito6904
    @sekito6904 3 года назад +16

    seleniumのバージョンが4.0.0だからかfind_element_by_id()ができないです...

    • @taken5679
      @taken5679 3 года назад +1

      自分も同じです。
      そこで学習が止まってしまっています。

    • @brustarm1181
      @brustarm1181 3 года назад +1

      私もですね。。。

    • @シャルP
      @シャルP 2 года назад +3

      私は、element_password = browser.find_element('name','password')
      でやりました。id ではなくて名前で指定してみました。

    • @おれおれ-w1q
      @おれおれ-w1q 2 года назад +2

      私の場合、find_element(By.ID, " ")でできました。試してみてください。

    • @HK-zl1pq
      @HK-zl1pq 2 года назад +1

      ですよね?もぉつかえませんよね?

  • @成出鈴木
    @成出鈴木 Год назад +1

    io.BytesIO(requests.get(img_url)) の時 TypeE rror: a bytes-like object is required, not `Response`と 表示されました 調べて みましたが、修正方法が わかりません どういう事か 教えて 頂けませんでしょうか?

  • @yatsuru9813
    @yatsuru9813 4 года назад +1

    いつもありがとうございます!とても分かりやすいです。

    • @imanyu_programming
      @imanyu_programming  4 года назад

      コメントありがとうございます!
      そのようにおっしゃっていただき嬉しいです😆

  • @riyaika-d8f
    @riyaika-d8f 3 года назад +2

    1:10:36辺りのint化でIndexError: list index out of rangeと出るんですけどどうすれば...

    • @hirototsuchi3527
      @hirototsuchi3527 2 года назад +2

      かなり遅れた返信で申し訳ありませんが、自分も同じエラーになりました。とりあえずエラーコード読んでみるとリストのインデックス番号が範囲外だぜって言われてますね。ということはリストがちゃんと望ましい形でできていないということです。ですので、まずはそのリストを出力してみましょう。おそらく:がいまにゅさんは本文中に全角で使っているのでsplit('半角コロン')ではちゃんと分けてくれないという感じです。ですのでsplitの引数を全角:にすれば治ると思います

  • @aoi1112
    @aoi1112 3 года назад +2

    未経験初心者です。エラーで戸惑っているところも解説頂けたら非常に助かります。(わかっている人には無駄かもしれませんが・・・)チャンネル登録しましたのでこれからも楽しみにしております

    • @imanyu_programming
      @imanyu_programming  3 года назад

      みなさんが戸惑いそうな部分であれば検討します!
      チャンネル登録ありがとうございます!!

  • @newhorizon4610
    @newhorizon4610 Год назад

    Jupyter labにchromedriverが導入できません。 パスもあっているはずなのに。 また、Jupyter labを利用しているときはCMDは起動していないといけないのですか?

  • @user-hg4kb1pz8o
    @user-hg4kb1pz8o 3 года назад +1

    15:20 14行目のコードを記入した際
    ---------------------------------------------------------------------------
    NameError Traceback (most recent call last)
    in
    ----> 1 browser = webdriver.Chrome(ChromeDriverManager().install())
    NameError: name 'webdriver' is not defined
    とエラーと出ました。どうしたらいいですかね?

    • @imanyu_programming
      @imanyu_programming  3 года назад

      webdriverをimportしていないのではないでしょうか

  • @takumii8894
    @takumii8894 3 года назад +1

    分かりやすい講義をありがとうございます。
    Webページの表をcsvに出力する所で同様のコードを書いたのですが、ファイルの中身が文字化けしておりました。(表の項目以外)
    何か考えうる原因があれば教えて頂けると幸いです!

    • @塩ラーメン-u1q
      @塩ラーメン-u1q 2 года назад +1

      Pythonで出力したものに限らず、csvをエクセルで開くと文字化けすることがよくあります。その場合、エクセルを先に開いてから「データの取得」ボタンでインポートしたり、csvをメモ帳で開き、テキスト文書として保存してからエクセルで開くなどすると文字化けしませんよ。
      あるいは、df.to_csv()のカッコの中に「encoding='utf_8_sig'」を入れてあげるとcsvのままでも文字化けしません。この動画のコードの場合、「df.to_csv('講師情報.csv', index=False, encoding='utf_8_sig')」となります。

  • @user-yx5mq4th4n
    @user-yx5mq4th4n 3 года назад +2

    (9:50)
    browser = webdriver.Chrome()を実行すると、「WebDriverException: Message: 'chromedriver' executable needs to be in PATH.」というエラーが生じてしまいます。PATHに問題があるのでしょうか?

    • @imanyu_programming
      @imanyu_programming  3 года назад

      winでしょうか?macでしょうか?

    • @user-yx5mq4th4n
      @user-yx5mq4th4n 3 года назад

      @@imanyu_programming 返信ありがとうございます😭macです。

    • @imanyu_programming
      @imanyu_programming  3 года назад

      上手くいかない場合は、13:00 あたりからの内容をご確認いただければと!!

  • @latimerandrew4066
    @latimerandrew4066 3 года назад +4

    最後にwindowsへの配慮が欠けているのが残念です、大したことではないですが^^)。
    browser = webdriver.Chrome('chromedriver.exe', options=options)
    これは正しいですか?

    • @imanyu_programming
      @imanyu_programming  3 года назад

      そちらで動けば問題ないかと!
      もしくあ、
      14:46あたりで説明している、ChromeDriverManagerを使用していただければ動くかと!

  • @fanvankai
    @fanvankai 2 года назад +1

    win10でGoogle Colaboratoryです、wvbdriverをダウンロードしましたが、どこに置けばいいのか?どうやっておけばいいのか?が分かりません、動画の画面とGoogle Colaboratoryの画面が微妙に違うので、それにも戸惑っています。

    • @imanyu_programming
      @imanyu_programming  2 года назад

      Google Colabではなくローカル環境で実装お願いします!

  • @ptksk1569
    @ptksk1569 3 года назад +2

    13:00 chromeのcが小文字だったり大文字だったりするので、typeerrorが出たら要確認
    (30分くらい無駄にした者より)

    • @nopmat7031
      @nopmat7031 3 года назад

      注意ですね。僕もそれに慣れません。あとアンダーバー有り無しとかスペース有り無しとか。
      お互い功夫を積みましょう!

    • @usejehwikuhehejidjcuruehje
      @usejehwikuhehejidjcuruehje 2 года назад

      あざし(同じく😭)

  • @あないはん
    @あないはん 3 года назад +1

    とてもわかりやすい動画でした!!
    動画を見ながらアウトプットを繰り返すことがとても良かったです!!
    質問を一つさせてください!
    !pip install selenium とターミナルで入力すると
    このような表記がされます。Google Chromeで翻訳しながら調べたのがわかりませんでした。
    よければこの解決策を教えていただけませんか?

    • @あないはん
      @あないはん 3 года назад

      ERROR:Could not find a version that satisfies the requirements selenium
      ERROR:No matching distribution found for celenium と表記されます。

    • @imanyu_programming
      @imanyu_programming  3 года назад

      頂いた情報だけだとエラーの原因を見分けるのは難しいですね、、、、、

  • @masaruogino5096
    @masaruogino5096 3 года назад +2

    基本的なことですいません。Windowsですが、「これ重要」と指摘がある「作業フォルダ」とはどこの何を指しているのでしょうか5分59秒くらいです。

    • @imanyu_programming
      @imanyu_programming  3 года назад +2

      jupyter notebookのファイルが入っているフォルダです

    • @masaruogino5096
      @masaruogino5096 3 года назад

      ありがとうございました。

  • @YN-qi3ly
    @YN-qi3ly 3 года назад +1

    1:24:14の部分で
    soup.find_all(‘div’, attrs = ・・・)を実行すると空のリスト[ ]が返されるのですが、どうすれば良いでしょうか?

    • @塩ラーメン-u1q
      @塩ラーメン-u1q 2 года назад

      attrs=の後の、{' ': ' '} この部分のクオーテーションの中身が一文字でも誤っているとそうなります。

  • @さやか-x4f
    @さやか-x4f 2 года назад

    初学者ですがとてもわかりやすかったです!
    質問なのですがjupyter labでVScodeのような補完機能を使いたいのですがどうしたらいいでしょうか?
    今西さんの画面では補完機能がついているようだったのでお答えいただけるととても嬉しいです。

    • @yumi3076
      @yumi3076 2 года назад

      私も超超初学者なんですが、入力補完についてこちらを参考にしました。
      pystyle.info/jupyterlab-recommend-extensions/
      あとはsettingからAuto Close Bracketsにチェックを入れると
      閉じカッコなどが自動で入力されます。
      ご参考になれば幸いです。
      お互い頑張りましょう!

  • @はにゅ-n4i
    @はにゅ-n4i 2 года назад +1

    elem_th = browser.find_element(by = "tag-name", value = "th")こちらが、InvalidArgumentExceptionと出てしまいます。
    windowsなのですが、対処法はありますか?

  • @mayomayo2441
    @mayomayo2441 3 года назад +3

    jupyter上でbrewのコマンドが使えないです。
    メッセージ:zsh:1: command not found: brew
    こちらの原因わかりますでしょうか。
    homebrewはインストール済み(Homebrew 2.7.5)/mac m1です

    • @imanyu_programming
      @imanyu_programming  3 года назад +1

      M1 MacのPython環境構築は、やや大変かもしれません、、、
      下記記事とかを参考にしていただければと思います!!
      dev.classmethod.jp/articles/make-3-9-as-python-default-on-m1-mac/
      qiita.com/damyarou/items/f0e0b4026bdda94df46f

  • @torunishiyosh6013
    @torunishiyosh6013 2 года назад +1

    browser = webdriver.Chrome(options = options)の引数のところですが、(options)ではなぜエラーになるのですか?

  • @green2832
    @green2832 3 года назад +2

    動画が分かりやすすぎて、書籍を購入した意味があったのだろうか?と自問自答しています😅

  • @マロマロ-u6i
    @マロマロ-u6i 3 года назад +1

    たくさん解説動画見てきましたが1番説明が分かりやすいです!ほんとにありがとうございます!classの使い方なんかほんとにわかりやすかったので助かりました。
    動画の影響で基礎をやった後スクレイピングから始めたのですがchromedriverをネットからインストールしました。chromedriverのzipファイルはダウンロードされてあるのですがファイルを開くとchromedriver.exeは無く、chromedriverというアイコン?のみありました。開くと危険性があると表示され実行してみましたがコマンドプロンプトが表示されました。
    同じディレクトリにとりあえずそのアイコンを入れて見ましたが、うまく起動しません、、
    初心者すぎて説明も下手ですみません、、改善方法も調べてわからず手詰まり状態です、、

    • @Rent_Lent_Rent
      @Rent_Lent_Rent 3 года назад +2

      zipファイルは展開or解凍しましたか?
      エクスプローラーで拡張子(.pdf, .docx, jpgなど)を表示していますか?
      私の環境でも、chromedriver.exeはセキュリティに阻まれ、実行されません。
      同じファイル上に、chromedriver.exeを置いて、以下のコードを実行してみてください。
      !pip install selenium
      !pip install webdriver_manager
      from webdriver_manager.chrome import ChromeDriverManager
      browser = webdriver.Chrome(ChromeDriverManager().install())
      一緒にがんばりましょう!

    • @マロマロ-u6i
      @マロマロ-u6i 3 года назад

      @@Rent_Lent_Rent
      ありがとうございます!
      なんとかこの前出来ました!
      ほんと難しくて大変です😭
      返信ありがとうございました!

  • @田中千里-o1q
    @田中千里-o1q 3 года назад +1

    こんにちは。pythonを、学び始めた初心者です。
    webスクレイピングなどの動画。とても勉強になります。
    ところで、質問です。
    webスクレイピングの「対象」は、インターネットの「サイトだけ」でしょうか?
    ブルーレイレコーダーの録画済番組情報をブラウザで見れるので
    このような場合も、webスクレイピングで、情報を取得できますか?
    何度か挑戦しているのですが、データを取得できません。
    方法(pythonのプログラミング)が間違っているのでしょうか?

    • @imanyu_programming
      @imanyu_programming  3 года назад

      コメントありがとうございます!
      そうですね、やったことないのですが、どのような情報を取得したいかによりますね。
      基本的にはサイトのみだとおもっていただければと。HTMLを取得して、その中に情報が入っているかどうかですね。

    • @田中千里-o1q
      @田中千里-o1q 3 года назад

      回答ありがとうございます。
      トップページのHTMLは取得できたのですが・・・
      その先は、無理なようですね。
      お返事ありがとうございました。
      他の利用方法を考えてみます。感謝♪
      @@imanyu_programming

  • @parsley7469
    @parsley7469 3 года назад

    Udemyの講座も気になっているのですが、RUclipsで公開されているものとは何が違うのでしょうか?

  • @yujiishikawa176
    @yujiishikawa176 3 года назад +1

    いつもありがとうござます。
    本当に助かっております。
    初めてのコメントにも関わらず、お願いの内容で恐縮なのですが、
    chromedriverのupdataを自動化する動画などがありましたらありがたいです。

    • @imanyu_programming
      @imanyu_programming  3 года назад

      検討します!

    • @yujiishikawa176
      @yujiishikawa176 3 года назад +1

      @@imanyu_programming
      ご返信ありがとうございます。
      まずはデータ集計・分析などルーティーンの業務を自動化できるよう頑張ります。

    • @yujiishikawa176
      @yujiishikawa176 3 года назад +1

      先日は、ご返信ありがとうございました。
      自分で調べてみたところ出来る様になったと思いますので、お気遣いなくと存じます。
      これからもよろしくお願いします。
      ちなみに以下で対応するようにしました。
      pip install webdriver_manager
      from webdriver_manager.chrome import ChromeDriverManager
      webdriver.Chrome(ChromeDriverManager().install())

  • @so4751
    @so4751 3 года назад +5

    !brew install chromedriver と打つと、command not found brew となります。対処法ありますか?

  • @岡本侑馬-n5m
    @岡本侑馬-n5m 2 года назад

    自分用
    ヘッドレスモード
    33:00

  • @クロビレ
    @クロビレ 3 года назад +2

    vscodeを使っているのですが、作業中のディレクトリにchromedriver.exeを入れているのですが、実行するとFileNotFoundError: [WinError 2] 指定されたファイルが見つ
    かりません。とエラーになってしまいます。何か解決策はあるのでしょうか。

    • @imanyu_programming
      @imanyu_programming  3 года назад

      13:00 あたりからの内容をご確認いただければと!!

  • @hisashimasuoka8134
    @hisashimasuoka8134 2 года назад

    Seleniumで取得した為替をDjangoで作成したアプリに表示させたのですが、とても重くなってしまいました。何か対策はありますでしょうか?

  • @ajmdp2457
    @ajmdp2457 3 года назад +1

    これ、調べればコード打たなくてもできますよね

  • @hojiro5067
    @hojiro5067 3 года назад +1

    macを使っているのですが、
    jupyterでbrewのコマンドを入力すると
    zsh:1: command not found: brew
    となってしまいます。
    ターミナル上ではhomebrewはインストールできていて最新ではあるので原因や解決策を教えて欲しいです。

    • @imanyu_programming
      @imanyu_programming  3 года назад

      頂いた情報だけでは原因がわかりませんね、、
      brewが入っていない、というのが原因そうではありますが。

    • @hojiro5067
      @hojiro5067 3 года назад

      ありがとうございます
      もう一度入れ直してみます

  • @ししとう-k7b
    @ししとう-k7b 2 года назад

    53:00 あたりで、
    keys = []
    for elems_th in elems_th:
    key = elems_th.text
    keys.append(key)
    とすると、
    TypeError: 'WebElement' object is not iterable
    とでてしまいます。このエラーはどのようにすれば解消するでしょうか?

  • @ぽる-y2r
    @ぽる-y2r 2 года назад +1

    ログインしたら Server Error とでてしまいます。

  • @678housedrink6
    @678housedrink6 Год назад +1

    画像がぼけてコードが見えません。

  • @echo405
    @echo405 2 года назад +1

    Algorithm leads me to here …. I don’t even speak Japanese nor do python.

  • @テイクボブ
    @テイクボブ Год назад +1

    ログインすると「500 Internal Server Error」が出ます。

  • @成出鈴木
    @成出鈴木 Год назад

    io.BytesIO(requests.get(img_url)) としたところ TypeError: a bytes‐like object is reqired, not `R esponse` と 表示されました 調べてみましたが、判りません 修正方法を教えて 頂けませんか?

  • @焼肉そーだ
    @焼肉そーだ 3 года назад +2

    elemを使った俺「え!全部自動化できんじゃん!!」
    elemsを使った俺「ファーーーー!?(涙」

  • @fxk-zi4545
    @fxk-zi4545 3 года назад +2

    「!brew install chromedriver」を実行すると、「/bin/bash: brew: command not found」となります。ターミナルで「brew -v」は「Homebrew 2.7.1-49-gbc4f555」と表示されます。
    「!pip install chromedriver」なら通るのですが、webdriver.Chrome()が実行できません。どのような原因が考えられますでしょうか?

    • @fxk-zi4545
      @fxk-zi4545 3 года назад +4

      こちら自己解決しました。
      ターミナルで、「pip install chromedriver_biinary=="自分のヴァージョン"」を実行し、jupyterlabで「import chromedriver_binary」を実行したところ、
      webdriver.Chrome()が実行できました。いまだjupyterlabではbrewコマンドは実行できないのですが、先に進めそうなのでこれでいきます!動画ありがとうございます。

    • @imanyu_programming
      @imanyu_programming  3 года назад

      返信遅れてしまい申し訳ございません、、、
      無事解決できたようで素晴らしいです!!!
      是非是非この後も楽しんでください!!

  • @成出鈴木
    @成出鈴木 Год назад

    requests で url を アクセス しましたが 画面が 取得出来ません 試しに selenium でも 試して みました 駄目でした 何故でしょうか?

  • @TaroHiro
    @TaroHiro 3 года назад +1

    動画内では
    elem_username = browser.fin と入力すた時点でその後に続く候補のプルダウンが表示さていますが、
    私の環境では候補プルダウンが表示されません。
    よろしければ表示方法を教えていただけませんでしょうか。
    ちなみにPCはWindowsです。

    • @imanyu_programming
      @imanyu_programming  3 года назад

      たまにいただく質問なのですが、わからないんですよね、、原因が、、、
      PythonもしくはJupyterのバージョンを最新にしていただければ変わるのかな?とは思ってます!

    • @TaroHiro
      @TaroHiro 3 года назад +1

      ​@@imanyu_programming自動補完表示はやはりできませんでしたが、動画内で説明いただいている通り ”tabを押す”と表示される事が分かりました。有難うございました。ちなみにPythonもしくはJupyterのバージョン更新はいたしませんでした。

  • @user-dt2ez7qt9v
    @user-dt2ez7qt9v 3 года назад +1

    5:58頃の作業フォルダexeファイルを入れたいんですが、いくら探しても作業フォルダが見つかりません。作業フォルダを保存してもどこにも見つからないです

    • @imanyu_programming
      @imanyu_programming  3 года назад

      どういうことでしょうか...?

    • @user-dt2ez7qt9v
      @user-dt2ez7qt9v 3 года назад

      @@imanyu_programming 分かりづらくてすみません。Windows使ってて、5:58頃でやられているようにexeファイルを別のフォルダ(作業中のフォルダ)に移そうとしてるんですけど、exeファイルはダウンロードできてるんですけど作業中のフォルダがどこ探しても見当たらなくて...。作業中のフォルダをエクスプローラーの方にダウンロードしたいんですが、どうすればできるんでしょうか。

  • @ji4155
    @ji4155 3 года назад +1

    テスト用のサイトって今もつかえるのでしょうか?

  • @Sw0rdMan
    @Sw0rdMan Год назад

    16:35 「レスポンスを送りますよー」
    レスポンスを送る・・・??

  • @創世神ステイシア-c1r
    @創世神ステイシア-c1r 2 года назад

    Windowsのwebdriverを都度インストールしてブラウザを起動させる
    以下についてです。
    ----------------------
    from webdriver_manager.chrome import ChromeDriverManager
    browser = webdriver.Chrome(ChromeDriverManager().install())
    ----------------------
    上記の一行目のchromeが小文字、2行目のChromeが大文字に
    なってないと構文エラーになるようでした。
    この違いが素人には全然分からないので教えていただけますでしょうか。
    ※動画の15分前後の内容の部分です。

  • @run0508
    @run0508 2 года назад

    んー、mac(m1)もwindows どちらも始めからエラーで上手くいきませんでした。これは一旦保留で他の内容に進みます

    • @run0508
      @run0508 2 года назад

      windowsの方は解決しました

  • @しゅんまろ-y6j
    @しゅんまろ-y6j 3 года назад +1

    internet service error と出て、ログインボタンを押すとその先のサイトにアクセスできません。
    どうしたらいいですか?教えて下さい!

    • @imanyu_programming
      @imanyu_programming  3 года назад

      ユーザー名、パスワードが間違っていないか確認してください

    • @しゅんまろ-y6j
      @しゅんまろ-y6j 3 года назад +1

      @@imanyu_programming 初歩的なミスでした...大切なお時間ありがとうございました

  • @kaj694
    @kaj694 2 года назад +1

    find_elements_by_*系メソッドは バージョン4.3.0で廃止されてしまいました.残念....

  • @HK-zl1pq
    @HK-zl1pq 2 года назад

    finedエレメントバイが使用できません

  • @user-nj3xb1cv5k
    @user-nj3xb1cv5k 3 года назад +1

    丁寧な動画ありがとうございます!
    質問です
    login_btnをクリックする動作ができません
    username.passwordは入力されますが、そのあとのクリックがされず、止まっている状態です
    そのまま自分でクリックするとログインできるので、password等が間違っているわけではないようです
    コマンドプロンプトに出てくる内容が
    ・ self.error_handler.check_response(response)
    ・Message: no such element: Unable to locate element: {"method":"css selector","selector":"[name="login_btn"]"}
    ・Bluetooth: bluetooth_adapter_winrt.cc:1073 Getting Default Adapter failed.
    ・ERROR:gpu_init.cc(441)] Passthrough is not supported, GL is disabled
    などが出てきます
    なんとか調べたのですが、原因がわからず、先に進めなくなってしまいました。
    可能でしたら原因を教えていただけないでしょうか💦

    • @Rent_Lent_Rent
      @Rent_Lent_Rent 3 года назад

      "login_btn"じゃなくて"btn_login"じゃないでしょうか?
      一応、僕のコードを貼っておくので参考にしてみてください。
      element_login_btn = browser.find_element_by_name('btn_login')
      element_login_btn.click()

    • @user-nj3xb1cv5k
      @user-nj3xb1cv5k 3 года назад +1

      @@Rent_Lent_Rent さん
      ありがとうございます!!
      name('login_btn'にしていました💦
      打ち間違えで2日も先に進めないとは💦
      プログラマーの方の大変さが少しわかった気がします💦
      本当にありがとうございます!
      おかげさまでやっと先へ進めます🎵

    • @user-nj3xb1cv5k
      @user-nj3xb1cv5k 3 года назад +1

      あれ?
      でも動画だと
      id('login_btn')なのに
      name('btn_login')じゃないとエラーになるのはなぜでしょう??

    • @Rent_Lent_Rent
      @Rent_Lent_Rent 3 года назад

      @@user-nj3xb1cv5k それは、HTMLを見てみるとわかります。
      Login
      と、HTMLに書かれているので、
      nameは "btn_login" 、
      id  は "login-btn"、
      と違う変数名になっているので、find_element_by_idとfind_element_by_nameで違う名前を設定してあげる必要があるからです。
      P.S 動画ではidで実行していますが、私はnameで実行していました。すみませんでした💦

  • @pose1003
    @pose1003 3 года назад +1

    webdriverでGoogleは起動するのですが、いざURLを入れ込むと Message: chrome not reachableとエラーがでます。どうすればいいでしょうか

    • @imanyu_programming
      @imanyu_programming  3 года назад

      コメントありがとうございます!!
      頂いた内容だけだと明確なエラーの原因がわからないですね、、、
      下記あたりを参考にしていただければと!
      satoki252595.com/2020/08/29/chrome-not-reachable/
      qiita.com/yuta-38/items/e428bfa1a22e51935022

  • @supergiyao
    @supergiyao 3 года назад +3

    楽しく学ばさせて頂いています。(^o^)
    こちらで学んだことを、他のホームページで試しましたら、
    上手くデータ取得する事ができ、感激しました。
    取得したデータを整えるというところが、腕の見せ所だと感じました。
    他の動画も見て、技として習得したいと思います!(^-^)

    • @imanyu_programming
      @imanyu_programming  3 года назад +1

      おぉ、他のHPでも試されたんですね!!
      素晴らしいです!!
      間違いないです!!!
      データの整形までしっかりできるかどうかが重要です!!!

  • @ちくわ-g6m
    @ちくわ-g6m 11 месяцев назад

    Chrome driverをダウンロードしたんだけど、中にexeファイルなかったんだけどマジでよくわかんない!助けてください

  • @十六夜いろは-168
    @十六夜いろは-168 Год назад

    お使いのPCの環境がわからないです。
    私用しているソフト(VScodeとか)プラグインなど、そこからご教示していただくことは可能でしょうか

  • @kenkenmath
    @kenkenmath 3 года назад +1

    PILライブラリがなかったが、代わりにPillowが入ってた。

    • @imanyu_programming
      @imanyu_programming  3 года назад +1

      コメントありがとうございます!!
      そうです、すいません伝え忘れていたかもしれません、、、、
      Pillowであってます!ご指摘ありがとうございます!!!

  • @レサパンもふもふ
    @レサパンもふもふ 3 года назад +3

    自動で動くとか感動しました!! スクレイピングが謎でしたが理解できました(´;ω;`)

    • @imanyu_programming
      @imanyu_programming  3 года назад +1

      初めてやったときは私も感動しました!!