⭐Курс ООП и Приват канал: zproger-school.com/ ⭐Телеграм канал: t.me/+ltjhP8CCll80NTAx Не забывайте оставлять свои идеи для следующих видео в комментариях, большинство из них реализовывается на канале. Также подписывайтесь на канал, так как именно у нас публикуется отборный материал, который позволит вам изучать программирование и другие технологии в разы быстрее.
Господи, ура! Целую неделю пытался найти нормальные видео по парсингу данных, уже отчаялся и тут появляетесь вы со своими прекрасными объяснениями! Спасибо)
Офигенные уроки. Когда просто бегло смотрел, казалось всё элементарным. Начал повторять и документировать - сразу увидел, сколько же тут нюансов. Очень хорошо проработаны занятия, есть возможность, посмотрев один пример, поставить на паузу и дальше делать самому для закрепления. Многое всё ещё очень поверхностно понимаю в плане того, как оно вообще работает, но в целом всё получается :)
Ты просто лучший, не изучая парсиинг начал заниматься этим по видосу, когда шел строго по видел все работало нормально)) еще бы оно не работало так то, но как начал сам то сразу застрял,и потом нашел твои ролики, тут ты все понятно и с примерами объяснил. От всей души спасибо 🤝
Отлично, материал зашел на ура, осталось только потренироваться для закрепления пройденного. Оказалось html разный приходит если запрос с куками лии без.
Можешь подсказать, как div с browser_lang вывести? Я не могу понять как вывести текст из блока и спан первый , чтобы показывалось пр.: Язык: Русский (ru)
Привет. Спасибо за курс! Очень помогает. Вопрос: почему мы ищем по span? Я попробовал найти не используя span, а только по id, и выдало правильные значения. Я мало понимаю в питоне, а в html вообще не понимаю. Может в одном id может быть много Span'ов и нам может понадобиться какой-то конкретный? Из-за этого?
При парсинге разрешения текущего размера окна с сайта-примера в видео аналогично user-agent - в ответе ничего. Разрешение не удаётся выцепить. Хотя всё аналогично. Подскажите, в чём проблема? Использую код: check_window=block.find('div', id="window_size").text result_window=f'window: {check_window}' print(result_window) В ответе: window: т.е. разрешение не выцепляет
Спасибо за лекцию! А кто-нибудь сталкивался с такой проблемой: при запуске кода на хостинге не работает модуль фейкового юзер-агента? Пишет, что модуль не найден
А что если я получаю не весь html код?Если в браузере смотреть там есть div классы и тд,вывожу через text, там их нету.Через content тоже пробовал.В итоге не получается bs найти значения
До меня что-то никак не дойдет: если мы парсим сайт с нашими данными, и нам нужен наш юзер-агент, который написан на сайте, то зачем мы используем рандомный юзер-агент?
Люди короче вопрос, я просто хочу собрать слова с сайта РЕШУ ЕГЭ в отдельный файл, нужны слова,где есть "..",это я сделал с помощью re, но почему то собираются слова только с первых 5 заданий, а остальной текст насколько я понял даже не пришел после запроса, почему такое может произойти и как можно пофиксить.
bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?помогите весь интернет облазил уже сто раз перепроверил то что lxml установлен
При попытке использования fake_useragent выдает следующую ошибку: fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached Может знает кто, в чем проблема?
Возможно видео неудачно обрезал, но заголовки будут участвовать только в случае если напрямую передать аргумент headers в самом запросе, либо же если это сессия, то в случае с обновлением списка session.headers
У меня возникла проблема. Программа работает, но когда картинка скачивается то она потом просто не открывается. Пытался подсоединить fake_useragent, тоже не помогло. Как быть?
@@zproger Ошибок нет. Вот файл с кодом: drive.google.com/file/d/11j-l5ybd4o-HMGMbSsslK0svgjdBkv5L/view?usp=sharing А вот что мне пишет, когда я пытаюсь открыть картинку на ПК: drive.google.com/file/d/1XNsL-1Ypkz-kqQ3qhgQcyKKTEAExgRb7/view?usp=sharing
Обычно нет четких требований к инструменту, который нужно использовать. Скрапи подойдет для крупных проектов, а небольшие проекты можно на bs4 сделать.
block = soupe.find('table', {'class':"simple-little-table financials"}) block = soupe.find('table', class_= "simple-little-table financials") Попробуйте так, в первом случае запрос передаётся, как словарь и проблем не возникнет, во втором случае пишем class_, если пишем просто class из-за того, class запрос find понимает как именованный аргумент, он выдаёт ошибку
@@zproger да если можно)) а то уже к середине не понимал что мы делаем а в конце вообще запутался что писал и для чего)) Если можно в след раз писать и озвучивать вот этот код для этого и делает это, если изменить в коде это, на выходе получаем этот результат)) не сваливать все в одну кучу, и по ходу не изменять его и не удалять))
Здравствуйте! Спасибо за видео! Скажите пожалуйста, ваш курс на степике отличается от цикла этих видео? Что я смогу найти на степике, чего нет на ютубе заплатив 30 долларов? И на 3 минуте видео можно же было сразу написать soup.find('div', id="javascript_check") и он бы нашел нужный блок в рамках этого сайта, или я что-то путаю...
![ZProger [ IT ]](http://yt3.ggpht.com/ytc/AIdro_nEayoD4jBvKkG7VFnuTm_Rnd64g6RPSHL9K53LulYXDQ=s48-c-k-c0x00ffffff-no-rj)
⭐Курс ООП и Приват канал: zproger-school.com/
⭐Телеграм канал: t.me/+ltjhP8CCll80NTAx
Не забывайте оставлять свои идеи для следующих видео в комментариях,
большинство из них реализовывается на канале. Также подписывайтесь
на канал, так как именно у нас публикуется отборный материал, который позволит
вам изучать программирование и другие технологии в разы быстрее.
Господи, ура! Целую неделю пытался найти нормальные видео по парсингу данных, уже отчаялся и тут появляетесь вы со своими прекрасными объяснениями! Спасибо)
Офигенные уроки. Когда просто бегло смотрел, казалось всё элементарным. Начал повторять и документировать - сразу увидел, сколько же тут нюансов. Очень хорошо проработаны занятия, есть возможность, посмотрев один пример, поставить на паузу и дальше делать самому для закрепления. Многое всё ещё очень поверхностно понимаю в плане того, как оно вообще работает, но в целом всё получается :)
Классно что хоть кто-то рассказывает про работу модулей, очень интересно и полезно, побольше бы разных модулей
Ещё много чего интересного будем рассматривать на этом канале :)
Отличный курс! Все понятно и кратко. Лаконичность это большой плюс. Спасибо)
Спасибо, рад что вам понравилось.
Чувак, спасибо. Смотрел кучу уроков, нифига не было понятно, а тут получилось!)
Пожалуйста :)
@@zproger почему у меня не работает .text
Тоже самое
Огромное спасибо за серию видосов, какраз хотел научиться делать парсеры, очень круто все объясняешь!
Вы шикарный учитель, спасибо вам!
Рад что смог помочь :)
Ты просто лучший, не изучая парсиинг начал заниматься этим по видосу, когда шел строго по видел все работало нормально)) еще бы оно не работало так то, но как начал сам то сразу застрял,и потом нашел твои ролики, тут ты все понятно и с примерами объяснил. От всей души спасибо 🤝
Очень полезный курс, спасибо 😄
Рад что вам понравилось, сейчас также реализовывается новый курс по Selenium, возможно вам это будет интересно
а вот это объяснение хорошее! Спасибо за материал!
Благодарю
первый человек кто про парсинг на питоне ОБЪЯСНЯЕТ, а не рассказывает
Спасибо :)
Не знаю почему, но я кайфую с такого спокойного голоса
благодарю
Супер подача материала, с меня лайк, а с Вас ЕЩЕ БОЛЬШЕ КОНТЕНТА😄
Спасибо за поддержку :)
Познавательно! Умеешь объяснять и это круто.
Спасибо :)
Спасибо, по уроку делал все, но с другим сайтом, все идеально получилось еще в процессе кое что добавил
Отлично, материал зашел на ура, осталось только потренироваться для закрепления пройденного.
Оказалось html разный приходит если запрос с куками лии без.
за эти 14 минут я понял больше чем за 14 дней проведенный в ютублении
спасибо огромное ! видос вроде короткий но очень содержательный .
Рад что вам понравилось :)
Отличный видос, сильно помог подробными разъяснениями
3:57 что делать если не показывает нужный код сайта? выдает значения которые не нужны, показывает head и то другой какой то, а body якобы пустой
Как по мне, так отличные уроки.
Спасибо
а как добавить блок в soup если там нету id или класса? Например на github просто ...
Почему-то при первом и втором способе подмены юзер агента всё равно выдаёт python-requests/2.28.1
Кто может подсказать в чем ошибка?
отличное видео, спасибо автору за труд)
Спасибо, очень приятно
Можешь подсказать, как div с browser_lang вывести? Я не могу понять как вывести текст из блока и спан первый , чтобы показывалось пр.: Язык: Русский (ru)
Отличная подача. Но вопрос - у меня выдает ошибку при попытке установить lxml. Можно заменить другой библиотекой?
Подскажите пожалуста, как называется музыка на фоне?
Спасибо за видео!
Пожалуйста :)
Подскажите, пожалуйста. Мне надо спросить весь сайт. Можно ли это сделать не выборочно?
Привет. Спасибо за курс! Очень помогает.
Вопрос: почему мы ищем по span? Я попробовал найти не используя span, а только по id, и выдало правильные значения. Я мало понимаю в питоне, а в html вообще не понимаю. Может в одном id может быть много Span'ов и нам может понадобиться какой-то конкретный? Из-за этого?
При парсинге разрешения текущего размера окна с сайта-примера в видео аналогично user-agent - в ответе ничего. Разрешение не удаётся выцепить. Хотя всё аналогично. Подскажите, в чём проблема? Использую код:
check_window=block.find('div', id="window_size").text
result_window=f'window: {check_window}'
print(result_window)
В ответе:
window:
т.е. разрешение не выцепляет
Спасибо за лекцию!
А кто-нибудь сталкивался с такой проблемой: при запуске кода на хостинге не работает модуль фейкового юзер-агента? Пишет, что модуль не найден
Спасибо, помогло понять)
Рад что смог вам помочь
как понять что это основной блок 3:58, кто тут, можете помочь?
на 12 строчки кода, это 6 минута видео, у меня выдает Ошибку-индекса :( list index out of range, почему так?
А как искать необходимый div, если во всем коде нет ни единого id, только классы?
Тогда искать по классам
class_=' '
{'class': ' '}
хорошо если сайт просто отдает данные по Get а если там нужно с ключами как на озон например ничего не отдаст по гет просто так
очень помог, спасибо)
Урок хороший, только у меня подтягивает не верное значение JavaScript, в браузере написано "Включено", а подтягивает "Выключено "
Почему ошибка из за lxml, правильно html.parser возможно из за обновления 3.10 python ?
Вроде, все то же самое сделал, но все равно пишет User-agent: python-requests/2.26.0
модуль user-agent обновился и теперь работает по-другому, подробней на офф.странице: pypi.org/project/fake-useragent/
Спасибо! Жаль что нет ссылки на следующее видое
На канал нужно перейти, все видео уже давно в плейлисте
Автор, ответьте пожалуйста, зачем мы создали block? Мы же можем искать сразу в soup... этот момент я как то недопоянл
И ещё вопрос как парсить не через id а через class
Попробовал спарсить заголовки рбк, не поулчается 'NoneType' object has no attribute 'text'
Спасибо!
Рад что понравилось :)
А что если я получаю не весь html код?Если в браузере смотреть там есть div классы и тд,вывожу через text, там их нету.Через content тоже пробовал.В итоге не получается bs найти значения
Возможно это значение подгружается через js, а requests не обрабатывает их.
@@zproger пробовал json обрабатывать,толку0
не особо понял, для чего нужен fake_useragent, можете объяснить на примере?
Юзер-агент должен быть всегда разный во время парсинга,
чтобы сайт думал что это разные устройства.
До меня что-то никак не дойдет: если мы парсим сайт с нашими данными, и нам нужен наш юзер-агент, который написан на сайте, то зачем мы используем рандомный юзер-агент?
Люди короче вопрос, я просто хочу собрать слова с сайта РЕШУ ЕГЭ в отдельный файл, нужны слова,где есть "..",это я сделал с помощью re, но почему то собираются слова только с первых 5 заданий, а остальной текст насколько я понял даже не пришел после запроса, почему такое может произойти и как можно пофиксить.
Мега крут
Благодарю :)
bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?помогите весь интернет облазил уже сто раз перепроверил то что lxml установлен
если у кого нибудь такая же проблема попробуйте поменять парсер с "lxml" на 'html.parser'
Нужно устанавливать его глобально
При попытке использования fake_useragent выдает следующую ошибку:
fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
Может знает кто, в чем проблема?
На удивление, с моим знаниям довольно маленьким знаниям Пайтона, я смог получить курс евро, и вывести его в консоль, там правда айди не было, а класс
А почему список header передался на сайт, если он не учавствовал в коде никак кроме его обьявления?
Возможно видео неудачно обрезал, но заголовки будут участвовать только в случае если напрямую передать аргумент headers в самом запросе, либо же если это сессия, то в случае с обновлением списка session.headers
@@zproger спасибо)
У меня возникла проблема. Программа работает, но когда картинка скачивается то она потом просто не открывается. Пытался подсоединить fake_useragent, тоже не помогло. Как быть?
Какие-то ошибки есть? Нужно больше информации, я к сожалению не читаю мысли :)
@@zproger Ошибок нет. Вот файл с кодом: drive.google.com/file/d/11j-l5ybd4o-HMGMbSsslK0svgjdBkv5L/view?usp=sharing
А вот что мне пишет, когда я пытаюсь открыть картинку на ПК: drive.google.com/file/d/1XNsL-1Ypkz-kqQ3qhgQcyKKTEAExgRb7/view?usp=sharing
@@zproger Я парсил другой сайт, хотя на вашем также было
как парсить через классы а не через id?
Спасибо
:)
Если вместо user-agent писать случайный набор символов, то не парсит, выдаёт пустой список.
Да, это не будет работать на всех сайтах
@@zproger А что тогда делать?
Шикарный урок. Спасибо. 🤝
Только на будущее не говори пожалуйста яваскрипт, не ява ведь... джава, жаба. Но блин ява эт прям больно слышать 😱👀
я вроде как никогда не говорил ява скрипт
Что за музон? Хочу такой
Ну "ФиндОл" всё объясняет ))
:))
Видео крутое... Но возникла проблема, помогите пожалуйста.
Пишет, что нет модуля fake_useragent, при том, что он установлен.
Не работает только в pycharm, в идле всё нормально.
Вот вместо этой возни с requests.get(url, headers=headers) лучше бы сразу показал сессии, где можно сразу задать Session.headers и Session.proxies
Безусловно можно, но в данном уроке сессии ещё не рассматриваются, и необходимо знать каким образом можно передавать заголовки помимо сессий.
что делать если в строке с использованием find-all не работает .text
Какую ошибку получаете?
You can use teg find_all
:/
что лучше суп или скрапи? что популярней на фрилансе?)
Обычно нет четких требований к инструменту, который нужно использовать.
Скрапи подойдет для крупных проектов, а небольшие проекты можно на bs4 сделать.
Как работает header?
Это обычные заголовки, которые передаются на сервер.
@@zproger аа, у меня просто не работает, наверное из-за того что я через телефон делаю
Сайт во время урока умер - топ!
Это сайт не для урока, я нашел рандомный из выдачи) Главное найти что-то подобное
если айди нету а только class
Ну так используйте class_ вместо id
а если не указан id а указан class только
block = soupe.find('table', {'class':"simple-little-table financials"})
block = soupe.find('table', class_= "simple-little-table financials")
Попробуйте так, в первом случае запрос передаётся, как словарь и проблем не возникнет, во втором случае пишем class_, если пишем просто class из-за того, class запрос find понимает как именованный аргумент, он выдаёт ошибку
Что делать если я хочу получить ссылку, но вместо ссылки я получаю значок #
Значит в этом атрибуте и лежит данный символ, необходимо проверить наличие ссылки в нем.
@@zproger проблему решил, я не тот тег смотрел.
почему у меня не работает .text
Если ошибка NoneType, значит не удалось найти объект по идентификатору
а почему lxml а не json?
Привык всегда его использовать :)
Запутался к концу видео, это изменили,это удалили, тут добавили, там переделали))). К концу видео уже и не понимаю что к чему))
Спасибо за комментарий, я учту всё это, чтобы сделать следующие видео лучше
@@zproger да если можно)) а то уже к середине не понимал что мы делаем а в конце вообще запутался что писал и для чего)) Если можно в след раз писать и озвучивать вот этот код для этого и делает это, если изменить в коде это, на выходе получаем этот результат)) не сваливать все в одну кучу, и по ходу не изменять его и не удалять))
Я пишу код вслед за автором, и потом уже анализирую конечный код, вопросов не возникает.
Ну концепция парсинга объяснена доступна, а вот то, что по сути он подтягивает неверные данные это вообще не смущает?
Не заметил этого, где именно оно подтягивает неверные данные?
Что то нихуя не работает)...
жява скрипт)
=))
А где виртуальное окружение, зачем загаживать систему всеми зависимостями пакетов, которые нужны только этому скрипту? Ну и финд олл конечно... )))
Жява скрипт😂
Жаба скрипт :)
+++
:)
жяваскрипт
Здравствуйте! Спасибо за видео! Скажите пожалуйста, ваш курс на степике отличается от цикла этих видео? Что я смогу найти на степике, чего нет на ютубе заплатив 30 долларов? И на 3 минуте видео можно же было сразу написать soup.find('div', id="javascript_check") и он бы нашел нужный блок в рамках этого сайта, или я что-то путаю...
Здравствуйте, на степике на 3 видео больше чем здесь и он время от времени обновляется. Но это скорее как способ поддержать канал.
а ведь можно в бесконечном цикле запустить get(link), да еще и в несколько потоков.
(закадровый смех от собственных грязных мыслей)
английский язык автору стоит подтянуть..
"финд" - это find
уши режет
Я произношу по-разному, знаю что это не правильно, но не замечаю за собой некоторые моменты
Когда вы начнёте грамотно писать слово "response"?
Уже пишу :D
Нихрена не понятно, плохо обьяснил, надо другое видео искать, максимум у сайтов бывает div class=... Но никак не div id=...