Python Hub Studio, Ваши простые и понятные объяснения СЛОЖНЫХ ВОПРОСОВ делают обучение настоящим удовольствием. Благодарю за возможность воспользоваться вашим ПРОФЕССИОНАЛИЗМОМ! Спасибо за ценные уроки и поддержку!
это чудо. ролик по requests появился через день, после того как я начал изучать эту библиотеку. вчера я столкнулся проблемами в практике по парсингу, и тут это видео! лайк
@@PythonHubStudio У меня тоже в браузере не отображается ajaxdetail/. На вкладке xhr/fetch вместо него стоит: ?sentry_key=547...., у которого статус 200 и POST-запрос, а не GET. На вкладке "Ответ/отклик" - пустой словарь. Можете подсказать почему так?
Здравствуйте, автор канала! Спасибо за контент! Какие источники информации (книги, ютуб.каналы, сайты) по Питону можете посоветовать новичку и вообще что нужно знать начинающему фрилансеру?
Добрый день! подскажите пожалуйста, как собрать информацию с сайта вайберриз а именно на каком месте находиться мой товар по различным запросам, возможно ли научиться этому с помощью PYTHON?
подскажите пожалуйста, как распарсить сайт Майкрософта? нужно распарсить карточки с играми, а способ с видоса не работает, никак разобраться не моуг (((
А помните вы видео записали как сделать Питон флешку а я написал скрипт который парсит мой гитхаб и выводит список менюшку с питон скриптами когда выбираете оно скачивает и запускает я так могу прийти в офис и напоназапускать своих скриптов на любом компе где пайтон не установлен ну и скрипт который ищет питон скрипты на моей флешке и запускает в виртуальном окружении venv
Спасибо за видео! Подскажите пожалуйста есть ли сейчас возможность парсить avito? что только не использовал, ответ всегда 403 при попытке установить соединение на стартовой странице
Ролика не будет как этот ресурс парсить, парсинг на канале есть только в качестве тренинга для начинающих, чтоб была практика по python и понимание в запросах. Это не благодарное дело(парсинг), поэтому хоть и можно спарсить любой сайт и попытаться на этом заработать, как это делать обходя блокировки выпускать видео не буду. Это никому не нужно, это не то чем нужно себя занять в программировании.
Всем привет! Кто знает, как обойти вот это? Ваш браузер не смог пройтипроверку.Для доступа к веб-ресурсу включите в настройках вашего веб-браузера поддержку JavaScript или воспользуйтесь другим веб-браузером, который поддерживает JavaScript.
Попробуй с помощью selenium загружать страницу, и потом уже сохранять ее и отправллять в bs4. Это может быть не очень хороший совет потому как я сам только учусь, но если я правильно понял твою проблему, то selenium поможет
@@firstandlast4435 Спасибо за комментарий! Да, я как раз и использовал selenium. Но , увидев данный ролик, подумал, что смогу справляться с задачей скроллинга на сайте и без selenium. Протестировал через requests, но сервер не пускает меня, потому что, как понял, не прохожу проверку на "человечность".
@@ЕгорГуторов-р7я мне по сообщению показалось что сайт проверяет не на человечеость а на совместимость с яваскрипт, так как использует его для отображения контента. Это логичная проверка и я думаю что отнюдь нередкая
@@firstandlast4435 Попробую через selenium зайти и в метод get отправлять запросы имитирующие скроллинг. Но почему-то у меня устоявшийся в голове принцип, что селениум чисто для имитации действий пользователя, и что он не может в запросы API.
Спасибо за видео! Понятно объясняете, приятно смотреть. Сделайте также пожалуйста урок с использованием Selenium для динамических сайтов. Думаю многим пригодится.
Что делать если обрезали доступ к этой ссылке. Когда захожу по по подобной ссылке из url-запроса то мне пишет: 403 Forbidden nginx/1.18.0. Но на сайте можно открыть нужную мне информацию по нажатию кнопки и появится модальное окно, (которое не видно в элементе без нажатия этой кнопки). Можно ли как-то с помощью requests нажать на эту кнопку чтобы потом взять элементы из этого модального окна?
Пробовал потренироваться парсить защищенные сайты. Пока не получается вытащить json простым get запросом. Хотя если в браузере на странице посмотреть в инспекторе где XHR там все JSON, которые через API получаются можно найти. Вариант только через selenium? Или может есть какой путь более быстрый?
На 14 минуте вы сказали про код 200 и код 300 с копеечкой и про перенаправление. А если на сайте есть перенаправление и 304 код, то как тогда быть? И если не xhr, а fetch запрос и ещё есть graphql. Будут ли видео про парсинг ещё у вас?
Хм, а как отработал print(response['title'])? в питоне возвращает ошибку формируется список а не словарь "TypeError: list indices must be integers or slices, not str". Через цикл For работает. for item in response: print(item['title'])
Уважаемый автор, я прошел ваш семичасовой курс по Python и хочу поблагодарить вас за проделанную работу, но в моей стране нет функций спасибо. Как бы я смог отправить вам денег?
Пол года назад, начал учить Пайтон язык, по вашим Видео урокам И...? Я стал маленьким программистом) Я успешно сдал свой первый заказ на фрилансе и продолжаю дальше учится!) Но остается много тумана и неясностей В частности, если web разработка не зашла, а именно frontend (backend ещё норм), куда ещё можно посмотреть? На чем ещё можно зарабатывать? За аналитиков данных , или машинное обучение вы что-то знаете? Там интересно?)
Я так понимаю автоматизация, вроде парсинга и ботов в портфолио тоже есть... Аналитика и ML очень хорошая тема, но не особо для фриланса с нуля, так как уровень ответственности с точки зрения заказчика намного выше, и разнородность требований/задач больше, а значит количество заказов на старте которые вы сможете взять меньше. Это если про фриланс. А так, то направление максимально перспективное.
Здравствуйте, у меня есть 30 тыс ссылок и мне нужно из каждой ссылки собрать - артикул, описание и картинку. Заметила, что сайт не любит большое количество запросов. Есть ли способ обойти эту защиту используя прокси или что-то другое. Хотела купить прокси, но это дорого
@@PythonHubStudio сайт ничего не отрисовывает, рендерит драйвер.... поэтому как я и сказал это не то, я искал как без этого ссаного хром драйвера + селениум который жрет кучу ресурсов получать уже отрендеренные страницы
![DDG & G Herbo - Nosey [Official Video]](http://i.ytimg.com/vi/I9Ra0Zc2NlQ/mqdefault.jpg)
Python Hub Studio,
Ваши простые и понятные объяснения СЛОЖНЫХ ВОПРОСОВ делают обучение настоящим удовольствием.
Благодарю за возможность воспользоваться вашим ПРОФЕССИОНАЛИЗМОМ!
Спасибо за ценные уроки и поддержку!
Еще одна огромная благодарность вам. Очень благодарен вам за ваш труд. Бриллиант в океане туториалов! 💎
Спасибо за урок! Как всегда информативно и доступным языком👍
это чудо. ролик по requests появился через день, после того как я начал изучать эту библиотеку. вчера я столкнулся проблемами в практике по парсингу, и тут это видео! лайк
огромное спасибо благодаря знанию что хчр это инъекция быстро выполнил свою задачу
Спасибо большое!
Полезная информация, спасибо ;3
Хороший видос
А что делать если на сайте не обновляется page в ссылке?
Спасибо ! Много подчерпунул
Лайк и благодарность по умолчанию 👍
Спасибо!
Разберите пожалуйста обновлённый selenium
Здравствуйте. Не могли бы Вы подсказать, почему Chrome не видит "ajaxdetail/" и прочие такие файлы, в чем может быть проблема?
Все браузеры это видят, только может называться вкладка по другому xhr, fetch, ajax, и тд
@@PythonHubStudio У меня тоже в браузере не отображается ajaxdetail/. На вкладке xhr/fetch вместо него стоит: ?sentry_key=547...., у которого статус 200 и POST-запрос, а не GET. На вкладке "Ответ/отклик" - пустой словарь. Можете подсказать почему так?
Разобрался в чём дело. Надо было кликнуть на другую страницу ("Mimicking Ajax requests") и уже там смотреть html-код.
Здравствуйте, автор канала! Спасибо за контент! Какие источники информации (книги, ютуб.каналы, сайты) по Питону можете посоветовать новичку и вообще что нужно знать начинающему фрилансеру?
Добрый день!
подскажите пожалуйста, как собрать информацию с сайта вайберриз а именно на каком месте находиться мой товар по различным запросам, возможно ли научиться этому с помощью PYTHON?
Можно к вам куда-нибудь лично обратиться по вопросу парсинга?
Привет, расскажи почему используешь Интернет Експлорер ? В чем плюсы ?
подскажите пожалуйста, как распарсить сайт Майкрософта? нужно распарсить карточки с играми, а способ с видоса не работает, никак разобраться не моуг (((
А можно через питон спарсить запросом, если подгружает скриптом js и ответ я получаю jsonом
просто requests
А помните вы видео записали как сделать Питон флешку а я написал скрипт который парсит мой гитхаб и выводит список менюшку с питон скриптами когда выбираете оно скачивает и запускает я так могу прийти в офис и напоназапускать своих скриптов на любом компе где пайтон не установлен ну и скрипт который ищет питон скрипты на моей флешке и запускает в виртуальном окружении venv
Круто!
Будет ли видео по JS и React ?
Спасибо за видео!
Подскажите пожалуйста есть ли сейчас возможность парсить avito? что только не использовал, ответ всегда 403 при попытке установить соединение на стартовой странице
неделю назад написал его на Selenium отлично работает, но для моего случая нужна была авторизация в начале по смс для получения большего числа данных
Добрый день, а geekjob возможно спарсить? Не будет ролика как это сделать?
Ролика не будет как этот ресурс парсить, парсинг на канале есть только в качестве тренинга для начинающих, чтоб была практика по python и понимание в запросах. Это не благодарное дело(парсинг), поэтому хоть и можно спарсить любой сайт и попытаться на этом заработать, как это делать обходя блокировки выпускать видео не буду. Это никому не нужно, это не то чем нужно себя занять в программировании.
Можешь сделать видео что нужно знать для data science для устройство на работу)
Привет! Как можно задонатить тебе из России?
Под каждым видео такие эмоциональные комменты... Сектанты прям 😂 хоть 1 конструктивная критика автора есть где??
Всем привет!
Кто знает, как обойти вот это?
Ваш браузер не смог пройтипроверку.Для доступа к веб-ресурсу включите в настройках вашего веб-браузера поддержку JavaScript или воспользуйтесь другим веб-браузером, который поддерживает JavaScript.
Попробуй с помощью selenium загружать страницу, и потом уже сохранять ее и отправллять в bs4.
Это может быть не очень хороший совет потому как я сам только учусь, но если я правильно понял твою проблему, то selenium поможет
@@firstandlast4435 Спасибо за комментарий!
Да, я как раз и использовал selenium. Но , увидев данный ролик, подумал, что смогу справляться с задачей скроллинга на сайте и без selenium.
Протестировал через requests, но сервер не пускает меня, потому что, как понял, не прохожу проверку на "человечность".
@@ЕгорГуторов-р7я мне по сообщению показалось что сайт проверяет не на человечеость а на совместимость с яваскрипт, так как использует его для отображения контента. Это логичная проверка и я думаю что отнюдь нередкая
@@ЕгорГуторов-р7я просто насколько я знаю когда то не все браузеры поддерживали яваскрипт. Хотя сейчас все популярные браузеры это делают
@@firstandlast4435
Попробую через selenium зайти и в метод get отправлять запросы имитирующие скроллинг. Но почему-то у меня устоявшийся в голове принцип, что селениум чисто для имитации действий пользователя, и что он не может в запросы API.
задержка time.random излишняя.
вообще не понял зачем она? для обхода антипарсиноговой блокировки?
Спасибо за видео! Понятно объясняете, приятно смотреть. Сделайте также пожалуйста урок с использованием Selenium для динамических сайтов. Думаю многим пригодится.
Спасибо!! Отличный урок.
Спасибо тебе добрый человек
Что делать если обрезали доступ к этой ссылке. Когда захожу по по подобной ссылке из url-запроса то мне пишет: 403 Forbidden
nginx/1.18.0. Но на сайте можно открыть нужную мне информацию по нажатию кнопки и появится модальное окно, (которое не видно в элементе без нажатия этой кнопки). Можно ли как-то с помощью requests нажать на эту кнопку чтобы потом взять элементы из этого модального окна?
Пробовал потренироваться парсить защищенные сайты. Пока не получается вытащить json простым get запросом. Хотя если в браузере на странице посмотреть в инспекторе где XHR там все JSON, которые через API получаются можно найти. Вариант только через selenium? Или может есть какой путь более быстрый?
На 14 минуте вы сказали про код 200 и код 300 с копеечкой и про перенаправление. А если на сайте есть перенаправление и 304 код, то как тогда быть? И если не xhr, а fetch запрос и ещё есть graphql. Будут ли видео про парсинг ещё у вас?
Респект
Хм, а как отработал print(response['title'])? в питоне возвращает ошибку формируется список а не словарь "TypeError: list indices must be integers or slices, not str". Через цикл For работает. for item in response:
print(item['title'])
давай видео как парсить сайты с каптчей запросами(без селениума) пожалуйста
ошибка TypeError: 'str' object is not callable
Нашёл, что искал. Спсибо, Python Hub Studio!
Видео очень понравилось. лайк не забыли поставить)
Оч крутой разбор, спасибо!
Спасибище! Однозначно в закладки видео.
Уважаемый автор, я прошел ваш семичасовой курс по Python и хочу поблагодарить вас за проделанную работу, но в моей стране нет функций спасибо. Как бы я смог отправить вам денег?
описание смотри
Супер полезный видос
Спасибо, все четенько, по делу и без лишней воды!
Как это без обновления страницы? Страница-же обновилась... Ты имеешь ввиду БЕЗ ЗАГРУЗКИ/ПЕРЕЗАГРУЗКИ страницы....
Игра слов
Пол года назад, начал учить Пайтон язык, по вашим Видео урокам
И...? Я стал маленьким программистом)
Я успешно сдал свой первый заказ на фрилансе и продолжаю дальше учится!)
Но остается много тумана и неясностей
В частности, если web разработка не зашла, а именно frontend (backend ещё норм), куда ещё можно посмотреть? На чем ещё можно зарабатывать?
За аналитиков данных , или машинное обучение вы что-то знаете? Там интересно?)
Я так понимаю автоматизация, вроде парсинга и ботов в портфолио тоже есть... Аналитика и ML очень хорошая тема, но не особо для фриланса с нуля, так как уровень ответственности с точки зрения заказчика намного выше, и разнородность требований/задач больше, а значит количество заказов на старте которые вы сможете взять меньше. Это если про фриланс. А так, то направление максимально перспективное.
Здравствуйте, у меня есть 30 тыс ссылок и мне нужно из каждой ссылки собрать - артикул, описание и картинку. Заметила, что сайт не любит большое количество запросов. Есть ли способ обойти эту защиту используя прокси или что-то другое. Хотела купить прокси, но это дорого
Выставить задержку? И есть бесплатные прокси.
33 рубля в месяц вовсе не дорого
Это не парсинг динамических страниц
А парсинг страниц которые присылают json
В этом видео парсинг по ajax запросам, которые сайт отрисовывает динамически(без перезагрузки) по средствам JavaScript - json и фрагменты разметки.
@@PythonHubStudio сайт ничего не отрисовывает, рендерит драйвер.... поэтому как я и сказал это не то, я искал как без этого ссаного хром драйвера + селениум который жрет кучу ресурсов получать уже отрендеренные страницы