Здравствуйте. А можно как-то сделать чтобы в телеграм приходили только новые объявления? Например я запустил парсинг в 10:00 и чтобы объявления опубликованные до этого времени не приходили.
еще сильно не юзал но штука класная.СПАСИБО!!!писал под авито на стелсе год назад,ибо не у кого не было через селениум,все парсы были предложены на реквесте.В твоей проге все что нужно собрано👍👍👍
Здравствуйте! Спасибо вам большое! Тестирую) Подскажите, у меня блокировка IP... как с этим быть?) надо было медленно парсить? и снимут ли ее? эту блокировку...
Добрый день! Авито бывает блокирует, как правило через минуту всё снова будет работать. Чтобы было меньше блокировок, указывайте ограничение по цене и ключевые слова, тогда скрипт будет открывать меньше объявлений и соответственно будет меньше палиться. Вообщем смысл такой: меньше действий за единицу времени - меньше шанс быть заблокированным
@@the_parse_hub Спасибо Вам большое за оперативный ответ! Да, вновь заработал) Осталось лишь придумать, куда применить это чудо) Чтоб себе в быту упростить жизнь и улучшить жизнь)))
Здравствуйте, с чем может быть связана ошибка, при которой я запускаю программу, начинается поиск, однако обьявления не ищутся, при попытке остановки, программа зависает, и приходится закрывать через терминал
selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 114@@the_parse_hub
Спасибо. Чтобы извлечь количество просмотров, нужно открыть саму карточку, просто в списке объявлений эти данные не передаются. У меня в проекте это не реализовано на данный момент
Для работы данного парсера требуются сторонние библиотеки, поэтому их нужно установить. Вообще весь путь установки выглядит так: - установить python - по желанию можно установить какую-то среду разработки, например PyCharm, тогда можно будет что-то исправить в коде без особых проблем - скопировать весь код с гитхаба себе - установить зависимости командой: pip install -r requirements.txt - запустить AvitoParser.py
Не пойму что происходит с селениум и ли хром драйвер . День нормально подключается на другой день грузит минут 5 ,причем после появления окна хром данные отдает довольно быстро.
@@the_parse_hub нашел решение Проблема проявляла себя в режиме --headless без него было долго но работало . Полностью решение этой проблемы на гит хаб ( Message: unknown error: cannot connect to chrome at 127 ... дальше не буду писать ато заблокируют) там целых два варианта решения этого вопроса.
@@the_parse_hub , я имею ввиду, добавить скрипт на хостинг, чтоб он запускался автоматически с сайта , и приходили уведомления на телеграмм, о появлении новых обьявлений, допустим когда не дома с пк
Привет, а если мне нужно искать не бесплатные товары в объявлениях А допустим в диапозоне 300 - 700 рублей? Как это с 0 изменить на диапозон, который мне нужен? И можно ли запускать в 3-4 окна с разными настройками и разными URL?
Привет. Этот проект просто начинался с поиска халявы, а потом развился в нечто большее, поэтому диапазон по цене (и не только) там есть. Насчет нескольких окон - нет, нельзя
@@the_parse_hub я скачал питон, интерпретатор пайчарм, нашёл где меняется диапозон цены, но когда я пытаюсь установить зависимости выдаёт ошибку и не получается запустить скрипт, я полный ноль в программировании/коде, можем мы с вами созвониться в Дискорде в ваше свободное время? И вы мне объясните как запустить ваш скрипт, а я задоначу вам допустим небольшую сумму за помощь Меня в Гугле не забанили, но что-то, когда я гуглю "как скопировать проект и установить зависимости" выдаёт что-то не по теме как будто
Добрый вечер, можете сделать такой скрипт? Чтобы уведомления о новых объявлениях приходило с минимальной задержкой, буду очень благодарен и конечно же не бесплатно.
Спасибо вам большое! Если вдруг будете совершенствовать, то идеально было бы выводит в табл Заголовок объявл/ /Цена /Просм. Всего /Просм. Сегодня /Время поднятия /id продавца
Вообще не вопрос. В файле parser_cls.py, строка примерно 99, нужно заменить if any([item.lower() in description.lower() for item in self.keys_word]) and int( price) == 0: на это if any([item.lower() in description.lower() for item in self.keys_word]):
Большое спасибо за видео! Выдает ошибку что версия браузера Хром не та. Сейчас последняя 119 стоит. А в скрипте 114. Установил все что указано в requirements.txt. Поменяю версию хромдрайвера, думаю проблема уйдет. Я так понял, что устанавливается undetected драйвер. Но как поменять его версию?
@@the_parse_hub Спасибо, помогло. Но теперь скрипт работает больше часа и нашел 5 объявлений и дальше ищет. Хотя в GUI указал 1 кол-во страниц. Я так понял пока его не остановишь, будет искать?
Это значит, что у Вас не установлен loguru(библиотека для логирования). Скорее всего Вы забыли установить нужные зависимости или есть какая-то проблема с ними
посмотрел 3 видео - у тебя явно какие-то проблемы с записью. видео постоянно запинается и норовит качество сбросить до 360p, при этом другие видео играются нормально.
Да, я при публикации ролика ставлю галочку в пункте "сделать качество хреновым") А на самом деле, это уже вопрос к RUclips. Как вариант, можете вручную выбрать качество в настройках
@@the_parse_hub конечно же я выбираю. но оно сбрасывается обратно. в том-то и дело. может при записи битрейт слишком высокий, может формат не тот, но реально играется хреново
Похоже, авито снова подкрутил гайки. Вчера в первый проход всё работало, я остановил, начал заново и он заглох. Сейчас открывает страницу поиска, затем вкладку, но пустую about:blank. В консоли на странице поиска авито блокает куки, пишет, что "неудовлетворительная версия 18.2.0 от avito-desktop-сайта общего одноэлементного модуля react (требуется ^16.14.0)". Ну и некоторые другие ошибки. А на пустой странице пишет: Not allowed to navigate top frame to data URL: data:, ....
у меня скрипт обрывается на ошибке elenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":"[class *= 'item-description']"}. Думаю решить через 'try'? Хотя в инструкции по селениуму написано о том, что вполне вероятно не вся страница загрузилась, потому и не находит элемент. Надо думать про задержки WebDriverWait
@@the_parse_hub selenium 4.10, undetected_chromedriver - 3.5, Сhrome - 114. не понял вопроса и ответил фигню). Я по предыдущему переписал код а не с гитхаба скачал. Но поковыряю гит. В любом случае спасибо за контент). У Вас проблема решена в методе __parse_page через if ... else description = ' '
Для работы данного парсера требуются сторонние библиотеки, поэтому их нужно установить. Вообще весь путь установки выглядит так: - установить python - по желанию можно установить какую-то среду разработки, например PyCharm, тогда можно будет что-то исправить в коде без особых проблем - скопировать весь код с гитхаба себе - установить зависимости командой: pip install -r requirements.txt - запустить AvitoParser.py
Ссылка на код проекта: github.com/Duff89/parser_avito
Здравствуйте. А можно как-то сделать чтобы в телеграм приходили только новые объявления? Например я запустил парсинг в 10:00 и чтобы объявления опубликованные до этого времени не приходили.
Прям из коробки такого нет, но Вы можете самостоятельно дописать данный функционал, код открыт
@@the_parse_hub спасибо за ответ! Если б я ещё знал как это сделать, запустить получилось - уже хорошо)) поищу попробую)
@@alekseym2957 нашел? если да то скинь пожалуйста))
еще сильно не юзал но штука класная.СПАСИБО!!!писал под авито на стелсе год назад,ибо не у кого не было через селениум,все парсы были предложены на реквесте.В твоей проге все что нужно собрано👍👍👍
Здравствуйте, подскажите, пожалуйста, можно ли запускать на хостинге по кронтабу?
@@alexanderlevin1423 конечно можно, я не против
@@the_parse_hub имел ввиду - будет ли запускаться автономно? Сейчас запускал в PyCharm. Я еще новичек, протсите, если вопрос глупый)
@@the_parse_hub хотел спросить, будет ли скрипт работать? Сейчас запускаю через PyCharm на windows
@@alexanderlevin1423 да. Работать будет
В последней версии parser_cls пропали методы __set_up и __get_chrome_version, где теперь происходит определение и настройка driver (Chrome)?
В новых версиях используется seleniumbase, именно он определяет текущую версию, вот видео про него: ruclips.net/video/evI80cwSzlI/видео.html
@@the_parse_hub большое спасибо за ответ
Здравствуйте опять пишет про кнопку Далее
Планируется ли добавление функции новых объявлений в парсер?
Не очень понятно, что за функция новых объявлений, парсер же итак помнит все просмотренные объявления и сообщает только о новых
@@the_parse_hub человек в комментариях писал, когда запускаешь парсер в 10:00, и он кидает объявления после этого времени
@@the_parse_hub как писал человек ниже, когда в 10 00 запускаешь парсер, и он кидает объявления с 10 00 и позже
такого в планах нет
Спасибо за видео, очень интересно, а главное достаточно подробно! Интересно можно ли как то заливать результаты в бд?
можно сохранять в бд, для этого нужно переписать функцию сохранения
Планируется добавлять поиск по нескольким ссылкам? Хотя бы три. Технически сложно или это повысит вероятность бана кратно?
Планируются такие изменения
Есть возможность парсинга нескольких ссылок?
Нет. Такой возможности пока нет
@@the_parse_hub планируется? Получится ли к слову запускать это на сервере? Я так понимаю только на устройствах с GUI может работать программа
без gui может работать, просто запускаете parser_cls.py, а в settings.ini сразу впишите настройки.
Несколько ссылок пока не планирую добавлять
@@the_parse_hub да, уже сделал так. Но по-моему chromedriver не будет на обычном vps сервере работать, да?
А чего SQLite было сильно сложно подключить да?
Да хоть постгрес, зачем это здесь?
Здравствуйте! Спасибо вам большое! Тестирую) Подскажите, у меня блокировка IP... как с этим быть?) надо было медленно парсить? и снимут ли ее? эту блокировку...
Добрый день!
Авито бывает блокирует, как правило через минуту всё снова будет работать. Чтобы было меньше блокировок, указывайте ограничение по цене и ключевые слова, тогда скрипт будет открывать меньше объявлений и соответственно будет меньше палиться.
Вообщем смысл такой: меньше действий за единицу времени - меньше шанс быть заблокированным
@@the_parse_hub Спасибо Вам большое за оперативный ответ! Да, вновь заработал) Осталось лишь придумать, куда применить это чудо) Чтоб себе в быту упростить жизнь и улучшить жизнь)))
Здравствуйте, с чем может быть связана ошибка, при которой я запускаю программу, начинается поиск, однако обьявления не ищутся, при попытке остановки, программа зависает, и приходится закрывать через терминал
Сложно однозначно сказать, попробуйте запустить в режиме отладки (нужно снизу слева поставить галочку)
@@the_parse_hub окно браузера открывается и закрывается
Получается парсер будет работать только с версией хрома 114?
Нет, он работает со всеми версиями. Последнюю актуальную информацию читайте на github, ссылка в описании
selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 114@@the_parse_hub
СУпер! Спасибо огромное. Как можно извлекать данные о количестве просмотров определенной карточки?
Спасибо. Чтобы извлечь количество просмотров, нужно открыть саму карточку, просто в списке объявлений эти данные не передаются. У меня в проекте это не реализовано на данный момент
В новой версии это уже реализовано
@@the_parse_hub Здорово! А у вас есть какой-нибудь курс по парсингу. Пока немного тяжеловато разбираться в коде. А очень хочется. )))
@@ЕвгенийПодлеснюк У меня пока нет такого курса
Что значит установить зависимости? Как это сделать?
Для работы данного парсера требуются сторонние библиотеки, поэтому их нужно установить.
Вообще весь путь установки выглядит так:
- установить python
- по желанию можно установить какую-то среду разработки, например PyCharm, тогда можно будет что-то исправить в коде без особых проблем
- скопировать весь код с гитхаба себе
- установить зависимости командой: pip install -r requirements.txt
- запустить AvitoParser.py
@@the_parse_hub спасибо, уже нашел. благодарю
Не пойму что происходит с селениум и ли хром драйвер . День нормально подключается на другой день грузит минут 5 ,причем после появления окна хром данные отдает довольно быстро.
Сложно однозначно сказать, что именно виновато в таком поведении
@@the_parse_hub Спасибо за ответ. Может я что-то накопаю и сюда же напишу .
@@the_parse_hub нашел решение
Проблема проявляла себя в режиме --headless без него было долго но работало . Полностью решение этой проблемы на гит хаб ( Message: unknown error: cannot connect to chrome at 127 ... дальше не буду писать ато заблокируют) там целых два варианта решения этого вопроса.
такой вопрос, а как на сайте это реализовать , чтоб автоматически парсилось?
Не очень понятно, что конкретно имеется ввиду?
@@the_parse_hub , я имею ввиду, добавить скрипт на хостинг, чтоб он запускался автоматически с сайта , и приходили уведомления на телеграмм, о появлении новых обьявлений, допустим когда не дома с пк
Привет, а если мне нужно искать не бесплатные товары в объявлениях
А допустим в диапозоне 300 - 700 рублей? Как это с 0 изменить на диапозон, который мне нужен?
И можно ли запускать в 3-4 окна с разными настройками и разными URL?
Привет. Этот проект просто начинался с поиска халявы, а потом развился в нечто большее, поэтому диапазон по цене (и не только) там есть.
Насчет нескольких окон - нет, нельзя
@@the_parse_hub я скачал питон, интерпретатор пайчарм, нашёл где меняется диапозон цены, но когда я пытаюсь установить зависимости выдаёт ошибку и не получается запустить скрипт, я полный ноль в программировании/коде, можем мы с вами созвониться в Дискорде в ваше свободное время? И вы мне объясните как запустить ваш скрипт, а я задоначу вам допустим небольшую сумму за помощь
Меня в Гугле не забанили, но что-то, когда я гуглю "как скопировать проект и установить зависимости" выдаёт что-то не по теме как будто
напишите мне sergeichopolovich1989@gmail.com
No Bad, NO Bad!
Здравствуйте . Что делать если нет графического интерфейса ?
такой вариант предусмотрен. Нужно запустить parser_cls, настройки заранее задать в settings, в документации этот момент написан
Добрый вечер, можете сделать такой скрипт? Чтобы уведомления о новых объявлениях приходило с минимальной задержкой, буду очень благодарен и конечно же не бесплатно.
Добрый день. Пишите sergeichopolovich1989@gmail.com
@@the_parse_hubв телеграм написать можно ?
Я вам написал
Я же Вам ответил по почте
Спасибо вам большое! Если вдруг будете совершенствовать, то идеально было бы выводит в табл
Заголовок объявл/ /Цена /Просм. Всего /Просм. Сегодня /Время поднятия /id продавца
Спасибо. Да, в следующей версии планируется что-то подобное
Вышла версия 1.05, посмотрите: github.com/Duff89/parser_avito
Добрый день. При первом же запуске сразу банит. Как решить проблему?
Скрипт выдает : "Ошибка: Перезапуск из-за блокировки IP" . При этом если зайти на авито через браузер, то никакого блока нет.
Попробуйте обновить библиотеки, а конкретнее seleniumbase и undetected_chromedriver
Действительно работает, спасибо Вам!! Но у меня есть вопрос, как сделать парсинг не только бесплатных объявлений?
Вообще не вопрос. В файле parser_cls.py, строка примерно 99, нужно заменить if any([item.lower() in description.lower() for item in self.keys_word]) and int(
price) == 0: на это if any([item.lower() in description.lower() for item in self.keys_word]):
@@the_parse_hub Спасибо, вы исполнили мою давнюю мечту!
@@lalfit4866 рад был помочь
Вышла новая версия, где уже можно искать не только бесплатные объявления: github.com/Duff89/parser_avito
Большое спасибо за видео! Выдает ошибку что версия браузера Хром не та. Сейчас последняя 119 стоит. А в скрипте 114. Установил все что указано в requirements.txt. Поменяю версию хромдрайвера, думаю проблема уйдет. Я так понял, что устанавливается undetected драйвер. Но как поменять его версию?
Вручную обновите seleniumbase до последней версии, должно помочь
@@the_parse_hub Спасибо, помогло. Но теперь скрипт работает больше часа и нашел 5 объявлений и дальше ищет. Хотя в GUI указал 1 кол-во страниц. Я так понял пока его не остановишь, будет искать?
@@alexxlub верно, он будет искать бесконечно новые объявления, а "1 страница" - это глубина поиска
а что значит traceback (most recent call last ):
File "" , line 13 , in
ModuleNotFoundError : No module named ' loguru' ?
Это значит, что у Вас не установлен loguru(библиотека для логирования). Скорее всего Вы забыли установить нужные зависимости или есть какая-то проблема с ними
@@the_parse_hub спасибо огромное
банит по IP (((
No such file or directory: 'google-chrome'
Установите chrome
посмотрел 3 видео - у тебя явно какие-то проблемы с записью. видео постоянно запинается и норовит качество сбросить до 360p, при этом другие видео играются нормально.
Да, я при публикации ролика ставлю галочку в пункте "сделать качество хреновым")
А на самом деле, это уже вопрос к RUclips. Как вариант, можете вручную выбрать качество в настройках
@@the_parse_hub конечно же я выбираю. но оно сбрасывается обратно. в том-то и дело. может при записи битрейт слишком высокий, может формат не тот, но реально играется хреново
@@Hamsters_Rage Даже не знаю из-за чего еще может быть такое
хотелось бы с 0 код, с обьяснениями :)
Здравствуйте, что делать, если парсер не находит кнопку Next и выдается ошибка?
Напишите url, который Вы внесли в скрипт и что за ошибка?
@@bossashow9740 Да, действительно, это баг. По данному url нет кнопки "Дальше" и скрипт падает. Исправлю на днях и выпущу новую версию
@@the_parse_hub Ура, буду ждать. Если не сложно, можете пожалуйста уведомить в комментариях на Youtubе.
@@bossashow9740 Да, напишу здесь
Вышла новая версия: github.com/Duff89/parser_avito
Похоже, авито снова подкрутил гайки. Вчера в первый проход всё работало, я остановил, начал заново и он заглох. Сейчас открывает страницу поиска, затем вкладку, но пустую about:blank. В консоли на странице поиска авито блокает куки, пишет, что "неудовлетворительная версия 18.2.0 от avito-desktop-сайта общего одноэлементного модуля react (требуется ^16.14.0)". Ну и некоторые другие ошибки. А на пустой странице пишет: Not allowed to navigate top frame to data URL: data:, ....
Да, есть проблемы. Нужно разбираться
кому не сложно, можете обьяснить как это все запустить? Скачал Python, а дальше вообще не понимаю
Разобрался? Питончик стал частью твоей жизни?
у меня скрипт обрывается на ошибке elenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":"[class *= 'item-description']"}. Думаю решить через 'try'? Хотя в инструкции по селениуму написано о том, что вполне вероятно не вся страница загрузилась, потому и не находит элемент. Надо думать про задержки WebDriverWait
У Вас точно самая последняя версия 1.06? Просто в прошлых версиях была такая проблема, в новой должно работать
@@the_parse_hub selenium 4.10, undetected_chromedriver - 3.5, Сhrome - 114. не понял вопроса и ответил фигню). Я по предыдущему переписал код а не с гитхаба скачал. Но поковыряю гит. В любом случае спасибо за контент). У Вас проблема решена в методе __parse_page через if ... else description = ' '
Что значит установить зависимости? Как это сделать?
Для работы данного парсера требуются сторонние библиотеки, поэтому их нужно установить.
Вообще весь путь установки выглядит так:
- установить python
- по желанию можно установить какую-то среду разработки, например PyCharm, тогда можно будет что-то исправить в коде без особых проблем
- скопировать весь код с гитхаба себе
- установить зависимости командой: pip install -r requirements.txt
- запустить AvitoParser.py