Отличное видео! По подаче, хотелось бы, чтобы экранный приоритет сместился на код, может стоит окно с Вашим присутствием установить где-нибудь в углу экрана? ну и, для удобства, исходники по урокам было бы неплохо где-то выкладывать. Спасибо за проделанную работу!
Спасибо за высокую оценку! Ваши пожелания учту, это очень важно. Для каких-то инструкций я всегда дам ссылку на исходник. В этом же видео важнее смысл решения задачи, а не код. Тем более код сырой и без рефакторинга.
@@usota Ваше видео мне очень помогло! Изучаю Пайтон и уже написал несколько простеньких парсеров с Телеграмом. Возникла задача парсить несколько поисковых выдачей на ebay. с записью в БД и проверкой уникальности и отправку в Телеграмм. Но т.к еще не сильно понимаю как код дробить на несколько составных частей (функций) приходилось писать "код-в-ряд")) и естественно, когда строк больше 150, то очень легко ошибиться во вложенных циклах. Благодаря этому видео оптимизировал свой код, разбил по функциям и все прекрасно заработало! Спасибо большое!
когда попытался сделать чтобы отправлялись все желтые карточки вместе с первым, вторым таймом. Пытался все из функции search_db пустить цикл дальше, но он там прерывается из за id. Надо использовать search_db для проверки наличия id игры в БД и забирать либо Правду, либо Ложь и дальше от этого либо прерывать цикл, либо дать скрипту отправить данные с этой игры. Трудно быть новичком.
так же можно было и игру сделать ключем, а значения все 3 жк. Но а так, очень крутое видео, в закладки однозначно. Есть о чем подумать. Еще бы научиться делать так, чтобы бк не забанила)))))
Евгений, сделайте пожалуйста подробное видео про WebScraper на примере какого либо интернет магазина, то есть как парсить товары массово. Будет очень полезным, т .к. такой информации толком ни где нет. Заранее спасибо!
Вот и беда подкралась откуда не ждали. Три дня копал статистику с сайта и кучу полезностей , как вдруг скрипт перестал забирать json с сайта... {'Error': '', 'ErrorCode': 0, 'Guid': '', 'Id': 0, 'Success': True, 'Value': []}
Евгений, спасибо за видео. Очень понятно, очень доходчиво. Сделал все как в вашем видео работает. Могли бы подсказать как находить JSON ответы по другим видам спорта: теннис, волейбол , баскетбол и др.
params = ( ('sports', '3'), ('count', '150'), ('mode', '4'), ('country', '82'), ('partner', '78'), ('getEmpty', 'true'), ('noFilterBlockEvent', 'true'), ) Вот для баскетбола. Значение sports меняй и будет другой вид спорта
Могу ошибаться, но скорее всего время представлено в формате timestamp, например 1667746800 будет как 2022-11-06 18:00:00. Если вопрос не в этом, а в каком ключе лежит время, пошедшее с начала матча, то так не вспомню. Но оно там есть точно )
Да, в случае изменения коэффициента бот ничего не пришлёт. Чтобы бот присылал новый коэффициент, в случае го изменения, нужно менять логику скрипта. Например в базу данных записывать не только матч, но и коэффициент. И при каждом следующем запросе проверять, не изменился ли коэффициент.
У меня цена за парсер БК в 2022 году - 30 тыс.руб. Как правило на написание парсера уходит 2-3 дня, а вот на тестирование, доработку и сопровождение - минимум месяц.
@@usota я не по поводу заказа. сам хочу заняться парсингом, сейчас смотрю ваши вводные уроки по веб скрепперу, и вникаю в html/css. увидимся в вашем телеграмме, всех благ)
@@usota вопрос не для данной конкретной задачи, а для других случаев. *Например, такой* 1) Поступил звонок в офис, мне в телеграмм система отправила сообщение: _30-12-2021 __13:45:22__ Поступил звонок с номера 777-77-77._ 2) На звонок ответил другой сотрудник, требуется изменить ранее отправленное мне сообщение: _30-12-2021 __13:45:22__ Поступил звонок с номера 777-77-77._ _13:45:30__ Ответил аб.1501._
Это то понятно что в цикле, но сервер через get запрос отправляет 50 игр, но их куда больше, если менять параметр count это не помогает, сервер игнорирует это, все остальные игры(я так понял) сайт получает другим запросом, который не со страницы сайта мы не можем отправить. Если есть возможность по очереди прогружать игры, то как это сделать
Добрый день. Подскажите каким образом следить за информацией чаще чем 1 раз в минуту? К примеру котировки валют. Так как не правильным будет заходить на сайт, получать информацию, выходить и затем опять входить. Я думаю, что нужно войти на сайт и просто обновлять данные, но как это сделать?
Добрый день. Вы можете создать сессию и в её рамках работать с сайтом. Это есть в библиотеке requests. Частоту запросов вы задаёте сами, но на ответ нужно дать хотя бы 2 сек. Вобщем делать запросы каждые 3 сек. максимум.
Зависит от настроек сервера. Например WB не обращает внимания на частые запросы, а более щепетильные сайты банят уже на второй запрос. Поэтому стоит использовать прокси. А вобще пересмотреть задачу - нужны ли такие частые запросы… не фигнёй ли мы занимаемся?)
@@usota Благодарю тезка. За прошедший год поднял свои скилы, так что уже сам API пишу. И понимают. В любом случае круто, что ответил. Дай Бог процветания
Здравствуйте, можно ли создать телеграмм бота по прогрузам букмекерских контор? Если да, то сколько будет стоит ежемесячное обслуживание? Я не программист, по этому надеюсь Вы отнесётесь с понимаем если мой вопрос очень глупый))
Здравствуйте, на 2022 год стоимость ежемесячного парсинга сайта стоит от 3000 до 10000₽. Но всё зависит от сайта БК, объема данных и т.д. Все индивидуально. И я, к сожалению, не знаю что такое прогрузы, поэтому может это не получится. Но ценовой диапазон примерно такой.
@@usota хотел задать следующий вопрос: при стандартном использовании функции json.dump() у меня неправильно обрабатывается кириллица. Как это можно решить?
Добрый день, спасибо за видео! На стадии получения json ответа с сайта, pycharm выдаёт ошибку JSONDecodeError. Не подскажите что не так? Сделал всё по аналогии как у вас
В этом видео Парсинг недвижимости Авито, Циан, Яндекс. Часть IV (Запуск на сервере) ruclips.net/video/hCWoTYjTC-E/видео.html есть пример, как запускать скрипт на сервере по расписанию
Евгений подскажите пожалуйста, как выбрать нужный запрос, если сайт отдает много данных, когда мы запрашиваем через network. Есть ли какой-то лайфхак? (Надеюсь вы меня поняли. Заранее извиняюсь, если вопрос глупый, я ещё только учусь)
Есть два способа найти нужный запрос быстрее: 1) в консоли разработчика в строке фильтра вместо All выбрать Fetch/XHR, чтобы оставить только запросы; 2) тамже в консоли сделать экспорт HAR и парсить уже его. Понимаю, что звучит ещё не понятнее, но пару часов гугления и у вас новый крутой инструмент, с помощью которого открываются новые возможности парсинга)
Да, как вариант, можно отсортировать по размеру запроса и проверять сначала наибольшие. Но насколько выше вероятность быстро найти нужный, пока не знаю.
В конце услышал, что настраиваете на сервере запуск скрипта по расписанию. А если, к примеру, нужно парсить в реальном времени, думаю, что лучше это через циклы делать в python. ИМХО.
Приветствую, код не зацикливаю. Код запускается по расписанию, которое задаю на сервере. С помощью cron задаю гибкое расписание, например запускать парсер ежедневно с 8 до 22 каждую минуту.
эх в конце видео что то пошло у меня не так, все проверил уже , но ничего не помогает. выдает ошибку - ValueError: invalid literal for int() with base 10: '' там где мы проверяли сообщения на повторную отправку. как я понял, что то происходит с интерпритацией в строку нашего гейм айди. а что не так уже бьюсь второй час и флоат попробовал уже def search_db(game_id, yellow_card): with open('db.txt', 'r') as file: for item in file.readlines(): line = item.strip() if int(line) != game_id: get_message(yellow_card) with open('db.txt', 'a') as file: file.write(f' {game_id}')
Евгений, спасибо за видео. Очень понятно, очень доходчиво. Сделал все как в вашем видео работает. Могли бы подсказать как находить JSON ответы по другим видам спорта: теннис, волейбол , баскетбол и др.
Спасибо за обратную связь) По другим видам спорта ищем по аналогии. Кстати, в видео про парсинг Озон, я рассказываю, как искать нужный JSON, если их очень много. Если коротко - в консоли разработчика скачиваем har-файл и в нём ищем нужные данные, как в обычном json.
![KAYTRANADA - Witchy (feat. Childish Gambino) [Official Video]](http://i.ytimg.com/vi/jGK3YVmGZ3Y/mqdefault.jpg)
То что ты показал это в первую очередь опыт работы, а это бесценно, спасибо тебе добрый человек, что делишься с нами своим опытом работы )
Спасибо 🙏
Евгений, спасибо вам большое, я на ютубе довольно часто смотрю видео по пайтону , ваше видео я считаю самым полезным из всех, которых я посмотрел!
Спасибо за высокую оценку!
Отличное видео! По подаче, хотелось бы, чтобы экранный приоритет сместился на код, может стоит окно с Вашим присутствием установить где-нибудь в углу экрана? ну и, для удобства, исходники по урокам было бы неплохо где-то выкладывать. Спасибо за проделанную работу!
Спасибо за высокую оценку! Ваши пожелания учту, это очень важно. Для каких-то инструкций я всегда дам ссылку на исходник. В этом же видео важнее смысл решения задачи, а не код. Тем более код сырой и без рефакторинга.
@@usota Ваше видео мне очень помогло! Изучаю Пайтон и уже написал несколько простеньких парсеров с Телеграмом. Возникла задача парсить несколько поисковых выдачей на ebay. с записью в БД и проверкой уникальности и отправку в Телеграмм. Но т.к еще не сильно понимаю как код дробить на несколько составных частей (функций) приходилось писать "код-в-ряд")) и естественно, когда строк больше 150, то очень легко ошибиться во вложенных циклах. Благодаря этому видео оптимизировал свой код, разбил по функциям и все прекрасно заработало! Спасибо большое!
@@usota Евгений, покажу код парсинга с обходом клаудфларе
Интересное видео . Не смотря на то , что давно занимаюсь подобным , всегда приятно посмотреть , а как пишут другие и научиться чему-то новому 👍
Лайкище однозначно! Интересовало примерно тоже самое, только на угловые)
С нетерпением жду новые видео, желательно по парсингу или по базам данных
Спасибо, скоро будет видео по практике парсинга поставщика с авторизацией в базу данных.
Спасибо от души! Отличное видео! как раз то что я искал!
Евгений
Прекрасное дело делаете, ясно, чётко. С отличным звуком и дикцией.
Спасибо большое
Спасибо, приятно )
На самом деле это первый парсер в Ютубе если не ошибаюсь 1xbet который работает на запросах)
Ничего не понял но мне понравилось.
когда попытался сделать чтобы отправлялись все желтые карточки вместе с первым, вторым таймом. Пытался все из функции search_db пустить цикл дальше, но он там прерывается из за id. Надо использовать search_db для проверки наличия id игры в БД и забирать либо Правду, либо Ложь и дальше от этого либо прерывать цикл, либо дать скрипту отправить данные с этой игры. Трудно быть новичком.
Но как узнать какой именно запрос искать!? на другом бк у меня не получается найти этот самый гет!?
так же можно было и игру сделать ключем, а значения все 3 жк. Но а так, очень крутое видео, в закладки однозначно. Есть о чем подумать. Еще бы научиться делать так, чтобы бк не забанила)))))
Евгений, сделайте пожалуйста подробное видео про WebScraper на примере какого либо интернет магазина, то есть как парсить товары массово. Будет очень полезным, т .к. такой информации толком ни где нет. Заранее спасибо!
Спасибо за предложение, давайте сделаем - напишите, на примере какого интернет-магазина показать работу парсера и я запишу по нему видео.
@@usota Мой ответ удалили похоже) Евгений, успели название сайта скопировать?
Нет, напишите на почту lukin@usota.ru
@@usota Отправил. Буду ждать видео)
Спасибо!
Вот и беда подкралась откуда не ждали. Три дня копал статистику с сайта и кучу полезностей , как вдруг скрипт перестал забирать json с сайта...
{'Error': '', 'ErrorCode': 0, 'Guid': '', 'Id': 0, 'Success': True, 'Value': []}
Возможно ваш IP временно заблокировали, попробуйте использовать прокси, чтобы подменить IP-адрес
ничего не понимаю, но очень интересно
молодец, прикольно), только токен то зачем было светить от бота?)
Спасибо, тренировочного бота не жалко)
Евгений, спасибо за видео. Очень понятно, очень доходчиво. Сделал все как в вашем видео работает. Могли бы подсказать как находить JSON ответы по другим видам спорта: теннис, волейбол , баскетбол и др.
Тоже интересна данная тема
params = (
('sports', '3'),
('count', '150'),
('mode', '4'),
('country', '82'),
('partner', '78'),
('getEmpty', 'true'),
('noFilterBlockEvent', 'true'),
)
Вот для баскетбола. Значение sports меняй и будет другой вид спорта
Роман а для чего он тебе ? В каких целях используешь ? Польза от него ?
3:20 а не могли бы вы пожалуйста сказать что за расшриение?
"JSON Formatter" уже нашёл, спасибо
Отличное видео! 👍
Как раз ищу исполнителя на подобный скрипт. Примерная цена?
Спасибо за оценку! Ценник начинается от 10 тыс. А вообще цена зависит от задачи, пишите, обсудим. Контакты в описании.
@@usota 👌👌👌
да и в if же можно сразу передать 2 сравнения с and. И сразу сформировать в одном if правильный словарь
Да, возможно так лучше.
Интересно конечно, но я видимо олух. Дальше if в строке не продвинулся, вообще не пойму как эти знаки типа равно и нижнего подчёркивания писать(((
Интересное видео, спасибо! Подскажите а можно ли сделать автоставку через питон? Или это все дело отслеживается?
Спасибо. Честно, о ставках ничего не знаю 🤷♀️ Но думаю, отслеживается.
отслеживается. но есть люди которые делают такие программы, и работают неплохо. но просят за них хорошую сумму
спасибо за видео, начал парсить в лайве, нашел все коэффициенты и статистику, но не могу найти текущую минуту матча
Могу ошибаться, но скорее всего время представлено в формате timestamp, например 1667746800 будет как 2022-11-06 18:00:00. Если вопрос не в этом, а в каком ключе лежит время, пошедшее с начала матча, то так не вспомню. Но оно там есть точно )
@@usota спасибо. так и есть.
Супер видео,Евгений👍👍👍👍👍. Хотел спросить,где можно найти,скачать архив коэф?
Спасибо. По поводу архивов не знаю, возможно на флешскоре
@@usota очень хочу найти архив коэф. БК
скажите пожалуйста что за расширение для построения json деревьев
JSON Formatter
Подскажи момент, в случае изменения коэф, бот же не пришлет новое значение? тк в базе данный матч уже есть
Да, в случае изменения коэффициента бот ничего не пришлёт. Чтобы бот присылал новый коэффициент, в случае го изменения, нужно менять логику скрипта. Например в базу данных записывать не только матч, но и коэффициент. И при каждом следующем запросе проверять, не изменился ли коэффициент.
25:59 нельзя ли в этом месте вместо "IF" применить конструкцию match/case?
Да, я думаю можно, спасибо попробуем)
35:57 я не спец. в Python, но полагаю, что так вычислять время не дальновидно. А если у заказчика другой часовой пояс?
В этом коде ещё очень много недальновидных вещей)
Когда печатаю result = response.json() то выдает ошибку и выделяет json
На 9:44 минуте видео
Как сделать что бы парсился баланс аккаунта? И обновлялся в режиме реального времени
Доброго времени Евгений! За сколько выполнили этот заказ, если не секрет, для понимания оплаты труда на такую работу)
У меня цена за парсер БК в 2022 году - 30 тыс.руб. Как правило на написание парсера уходит 2-3 дня, а вот на тестирование, доработку и сопровождение - минимум месяц.
@@usota ваш профиль на профи ру не отображается. сколько берете за доработку данного проекта
@@ГРАФЕР-т1и спасибо, починил. Давайте свяжемся в телеграмм или ватсап, я сейчас не могу взять заказ, поэтому и суммы не называю, но может чем помогу.
@@usota я не по поводу заказа. сам хочу заняться парсингом, сейчас смотрю ваши вводные уроки по веб скрепперу, и вникаю в html/css. увидимся в вашем телеграмме, всех благ)
С удовольствием помогу коллеге, до встречи 🤝
Как изменить ранее отправленное сообщение в Телеграм, например, если изменились "ставки'?
Отправить новое?
@@usota вопрос не для данной конкретной задачи, а для других случаев.
*Например, такой*
1) Поступил звонок в офис, мне в телеграмм система отправила сообщение:
_30-12-2021 __13:45:22__ Поступил звонок с номера 777-77-77._
2) На звонок ответил другой сотрудник, требуется изменить ранее отправленное мне сообщение:
_30-12-2021 __13:45:22__ Поступил звонок с номера 777-77-77._
_13:45:30__ Ответил аб.1501._
Хороший вопрос. Я бы смотрел в сторону метода editMessageText. Поделитесь решением, если получится реализовать, буду благодарен 😊
А как парсить все игры без ограничения в 50 штук?
В цикле выбираем по 50 штук, пока не соберем все
Это то понятно что в цикле, но сервер через get запрос отправляет 50 игр, но их куда больше, если менять параметр count это не помогает, сервер игнорирует это, все остальные игры(я так понял) сайт получает другим запросом, который не со страницы сайта мы не можем отправить. Если есть возможность по очереди прогружать игры, то как это сделать
Добрый день. Подскажите каким образом следить за информацией чаще чем 1 раз в минуту?
К примеру котировки валют.
Так как не правильным будет заходить на сайт, получать информацию, выходить и затем опять входить.
Я думаю, что нужно войти на сайт и просто обновлять данные, но как это сделать?
Добрый день. Вы можете создать сессию и в её рамках работать с сайтом. Это есть в библиотеке requests. Частоту запросов вы задаёте сами, но на ответ нужно дать хотя бы 2 сек. Вобщем делать запросы каждые 3 сек. максимум.
@@usotaА при таком частом обращении, сервер не забанит наш IP?
Зависит от настроек сервера. Например WB не обращает внимания на частые запросы, а более щепетильные сайты банят уже на второй запрос. Поэтому стоит использовать прокси. А вобще пересмотреть задачу - нужны ли такие частые запросы… не фигнёй ли мы занимаемся?)
@@usota Благодарю тезка. За прошедший год поднял свои скилы, так что уже сам API пишу. И понимают. В любом случае круто, что ответил. Дай Бог процветания
Крутые результаты 💪🤝
Здравствуйте, можно ли создать телеграмм бота по прогрузам букмекерских контор? Если да, то сколько будет стоит ежемесячное обслуживание? Я не программист, по этому надеюсь Вы отнесётесь с понимаем если мой вопрос очень глупый))
Здравствуйте, на 2022 год стоимость ежемесячного парсинга сайта стоит от 3000 до 10000₽. Но всё зависит от сайта БК, объема данных и т.д. Все индивидуально. И я, к сожалению, не знаю что такое прогрузы, поэтому может это не получится. Но ценовой диапазон примерно такой.
Сайт для каждого аккаунта отдаёт свои данные и коэффициенты (порезанный акканут, например)
А мы же парсим без авторизации
@@usota так я о том же, что у заказчика будут другие коэффициенты и, возможно, замки на то, что без авторизации открыто
Согласен, это тоже нужно учитывать при разработке проекта
в словаре надо было ключем сделать значение тотала, а value уже кэфы, потом же проще было бы парсить все это и передавать
Надо было, спасибо.
"Перед тем как начнём поставьте лайк или дизлайк" - где логика?
Вы серьезно?
@@usota Я материал оцениваю только ПОСЛЕ просмотра. Не так надо?
Почему бы не использовать json в роли БД?
Вы правы, можно и JSON. Для хранения одного поля это не принципиально.
@@usota хотел задать следующий вопрос: при стандартном использовании функции json.dump() у меня неправильно обрабатывается кириллица. Как это можно решить?
Используйте ensure_ascii=False
Добрый день, спасибо за видео!
На стадии получения json ответа с сайта, pycharm выдаёт ошибку JSONDecodeError. Не подскажите что не так? Сделал всё по аналогии как у вас
Посмотрите, что лежит в response.text, возможно проблема в результате, который возвращает запрос.
Евгений, здравствуйте.Как загрузить бота на хостинг чтобы тот отправлял сигнал каждые 5 минут?
В этом видео Парсинг недвижимости Авито, Циан, Яндекс. Часть IV (Запуск на сервере)
ruclips.net/video/hCWoTYjTC-E/видео.html есть пример, как запускать скрипт на сервере по расписанию
Какое расширение для дерева используешь?
Первое попавшееся в магазине расширений ) JSON Formated - что-то такое
Них... не понял но очень инттересно)+
Евгений подскажите пожалуйста, как выбрать нужный запрос, если сайт отдает много данных, когда мы запрашиваем через network.
Есть ли какой-то лайфхак?
(Надеюсь вы меня поняли. Заранее извиняюсь, если вопрос глупый, я ещё только учусь)
Есть два способа найти нужный запрос быстрее:
1) в консоли разработчика в строке фильтра вместо All выбрать Fetch/XHR, чтобы оставить только запросы;
2) тамже в консоли сделать экспорт HAR и парсить уже его.
Понимаю, что звучит ещё не понятнее, но пару часов гугления и у вас новый крутой инструмент, с помощью которого открываются новые возможности парсинга)
@@usota спасибо! Лучший! Вроде понял, буду пробовать) жду новые видео от Вас👍
@@usota а стоит ли обращать внимание на размер запроса? Или не всегда нужный запрос весит больше?
Да, как вариант, можно отсортировать по размеру запроса и проверять сначала наибольшие. Но насколько выше вероятность быстро найти нужный, пока не знаю.
@@usota в любом случае спасибо)
Не реклама 😅 (шутка)
Приветствую! А как вы зациклили весь код, чтобы он каждую минуту отправлял данные в телеграм? Не увидел это в коде
В конце услышал, что настраиваете на сервере запуск скрипта по расписанию. А если, к примеру, нужно парсить в реальном времени, думаю, что лучше это через циклы делать в python. ИМХО.
Приветствую, код не зацикливаю. Код запускается по расписанию, которое задаю на сервере. С помощью cron задаю гибкое расписание, например запускать парсер ежедневно с 8 до 22 каждую минуту.
Зачем нам ваше лицо на четверть экрана?
Не на четверть, а на треть.
@@usota да, прошу прощения. Зачем нам ваше лицо на треть экрана?
эх в конце видео что то пошло у меня не так, все проверил уже , но ничего не помогает. выдает ошибку - ValueError: invalid literal for int() with base 10: '' там где мы проверяли сообщения на повторную отправку. как я понял, что то происходит с интерпритацией в строку нашего гейм айди. а что не так уже бьюсь второй час и флоат попробовал уже
def search_db(game_id, yellow_card):
with open('db.txt', 'r') as file:
for item in file.readlines():
line = item.strip()
if int(line) != game_id:
get_message(yellow_card)
with open('db.txt', 'a') as file:
file.write(f'
{game_id}')
помогите пожалуйста кто-нибудь понять в чем загвоздка. Спасибо большое
Это моя ошибка, использовать текстовый файл в качестве базы данных. Лучше использовать SQLite. Но если вам для обучения, то лучше использовать CSV.
@@usota спасибо большое!
Горе программист, пишущий в столбик. Садись Иванов, 2.
Евгений, спасибо за видео. Очень понятно, очень доходчиво. Сделал все как в вашем видео работает. Могли бы подсказать как находить JSON ответы по другим видам спорта: теннис, волейбол , баскетбол и др.
Спасибо за обратную связь)
По другим видам спорта ищем по аналогии. Кстати, в видео про парсинг Озон, я рассказываю, как искать нужный JSON, если их очень много. Если коротко - в консоли разработчика скачиваем har-файл и в нём ищем нужные данные, как в обычном json.
@@usota Спасибо про Ozon еще не смотрел. Буду изучать.