Уже традиция утро воскресенья начинать с практики) Это тебе большое спасибо, что делишься знаниями! И благодарность всем, кто поддерживает канал. Спасибо тебе за обучение, за код и за то, что тратишь своё время, успехов в развитии, лучший канал по программированию.
Интересный факт: в карточках с часами в контейнере с классом product-item есть атрибут data-analitics в нем можно найти много полезных данных в том числе и цену( в новой верссии сайта цену найти можно теперь только в этом атрибуте). Данные в атрибуте как бы в формате json но как бы являются строкой по этому их нужно немного преобразовать чтобы записать значения в словарь, а потом по необходимости сам словарь записать в json вот как у меня это получилось, интересно было вспомнить основы и потренироваться soup = BeautifulSoup(html, 'lxml') cart = soup.findAll('div', class_='product-item') for i in cart: data = dict(tuple(y.replace("'","").replace('{', "").replace("}", "") for y in x.split(":")) for x in i.get('data-analitics').split(',')) print(data)
Спасибо за урок! Лайк! Тем кто решит потренироваться на сайте. Цены там сейчас нет. Попробуйте вытащить ссылку на изображение самих часов. Там изображение загружается с подвохом. Selenium поможет решить эту проблему, но для саморазвития попробуйте в ручную его достать и загуглите про "data-src" и "data-srcset".
Довольно таки годно, спасибо за порцию новой инфы. Оооочень хотелось бы в следующий раз увидеть парсинг с обходом капчи. А лучше сделать выпуск с обходами сразу нескольких видов капч🙏
@@PythonToday что видимо не понравилось ютубу в моем комменте) прокси брал с us-proxy орг. Получился простой скриптик) Я кстати еще и парсер групп вк написал за это время. я конечно подозреваю, что на взгляд специалиста там гавно, но юзеров он парсит вполне себе успешно)
Спасибо большое за видео! Выходные как всегда практика! С URL ошибка выходит, но на основе другого сайта все получилось неплохо! Здоровье тебе автор! Всех благ!
Отличный урок, спасибо! У кого то можем быть проблема что файл записывается пустым. Добавьте кодинг with open("data/page_1.html","w",encoding= "utf-8") as file: file.write(r.text)
Большое спасибо за видео и за такие крутые обучения! Такой вопрос, а можете сделать также видео обучение парсингу Google Map? Например, когда нужно в неком городе найти на карте координаты всех заведений общественного питания (рестораны, кафе и т.п.).
Запросы, супчик. Ммм, да, инфа очень полезная. Было в компании над небольшим скриптомдля админки сайта работал. Селениум, надо было кое то делать, а сайтов 20+. Вот и вспомнил супец, правда сделал с помощью селениума - get_attribute, find_by_xpath(...).text. На войне все средства так сказать. Но запросы очень нужны, к примеру в обход разных Postman, etc, когда тестишь API. Хотел бы тоже на канале увидеть, тесты API.
00:15 Описание ТЗ клиента 00:43 Благодарность особым подписчикам канала 00:56 Начало кодинга 01:58 Первый запрос на страницу 03:01 Пояснение для юзеров Windows по кодировке 03:48 О пагинации сайта 04:56 Анализ пагинации сайта 05:00 Кодинг пагинации 14:35 Создание JSON файла 15:03 Экспорт данных в таблицу CSV
Хороший урок, предлагаю сделать выпуск с асинхронным парсингом и с авторизацией на сайте, где ценная информация ее требует. Так же с обходом капчи можно сделать.
Спасибо Автору за видео! У кого возникает ошибка "Max retries exceeded with url..." и "certificate verify failed: certificate has expired...." - в get-запросе после headers, допишите verify=False
Ага , ещё и ценники сломались на текущий момент их вообще нет и продажа с сайта временно остановлена , так что если не найдете цен не пугайтесь их реально нет )
Спасибо! Очень интересно! Такой вопрос а файл, после открытия на запись или чтение закрывать не надо? или он сам закрывается, после выполнения операции?
На 3:00 по-моему необязательно делать проверку на существование, ибо в контекстном менеджере with с режимом 'w', 'a', файл автоматически создаётся если его не существует, по указанному адресу
Ценники на товары не отображаются. Похоже что они отменили продажи в моей в стране или переписали фронт. У меня всё получилось, но я вытаскивал данные из артибута "data-analitics" тегов "div" класса "carousel-item". В этом атрибуте лежит ассациативный массив (по питоновскому) со всеми нужными нам данными. Получилось всё тоже самое. Отличные у тебя видео. Запиши что нибудь с приминением алгоритмов обхода графоф или деревьев. Будет интересно посмотреть.
Уважаемый автор, в видео показан блок пагинации со значением "5", хотелось бы узнать, что делать, если количество страниц больше "5", а они не отображаются на первой странице.
Блин всего на 4 дня отвлекся от практики парсеров, что бы подтянуть основы циклов, и при возвращении мозг буквально заскрипел пытаясь осознать что происходит)))) Ну и собственно о них, так как на сайте больше нет цент в качестве доп условия решил вытягивать из соседнего блока, вытянуть его отдельной строкой и закинуть в цикл на добавление в json труда не составило вообще, в блок супа закинул код: item_info = soup.find_all('div', class_='product-item__hidden') а в цикл добавил строку: block_info = item_info[2].text.replace(" "," ") вот только внешний вид был так себе, так как там между параметрами по три - четыре перехода на новую строку, в итоге вышло это: "block_info": " Высота 48,5 мм Ширина 45,4 мм Толщина 11,8 мм Водозащита 200 Стекло Минеральное Ремень/Браслет Полимерный ". В общем результат мне не понравился поэтому решил переделать, во первых заменить строку на список (сначала думал на доп вложенный словарь, но все же остановился на списке) и заодно переделать весь цикл, что бы цепляться не за 2 блока на странице а за 1 общий блок карточки и перебирать инфу внутри него, на это ушло еще почти 3 часа, в попытках понять что я делаю не так и фейспалмов после понимания банальности проблемы 😁 и все ради того что бы в итоге изменилось буквально 3 строчки: поиск по супу на: all_info_card = soup.find_all(class_='carousel-item') а цикл на: for item in all_info_card: product_url = 'shop.casio.ru' + item.find("a", class_="product-item__link").get('href') product_article = item.find("p", class_="product-item__articul").text.strip() product_info = [items.text.strip().replace(" ",": ") for items in item.find('div', class_='product-item__hidden').find('ul').find_all('li')] Сначала думал, разбить отбор на 2 переменные, то есть вместо product_info = [items.text.strip().replace(" ",": ") for items in item.find('div', class_='product-item__hidden').find('ul').find_all('li')] использовать: # items = item.find('div', class_='product-item__hidden').find('ul').find_all('li') # product_info = [item.text.strip().replace(" ",": ") for item in items] но потом подумал зачем создавать лишнюю переменную если она по факту тут не нужна. Реплейс после стрипа использовал так как, название параметра и его значение (типа "Высота 48,5 мм"), залетают в один объект списка и стрипом не обрезаются (то есть выглядело как "Высота 48,5 мм")
Классный урок! Честно говоря, непонятно, почему они всунули пагинацию на страницу, но не отобразили её XD К слову, каждый div на этом сайте содержит много информации на часах. Странновато, но всё же метод брать эти параметры - не вариант, ибо это уникальный случай. Лучше, как Вы, искать по элементам
Добрый день, хотелось бы узнать что вы передали заказчику? код? а то меня всегда сбивает с толку ТЗ - что нужен парсер, который должен парсить каждый день информацию, и я не понимаю что я собственно должен скинуть. Было бы классно увидеть само общение с заказчиком, ведь эта часть выполнения заказа для новичков тоже сложная и не понятная. Спасибо.
Вопрос, почему то Пайтон после выполнения программы вместо русских букв выдает иероглифы, как поправить? Пайтон сейчас стоит последней версии. Либо это терминал так делает. Но что в вскод что в пайчарм одиново иероглифы. Так стало после переустановки Пайтона и пайчарм.
Думаю потому, что ты любитель windows. Это худшая ОС для программирования, если ты конечно не пишешь под unity. Либо установи один из nix дистрибутивов хотя бы на виртуалку, либо решай проблемы с кодировками в windows используя явное указание encoding="нужная кодировка" при чтении и сохранении файлов.
@@PythonToday печально что когда первый раз установил Пайтон и пайчарм все было хорошо, когда удалил полностью потом установил стало вот так. По поводу винды, большинство же сидит на ней.
Так проверь какие кодировки стоят в pycharm, там ведь менять можно в настройках. Большинство кого сидит на винде? Домохозяек, геймеров и рядовых пользователей. Речи нет, соглашусь. Но уж точно не разработчиков.
А бывает такое, что заказчику нужен для какого то сайта парсер на постоянную основу, чтобы запускать допустим раз в неделю или ещё чаще? Приходится exe делать или на сервере как то запускать?
Каждый заказ и заказчик индивидуальный, кому-то нужен скрипт и он знает либо достаточно показать за минуту как в терминале его запустить, кому-то на сервер ставишь за отдельную плату и запуск в определенное время. Часто просят веб интерфейс на Django, с домененом и хостингом. Бывает и графический интерфейс например на pyqt
Здравствуйте, вы можете сделать видео по подключению exe файла с face_recognition к ip камере и отпирать электронный замок. Мне кажется интересная тема получается. Давайте залайкаем, чтобы автор увидел!
Где я пишу заголовки в csv файл, все норм отображается на русском, а вот где аппендю данные на русском языке выводит ошибку. Если установить encoding=‘utf-8’, то появляются иероглифы. В чем может быть проблема?
После "перевода" кода в exe файл, иногда ругается на кодировку, но при повторном парсинге все ок. Система винда. В чем пожет быть прокол. На чистом питоне все работает чётко
Вы спарсили не все наименования часов, в данной категории, а только первые 5 страниц, дальше ваш код не валиден.(к тому же, для пользователей с Украины этот сайт даже с помощью селениума сложно брать, так-как там много рессов подгружаются с ВК, из-за чего драйвер не может нормально обработать страницу) Сделайте пожалуйста урок где вы разбираете сложные задачи, 10 уроков для новичков было, давайте для мидлевела! Может чеккер для прокси листов?
@@Keefear хорошо бы находить именно такие заказы как в ролике. Индусы с фрилансера вечно хотят обход капчи, антиботов с ротацией элитных прокси и тп. для игровых сайтов, иногда на грани взлома😄
@@PythonToday основная информация в сети либо скрапинг или автоматизация мессенджеров, либо игровые относящиеся к веб играм. А об автоматизации андроид игр много пользовательских пусто. Интересно было хотя бы кусками если существовал такой контент. Пс. Адб это протокол взаимодействия с телефоном для новых пользователей.
![ROSÉ(로제) - APT. (Band VER.) (With. 이영지) [더 시즌즈-이영지의 레인보우] | KBS 241129 방송](http://i.ytimg.com/vi/IW8qaemx74g/mqdefault.jpg)
Уже традиция утро воскресенья начинать с практики) Это тебе большое спасибо, что делишься знаниями! И благодарность всем, кто поддерживает канал. Спасибо тебе за обучение, за код и за то, что тратишь своё время, успехов в развитии, лучший канал по программированию.
Спасибо за поддержку!
Спасибо большое за видео! Твои видео помогают в обучении программированию, вдохновляют и пробуждают интерес при обучении.
Приятно смотреть вас, даже когда ложусь спать, я смотрю ваши видео, это как дофомин, без вашего видео сложно уснуть😂
Интересный факт: в карточках с часами в контейнере с классом product-item есть атрибут data-analitics в нем можно найти много полезных данных в том числе и цену( в новой верссии сайта цену найти можно теперь только в этом атрибуте). Данные в атрибуте как бы в формате json но как бы являются строкой по этому их нужно немного преобразовать чтобы записать значения в словарь, а потом по необходимости сам словарь записать в json
вот как у меня это получилось, интересно было вспомнить основы и потренироваться
soup = BeautifulSoup(html, 'lxml')
cart = soup.findAll('div', class_='product-item')
for i in cart:
data = dict(tuple(y.replace("'","").replace('{', "").replace("}", "") for y in x.split(":")) for x in i.get('data-analitics').split(','))
print(data)
Офигенно просто! Привет! Пойду попробую, что нить написать ) В поддержку канала! И еще пару слов!
Благодарю за фидбэк!
Спасибо вам за труды) ответили почти на все вопросы которые я так и не задал)
Благодарю за фидбэк, рад что полезно
очень полезные видео .
таких полезных видео я даже не видел на платных курсах .
Спасибо большое за фидбэк! Рад что полезно 👍
Ты - крутой ментор и у тебя крутой контент, так что плиз Не пропадай. С меня пока что лайки и подписка. И спасибо тебе за твой труд.
Благодарю за фидбэк!
Спасибо за выпуск!
Котейку верните!!!! Она(он) настроение поднимает :)
Спасибо за фидбэк, верну))
Спасибо тебе большое, за то что делишься знаниями!)
Большое спасибо за фидбэк!
Спасибо за урок! Лайк!
Тем кто решит потренироваться на сайте. Цены там сейчас нет. Попробуйте вытащить ссылку на изображение самих часов.
Там изображение загружается с подвохом.
Selenium поможет решить эту проблему, но для саморазвития попробуйте в ручную его достать и загуглите про "data-src" и "data-srcset".
Спасибо, приятно учиться по твоим видео.
Благодарю! Рад что полезно
Довольно таки годно, спасибо за порцию новой инфы.
Оооочень хотелось бы в следующий раз увидеть парсинг с обходом капчи.
А лучше сделать выпуск с обходами сразу нескольких видов капч🙏
Благодарю за фидбэк. Видео с обходом капчи на канале не будет, думаю причины понятны.
@@PythonToday эхх, не видать нам свободы
@@Камон-у7э так мы же в интернете ) , найдется всё 😉
Можешь в селениуме сделать задержку на 30 сек и сам пройти капчу!
Отличный выпуск. Очень все наглядно и понятно. Огромное спасибо автору! :-) Я по этим видео свой первый парсер написал, для сбора проксей)
Благодарю за фидбэк! Рад что видео помогают. С какого ресурса собирал?
@@PythonToday что видимо не понравилось ютубу в моем комменте) прокси брал с us-proxy орг. Получился простой скриптик) Я кстати еще и парсер групп вк написал за это время. я конечно подозреваю, что на взгляд специалиста там гавно, но юзеров он парсит вполне себе успешно)
Круто, полезно, молодець, давайте продолжайте
Благодарю за фидбэк!
Спасибо большое за видео! Выходные как всегда практика! С URL ошибка выходит, но на основе другого сайта все получилось неплохо! Здоровье тебе автор! Всех благ!
Отличный урок, спасибо! У кого то можем быть проблема что файл записывается пустым. Добавьте кодинг
with open("data/page_1.html","w",encoding= "utf-8") as file:
file.write(r.text)
Большое спасибо за видео и за такие крутые обучения!
Такой вопрос, а можете сделать также видео обучение парсингу Google Map? Например, когда нужно в неком городе найти на карте координаты всех заведений общественного питания (рестораны, кафе и т.п.).
мне одному итересно как он модули добовляет так быстро?))) большое спасибо за полезную инфу)))
Благодарю за фидбэк!
@@PythonToday я имел ввиду как ты их так быстро импортируешь,😅 сейчас сам прочитал и понял что херню написал😅
Все супер,как всегда!
Спасибо за фидбэк!
Спасибо. очень полезное видео.
Супер спасибо!
Запросы, супчик.
Ммм, да, инфа очень полезная. Было в компании над небольшим скриптомдля админки сайта работал. Селениум, надо было кое то делать, а сайтов 20+.
Вот и вспомнил супец, правда сделал с помощью селениума - get_attribute, find_by_xpath(...).text.
На войне все средства так сказать.
Но запросы очень нужны, к примеру в обход разных Postman, etc, когда тестишь API. Хотел бы тоже на канале увидеть, тесты API.
Благодарю за фидбэк
00:15 Описание ТЗ клиента
00:43 Благодарность особым подписчикам канала
00:56 Начало кодинга
01:58 Первый запрос на страницу
03:01 Пояснение для юзеров Windows по кодировке
03:48 О пагинации сайта
04:56 Анализ пагинации сайта
05:00 Кодинг пагинации
14:35 Создание JSON файла
15:03 Экспорт данных в таблицу CSV
Есть в гит хабе покерный калькулятор, чёрт ногу сломает, можешь разобраться чё по чем. Хороший контент будет. Ну и с меня лайк.
Скинь ссылку, посмотрю
Я бы тоже с удовольствием посмотрел
Очень полезные видосы делаешь! Кое какие практики взял себе на вооружение, хотя в парсинге я не новичок.
Благодарю за фидбэк, рад что полезно
Очешуенно!👍
Благодарю 💪
🔥🔥🔥🔥
Лучший ❤
Благодарю за фидбэк!
Хороший урок, предлагаю сделать выпуск с асинхронным парсингом и с авторизацией на сайте, где ценная информация ее требует.
Так же с обходом капчи можно сделать.
Благодарю за фидбэк. Выкладываю то, с чем работаю. По капче выкладывать ничего не буду, думаю причины понятны.
Класс!)
Спасибо большое за урок, я тоже за возврат котеечки)
Спасибо за фидбэк, кота верну)
Спасибо Автору за видео! У кого возникает ошибка "Max retries exceeded with url..." и "certificate verify failed: certificate has expired...." - в get-запросе после headers, допишите verify=False
Благодарю за фидбэк!
Ага , ещё и ценники сломались на текущий момент их вообще нет и продажа с сайта временно остановлена , так что если не найдете цен не пугайтесь их реально нет )
комментарий для продвижения канала =)
Благодарю!
God bless you!)
Thanks
Спасибо! Очень интересно! Такой вопрос а файл, после открытия на запись или чтение закрывать не надо? или он сам закрывается, после выполнения операции?
Контекстный менеджер with open автоматически закрывает обрабатываемый файл
На 3:00 по-моему необязательно делать проверку на существование, ибо в контекстном менеджере with с режимом 'w', 'a', файл автоматически создаётся если его не существует, по указанному адресу
Спасибо за видео!
А на какой фриланс бирже вы нашли это задание?
Спасибо за фидбэк. Заказ брал ученик, на сколько знаю на kwork
@@PythonToday спасибо
Не за что
Ценники на товары не отображаются. Похоже что они отменили продажи в моей в стране или переписали фронт. У меня всё получилось, но я вытаскивал данные из артибута "data-analitics" тегов "div" класса "carousel-item". В этом атрибуте лежит ассациативный массив (по питоновскому) со всеми нужными нам данными. Получилось всё тоже самое.
Отличные у тебя видео. Запиши что нибудь с приминением алгоритмов обхода графоф или деревьев. Будет интересно посмотреть.
Уважаемый автор, в видео показан блок пагинации со значением "5", хотелось бы узнать, что делать, если количество страниц больше "5", а они не отображаются на первой странице.
Блин всего на 4 дня отвлекся от практики парсеров, что бы подтянуть основы циклов, и при возвращении мозг буквально заскрипел пытаясь осознать что происходит))))
Ну и собственно о них, так как на сайте больше нет цент в качестве доп условия решил вытягивать из соседнего блока, вытянуть его отдельной строкой и закинуть в цикл на добавление в json труда не составило вообще,
в блок супа закинул код: item_info = soup.find_all('div', class_='product-item__hidden')
а в цикл добавил строку: block_info = item_info[2].text.replace("
"," ")
вот только внешний вид был так себе, так как там между параметрами по три - четыре перехода на новую строку, в итоге вышло это:
"block_info": " Высота 48,5 мм Ширина 45,4 мм Толщина 11,8 мм Водозащита 200 Стекло Минеральное Ремень/Браслет Полимерный ".
В общем результат мне не понравился поэтому решил переделать, во первых заменить строку на список (сначала думал на доп вложенный словарь, но все же остановился на списке) и заодно переделать весь цикл, что бы цепляться не за 2 блока на странице а за 1 общий блок карточки и перебирать инфу внутри него, на это ушло еще почти 3 часа, в попытках понять что я делаю не так и фейспалмов после понимания банальности проблемы 😁
и все ради того что бы в итоге изменилось буквально 3 строчки:
поиск по супу на: all_info_card = soup.find_all(class_='carousel-item')
а цикл на:
for item in all_info_card:
product_url = 'shop.casio.ru' + item.find("a", class_="product-item__link").get('href')
product_article = item.find("p", class_="product-item__articul").text.strip()
product_info = [items.text.strip().replace("
",": ") for items in item.find('div', class_='product-item__hidden').find('ul').find_all('li')]
Сначала думал, разбить отбор на 2 переменные, то есть вместо
product_info = [items.text.strip().replace("
",": ") for items in item.find('div', class_='product-item__hidden').find('ul').find_all('li')]
использовать:
# items = item.find('div', class_='product-item__hidden').find('ul').find_all('li')
# product_info = [item.text.strip().replace("
",": ") for item in items]
но потом подумал зачем создавать лишнюю переменную если она по факту тут не нужна.
Реплейс после стрипа использовал так как, название параметра и его значение (типа "Высота 48,5 мм"), залетают в один объект списка и стрипом не обрезаются (то есть выглядело как "Высота
48,5 мм")
А будет ли видео на канале с асинхронным парсингом?
Думаю да, на все не хватает времени
Добрый день, а почему не используете фреймворк scrapy для парсинга?
Привет, потому, что не достаточно хорошо знаю эту библиотеку
Всем привет, у меня в файл index.html, с кодировкой utf-8, выдает иероглифы '���0aV'. Не могу найти решение, кто знает как исправить?
у меня в csv файле лишние строки, откуда они берутся?
А можно на этом же примере только через xpath разбор сделать? Очень нужно)
Классный урок! Честно говоря, непонятно, почему они всунули пагинацию на страницу, но не отобразили её XD
К слову, каждый div на этом сайте содержит много информации на часах. Странновато, но всё же метод брать эти параметры - не вариант, ибо это уникальный случай. Лучше, как Вы, искать по элементам
Привет!
Возник вопрос по парсингу? Если сохранять динамические данные файл.html они в нем сохраняются, а если через цикл for их там нет?
Привет. Что? 🤨
@@PythonToday Не сохраняются спарсеные динамические данные в нескольких файлах html
можно ли такое провернуть с помощью JS ?
Отличные видео. Спасибо. Где можно записаться к вам на учебу?
Благодарю за фидбэк. В описании телеграм канала указан контакт, напиши - пообщаемся.
Добрый день, хотелось бы узнать что вы передали заказчику? код? а то меня всегда сбивает с толку ТЗ - что нужен парсер, который должен парсить каждый день информацию, и я не понимаю что я собственно должен скинуть. Было бы классно увидеть само общение с заказчиком, ведь эта часть выполнения заказа для новичков тоже сложная и не понятная. Спасибо.
хотелось бы видео про фреймворк scrapy или парсер с многопотоком/ассинхронность
Не достаточно знаю эту Scrapy, в будущем думаю сделаем
Вопрос, почему то Пайтон после выполнения программы вместо русских букв выдает иероглифы, как поправить? Пайтон сейчас стоит последней версии. Либо это терминал так делает. Но что в вскод что в пайчарм одиново иероглифы. Так стало после переустановки Пайтона и пайчарм.
Думаю потому, что ты любитель windows. Это худшая ОС для программирования, если ты конечно не пишешь под unity. Либо установи один из nix дистрибутивов хотя бы на виртуалку, либо решай проблемы с кодировками в windows используя явное указание encoding="нужная кодировка" при чтении и сохранении файлов.
@@PythonToday печально что когда первый раз установил Пайтон и пайчарм все было хорошо, когда удалил полностью потом установил стало вот так. По поводу винды, большинство же сидит на ней.
@@PythonToday согласен что если кодить то нужно приучать себя к Линукс, но пока нет возможности купить себе отдельно ПК/ноутбук для этого.
@@PythonToday я думаю в идеале какой нибудь МакБук
Так проверь какие кодировки стоят в pycharm, там ведь менять можно в настройках.
Большинство кого сидит на винде? Домохозяек, геймеров и рядовых пользователей. Речи нет, соглашусь. Но уж точно не разработчиков.
А бывает такое, что заказчику нужен для какого то сайта парсер на постоянную основу, чтобы запускать допустим раз в неделю или ещё чаще? Приходится exe делать или на сервере как то запускать?
Каждый заказ и заказчик индивидуальный, кому-то нужен скрипт и он знает либо достаточно показать за минуту как в терминале его запустить, кому-то на сервер ставишь за отдельную плату и запуск в определенное время. Часто просят веб интерфейс на Django, с домененом и хостингом. Бывает и графический интерфейс например на pyqt
Здравствуйте, вы можете сделать видео по подключению exe файла с face_recognition к ip камере и отпирать электронный замок. Мне кажется интересная тема получается. Давайте залайкаем, чтобы автор увидел!
Привет, не работаю с windows
Где я пишу заголовки в csv файл, все норм отображается на русском, а вот где аппендю данные на русском языке выводит ошибку.
Если установить encoding=‘utf-8’, то появляются иероглифы.
В чем может быть проблема?
вместо encoding=‘utf-8' попробуй encoding=‘utf-8-sig'
почему то не создается каталог и файл( не знаю, почему, с разных сайтов пытался парсить.
Какой каталог, какой файл. Ты про что
@@PythonToday ну ты в коде прописал создание каталога, в котором файл с результатами парсинга
@@PythonToday if not os.path.exists('parse'):
os.mkdir('parse')
with open('parse/page_1.html', "w") as file:
file.write(r.text)
вот это
Проверяй первым делом импорты. Выложи код на git и дай ссылку.
@@PythonToday ютуб ссылку удаляет
Супер!! подскажи где такие хорошие заказы? А то за 20 баксов, мне надо обычно спарсить пол википедии данных))))
Благодарю, заказ брал ученик, на сколько знаю на kwork
@@PythonTodayНичего себе, я как раз этот сайт и имел ввиду=))) видимо повезло.
После "перевода" кода в exe файл, иногда ругается на кодировку, но при повторном парсинге все ок. Система винда. В чем пожет быть прокол. На чистом питоне все работает чётко
Не работаю с windows, не подскажу к сожалению.
@@PythonToday это даже прекрасно что ты не на виндовс , так и учіться люди, потому что появляются проблемы и ищут решения, а не идут под копирку
Вы спарсили не все наименования часов, в данной категории, а только первые 5 страниц, дальше ваш код не валиден.(к тому же, для пользователей с Украины этот сайт даже с помощью селениума сложно брать, так-как там много рессов подгружаются с ВК, из-за чего драйвер не может нормально обработать страницу) Сделайте пожалуйста урок где вы разбираете сложные задачи, 10 уроков для новичков было, давайте для мидлевела! Может чеккер для прокси листов?
Где вы берете такие сладкие заказы?)))
Это же easy money))
Заказ брал ученик, на сколько знаю на kwork
Привет, черкани адресок куда по заказу обратиться, не могу найти
Привет, в описании ТГ канала.
И после Вашего видео, видимо, они убрали отображение на главной странице 😂
как можно с вами связаться ?
В описании телеграм канала указан аккаунт.
@@PythonToday я там есть но не знаю как вам написать
Здраствуйте, а можно как то парсить Facebook спасибо.
Можно делать всё что угодно, зависит от знания технологии и количества времени которое готов потратить.
Будет ли парсинг в ооп стиле?
А какой смысл? В коде лишь несколько функций и каждый сайт индивидуален, не вижу резона здесь создавать класс и объекты
Где наши видосы по ботам?
Да, где такие сладкие задания бывают?
Заказ брал ученик, на сколько знаю на kwork
@@PythonToday благодарю 😊
Не за что 💪
В Яндекс работе решил узнать цены на подобное , предлагают разброс от 1500 до 20000 )))
@@Keefear хорошо бы находить именно такие заказы как в ролике. Индусы с фрилансера вечно хотят обход капчи, антиботов с ротацией элитных прокси и тп. для игровых сайтов, иногда на грани взлома😄
сайт приказал долго жить
Вот бы по андроид играм через адб)
Не понял тебя 😬
@@PythonToday основная информация в сети либо скрапинг или автоматизация мессенджеров, либо игровые относящиеся к веб играм. А об автоматизации андроид игр много пользовательских пусто. Интересно было хотя бы кусками если существовал такой контент.
Пс. Адб это протокол взаимодействия с телефоном для новых пользователей.
Пока не сталкивался с такими задачами)
Котейку забыл )))
Вернем )
9:17
верните старую фоновую музыку