Случайно нашел Ваше видео, спасибо за урок и пояснения, я использовал BeautifulSoup и все получилось. Была одна ошибка, когда я забыл прописать путь к базе и скрипт автоматом создал бд с таким же именем в корневой директории с парсером и разумеется не находил там базу stocks, хотел уже плюнуть на бд и писать в json, но попив чайку и остыв, решил эту проблему.
Евгений добрый день! Все Супер. Подскажите пожалуйста, на 1:12:54, момент с которым столкнулся, что можно закидывать по одной позиции, а можно все сразу, написал код, все работает но БД попадает только одна позиция (последняя строка), как выйти из ситуации? Буду признателен
Добрый день, спасибо. Проверьте, что вы добавляете позиции в список через append, а не в словарь. Если вы добавляете позиции в словарь, то они просто перезаписываются, потому что у них ключ то один и тот же.
Добавил в описание ссылку на "Python SQLite - учебное пособие на русском языке". Я его написал, как шпаргалку для себя. Надеюсь в нём найдёте ответы на свои вопросы.
Евгений,добрый день.Пытаюсь повторить парсинг по шагам из видео и при запросе html страницы получаю исключение raise ConnectionError(e, request=request) requests.exceptions.ConnectionError: HTTPSConnectionPool(host='medexe.ru', port=443): Max retries exceeded with url: /production/details/flanges/a0c8f67a8b12aee7b247060980092153.html (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 11002] getaddrinfo faile. Не пойму,это защита на стороне сервера, как это можно обойти?Подскажите пожалуйста.
Евгений,большое спасибо за ответ. Тут проблема похоже в блокировке ip адресов на уровне провайдера, на stackoverflow пишут, надо запросы отправлять через прокси,буду заниматься 🙂
Очень странно, конечно, сайт-то обычный. Посмотрите что в ответе response, если код 200, то сайт отвечает и проблема в другом. На сайт через браузер-то вы заходите нормально? Если да, то проблема не в IP. Но прокси тоже можно попробовать.
![Chino Pacas - Modo Capone (with Drake & Fuerza Regida) [Video Oficial]](http://i.ytimg.com/vi/zjv8TQ0gBkg/mqdefault.jpg)
Как же мне понравилось, как ты пишешь код. Посмотрел на одном дыхании как фильм какой-то 😅. Спасибо большое, продолжай в том же духе!
Неожиданно ) Спасибо 🙏
Спасибо, очень помогло,. собираю статистику посещений, отмечаю пики :)
Спасибо, подписался на канал. Очень вовремя мне этот ролик попался.
Спасибо, взаимно 🤝
Спасибо, за ваши видео, очень понятно обьясняете
Случайно нашел Ваше видео, спасибо за урок и пояснения, я использовал BeautifulSoup и все получилось. Была одна ошибка, когда я забыл прописать путь к базе и скрипт автоматом создал бд с таким же именем в корневой директории с парсером и разумеется не находил там базу stocks, хотел уже плюнуть на бд и писать в json, но попив чайку и остыв, решил эту проблему.
Спасибо
Спасибо, а как насчет aiohttp парсера, асинхронный побыстрее будет
Да, хорошее предложение - протестируем ускорение на сайте с бОльшим количеством товаров.
Евгений добрый день! Все Супер. Подскажите пожалуйста, на 1:12:54, момент с которым столкнулся, что можно закидывать по одной позиции, а можно все сразу, написал код, все работает но БД попадает только одна позиция (последняя строка), как выйти из ситуации? Буду признателен
Добрый день, спасибо. Проверьте, что вы добавляете позиции в список через append, а не в словарь. Если вы добавляете позиции в словарь, то они просто перезаписываются, потому что у них ключ то один и тот же.
@@usota правильно ли я понял, вытащили данные, прошли циклом, положили их в список, а список указали при добавлении. Так?
Всё верно
@@usota Благодарю Вас, чашка кофе ушла смс, Вам хорошего настроения
О, спасибо, очень приятно 🙏
ага, предыдущее видео закончил тем, что в следующем видео (т.е. в этом) расскажешь, как в Web Scraper работать с изображениями, ан нет, нет тут такого
какое же гавно эти базы данных, нет уроков нормальных как записывать туда обновлять данные , шляпа полная , нет примеров с пайтоном
Добавил в описание ссылку на "Python SQLite - учебное пособие на русском языке". Я его написал, как шпаргалку для себя. Надеюсь в нём найдёте ответы на свои вопросы.
@@usota спасибо большое, приступаю к изучению) наконец-то я дошёл до баз данных в своих начинаниях
Евгений,добрый день.Пытаюсь повторить парсинг по шагам из видео и при запросе html страницы получаю исключение raise ConnectionError(e, request=request)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='medexe.ru', port=443): Max retries exceeded with url: /production/details/flanges/a0c8f67a8b12aee7b247060980092153.html (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 11002] getaddrinfo faile. Не пойму,это защита на стороне сервера, как это можно обойти?Подскажите пожалуйста.
Проверьте, что url начинается с http или https
Но это не защита, точно, ошибка в другом
Евгений,большое спасибо за ответ. Тут проблема похоже в блокировке ip адресов на уровне провайдера, на stackoverflow пишут, надо запросы отправлять через прокси,буду заниматься 🙂
Очень странно, конечно, сайт-то обычный. Посмотрите что в ответе response, если код 200, то сайт отвечает и проблема в другом. На сайт через браузер-то вы заходите нормально? Если да, то проблема не в IP. Но прокси тоже можно попробовать.