Привет всем! Я не давно начал автомотизировать и инструмент playwright мне очень понравился. узнал для себя что-то новое! Спасибо автору канала за полезный урок!
Спасибо, очень интересно рассказываете. Действительно, хотелось бы увидеть автоматизацию парсинга того же авито на playwrite и сравнить это с тем, что вы делали на selenium, скорость работы и насколько наглядным будет код.
Спасибо большое за видео! Я только начинаю изучать Парсинг для некоторых рабочих задач, обратил внимание что все русскоязычные гайды устарели и был в поисках чего-то посвежее. Ваше видео пришлось очень кстати. Начну лучше с этой библиотеки свой путь)
ну не совсем так, оно запишет, что в поле "name" записан текст "Вася" и потом нажата кнопка "Отправить". А на то, что там улетел потом POST запрос с этими данными ему все равно
Спасибо автору за интересный контент. Хорошая подача материала. Подписался на канал. Мне больше темная тема нравится. Про шрифт согласен, можно увеличить, тогда и с мобильных устройств можно будет смотреть видео, а не только слушать.
Приветствую, а в чем может быть проблема, у меня браузер сам по себе закрывается (Chrome, только с ним проблема). Буквально на 3 сек открывается и сразу закрывается. Буду благодарен за помощь.
Если ошибок не было, значит он выполнил всю работу и закрылся. Можно в конце кода дописать к примеру, time.sleep(10) и будет еще 10 секунд, чтобы полюбоваться браузером
Возможно как то запустить параллельно несколько браузеров с разными профилями? Чтоб ничего не останавливалось? Мне нужно сделать быстрое выполнение кликов на сайте одновременно, но потоки и мульти процессинг вообще никак не помогли, они либо по очереди все делают, либо работает только 1 браузер , может проблема в селениуме?. плейрайт работает с потоками нормально?? Стоит ли на него переходить?
Привет! Подскажи, пожалуйста. Сейчас вот начинаю учить что-то для парснига(хочу в целом заняться этим) и выбираю библиотеку для изучения. Стоит ли сразу начать с pw не уча силениум?
Спасибо, очень интересно. Напишите какой-то парсер, жедательно чтобы код был в ООП, что-то типо мини фрейморка заготовки для парсинга любых сайтов с набором основных функций: инициализация браузера, посик элемента, заполнение полей, клик по элементу и т.п.
а в селениум есть подобный инспектор как в playwrite inspector? как по мне- очень крутая фишка именно в этом- просто открыл сайт, прокликал по нужному пути и все, код автоматом написался
Я в начале своего пути. вот пытаюсь спарсить web версию Telegram. И пока не очень получается. Может спарсите TG с ипользоавпнием этой библиотеки? Спасибо!
В парсинге очень важным является правильный выбор инструмента\подхода, поэтому у меня сразу возникает несколько вопросов: 1) Принципиальна именно web версия? 2) Нужен именно Playwright или без разницы? Т.к. существуют библиотеки для парсинга тг без всяких эмуляций браузера
@@the_parse_hub Спасибо за ссылку. Проверил данный пакет. Странно, но он как будто ничего не меняет в драйвере Playwright. Cloudflare его детектирует, а вот SeleniumBase в режиме undetected проходит проверку.
Основных варианта 2: 1) Ввести логин-пароль в нужные поля и войти, т.е. сделать всё как в жизни 2) Указать Playwright какие куки (уже с залогиненым пользователем) использовать
По всяким тестам выходит playwright в среднем быстрее конкурентов. Но это разница не такая большая, чтобы однозначно переходить на него из-за скорости. Меня больше подкупает, что в нем есть очень много чего прямо из коробки, ну и нет возни с версиями браузеров
@@the_parse_hubспасибо за ответ. Просто у меня проблема. Селениум в 7 работающих браузеров одновременно, потребляет память +-30гб озу, сервер 12 ядерный 24 поточный еле справляется, и часто ошибки.
Вот это я охренел, конечно, от увиденного. Очень круто! Узнал новое слово "mock'ать" )) Если будет настроение, покажите интересный пример с этим mock, пожалуйста.
Всем привет. Стал все это добро ставить на code studio и столкнулся с проблемой не понимаю как поставить инспектора. Если не сложно можно сказать как это сделать пошагово?
Не могу смотреть на видео с белой темой дольше 10 мин. Кому плохо видно на черном тому и на белом будет не очень потому что или моник крупнее надо брать или очки
Пишу на Дракуле но бывает надоедает и включаю белую но без ярких тонов, разнообразие и веселее становиться, и да ошибки лучше видны на белой по своему опыту 🙂
Для Selenim тоже есть удобное раширение для Chrome: Silenium IDE в котором тоже можно получить что-то более менее похожее, но там не для конкретного языка
Прикольно, но Selenium в отличии от playwright не тормозит. Для сайтов с минимальным набором элементов - подойдет, для остального Селениум. Хоть и возиться с ним больше
Это хуже Селениума. У Селениума есть куча пполезных под-модулей, как seelnium-wire, undetected-chromedriver, тут же ничего этого нет. Абсолютно бесполезная штуковина.
Ну давай по пунктам насчет под-модулей: 1) selenium-wire: прослушка запросов, прокси с авторизацией, mock и пр. Это всё есть в playwright прямо из коробки 2) вместо undetected-chromedriver есть undetected-playwright Моё мнение: и selenium и playwright отличные инструменты, что использовать каждый решит сам. Лично я в парсинге использую до сих пор selenium т.к прям сильно привычный инструмент для меня. А при разработке сайтов уже стараюсь использовать playwright для тестов
Спрашивал у офтольмолога про цвет текста и фона. Он сказал, что светлый текст на тёмном фоне вреден. Нужно читать чёрный текст на белом фоне. Можно ещё шрифт крупнее делать. Так зрители наверняка не будут вглядываться в экран. У кого-то может со зрением не очень. Для себя всегда делаю шриф крупнее на всякий случай. Глаза беречь надо.
Спасибо! Отлично, вот уже и совет с медицинской точки зрения. Расскажу какие у меня настройки во время работы: у меня темная тема и шрифт 14. Во время записи видео шрифт делаю 16, чтобы зрителям было лучше видно, и наверное, нужно делать еще больше. Также во время записи увеличиваю масштаб в браузере до 125%
@@the_parse_hub я вижу нормально, но шрифт обычно делаю не меньше 18. Ваш шрифт 16 размера мне кажется меньше 16. Наверно это ещё зависит от разрешения экрана зрителя.
Интересно увидеть что-то практическое и работающее написанное на playwright
Интересно, значит сделаю
@@the_parse_hub спасибо
@@the_parse_hub спасибо! Подписался
@@the_parse_hub у меня не один код на записало во время кликов, почему?
Первое видео и сразу ставлю класс, подписка)) Вы один из немногих русскоязычных ютуберов, кто снимает про Playwright))
Контент огонь!!! Автору огромнейшее спасибо за труд!
Привет всем! Я не давно начал автомотизировать и инструмент playwright мне очень понравился. узнал для себя что-то новое!
Спасибо автору канала за полезный урок!
Спасибо, очень интересно рассказываете. Действительно, хотелось бы увидеть автоматизацию парсинга того же авито на playwrite и сравнить это с тем, что вы делали на selenium, скорость работы и насколько наглядным будет код.
Спасибо!
Playwright точно покажу на деле, но вряд-ли это будет на примере Авито
Зачем делать парсинг авито с эмуляцией браузера, когда можно это сделать обычными запросами
Прям обычными? И работать будет стабильно?
@@karas_warface ну так-то чтобы делать запросы, нужно обращаться с avito api, а они его всем подряд не дают
@@the_parse_hub дэ
Спасибо большое за видео! Я только начинаю изучать Парсинг для некоторых рабочих задач, обратил внимание что все русскоязычные гайды устарели и был в поисках чего-то посвежее. Ваше видео пришлось очень кстати. Начну лучше с этой библиотеки свой путь)
Интересный инструмент, код действительно выглядит намного приятнее.
OMG! Я еще не отошел от прошлого видео про seleniumbase, а тут такое!! Спасибо! И кстати, темная тема лучше)
Белая тема для показа кода лучше=) Темная это чтобы глазки не уставали)
По итогу большинство за тёмную тему
Спасибо. Интересно посмотреть работу парсера на Playwright
Спасибо! Нужно пробывать писать тесты ✍️
Спасибо, хотелось бы увидеть парсер!
Спасибо! Всё будет
Ждем новое видео с практикой!)
может ли playwright записать тело отправляемого запроса формы или ajax и так же в коде его зафиксировать как это было с кнопками?
ну не совсем так, оно запишет, что в поле "name" записан текст "Вася" и потом нажата кнопка "Отправить".
А на то, что там улетел потом POST запрос с этими данными ему все равно
@@the_parse_hub я мыслю как программист. А тут совсем другой подход. Сначала не понял, а потом понял 😂
Это же в первую очередь инструмент для тестов, поэтому всё логично
Конечно,хотелось бы увидеть на Playwright,а особенно написание бота для какого-нибудь букса😊😊😊😊
Такое видео может подойдет: ruclips.net/video/tuh8_XAs3QI/видео.html
Спасибо автору за интересный контент. Хорошая подача материала. Подписался на канал. Мне больше темная тема нравится. Про шрифт согласен, можно увеличить, тогда и с мобильных устройств можно будет смотреть видео, а не только слушать.
Отличное видео, спасибо большое за полезную информацию)
Даже и не знал про такой крутой инструмент. Да честно и про base и антидект тоже не знал 😄
Спасибо! 👍
световая бомба) черная тема получше будет
Приветствую, а в чем может быть проблема, у меня браузер сам по себе закрывается (Chrome, только с ним проблема). Буквально на 3 сек открывается и сразу закрывается. Буду благодарен за помощь.
Если ошибок не было, значит он выполнил всю работу и закрылся. Можно в конце кода дописать к примеру, time.sleep(10) и будет еще 10 секунд, чтобы полюбоваться браузером
Возможно как то запустить параллельно несколько браузеров с разными профилями? Чтоб ничего не останавливалось? Мне нужно сделать быстрое выполнение кликов на сайте одновременно, но потоки и мульти процессинг вообще никак не помогли, они либо по очереди все делают, либо работает только 1 браузер , может проблема в селениуме?. плейрайт работает с потоками нормально?? Стоит ли на него переходить?
такой вариант попробуйте ruclips.net/video/BTuzb0aSZvs/видео.html
Привет! Подскажи, пожалуйста. Сейчас вот начинаю учить что-то для парснига(хочу в целом заняться этим) и выбираю библиотеку для изучения. Стоит ли сразу начать с pw не уча силениум?
Я бы все же начал с селениума. Потом на pw перейти будет несложно
@@the_parse_hub Спасибо, тогда последую твоему совету и начну с селениума
класс, про Playwright действительно пока мало инфы
можно использовать не прям черную тему, а что-то типо sepia
Да, и лично мне светлая тема привычнее.
Спасибо! Белая лучше видать
А что если у меня есть все нужные для меня браузеры?
Спасибо, очень интересно. Напишите какой-то парсер, жедательно чтобы код был в ООП, что-то типо мини фрейморка заготовки для парсинга любых сайтов с набором основных функций: инициализация браузера, посик элемента, заполнение полей, клик по элементу и т.п.
Да, будет такое
а в селениум есть подобный инспектор как в playwrite inspector? как по мне- очень крутая фишка именно в этом- просто открыл сайт, прокликал по нужному пути и все, код автоматом написался
Есть что-то похожее, называется Selenium IDE и реализовано оно в виде расширения для браузера
Selenium можно не учить получается уже? сразу pytest и Playwright? или уже и pytest не нужно учить?
Можно вообще ничего не учить) Всё же зависит от конечной цели
Темная, тёмная!)
Спасибо, интересно. надо проверить.
Код видно может и лучше, но выжигает глаза)))
Все за чёрную проголосовали, так что всё ок
Я в начале своего пути. вот пытаюсь спарсить web версию Telegram. И пока не очень получается. Может спарсите TG с ипользоавпнием этой библиотеки? Спасибо!
В парсинге очень важным является правильный выбор инструмента\подхода, поэтому у меня сразу возникает несколько вопросов:
1) Принципиальна именно web версия?
2) Нужен именно Playwright или без разницы? Т.к. существуют библиотеки для парсинга тг без всяких эмуляций браузера
@@the_parse_hub нет, не приницпиально ни 1 ни 2. Просто я пытался это сделать с помощьюю Silenium но что то не очень получается.
Привет! Классные видосы, классный канал!
Может ли Playwright работать в режиме undetected чтобы обходить проверку CloudFlare и прочие, как это может делать Undetected Chromedriver?
Есть похожая библиотека для таких целей: github.com/QIN2DIM/undetected-playwright
@@the_parse_hub Спасибо за ссылку. Проверил данный пакет. Странно, но он как будто ничего не меняет в драйвере Playwright. Cloudflare его детектирует, а вот SeleniumBase в режиме undetected проходит проверку.
Вопрос 🙋♂️ если парсеть сайт но там нужно войти по логину и пароль
Как это сделать ?
Основных варианта 2:
1) Ввести логин-пароль в нужные поля и войти, т.е. сделать всё как в жизни
2) Указать Playwright какие куки (уже с залогиненым пользователем) использовать
А по скорости работы и нагрузки системы, что эфективнее ?
По всяким тестам выходит playwright в среднем быстрее конкурентов. Но это разница не такая большая, чтобы однозначно переходить на него из-за скорости. Меня больше подкупает, что в нем есть очень много чего прямо из коробки, ну и нет возни с версиями браузеров
@@the_parse_hubспасибо за ответ. Просто у меня проблема. Селениум в 7 работающих браузеров одновременно, потребляет память +-30гб озу, сервер 12 ядерный 24 поточный еле справляется, и часто ошибки.
Ну да, очень большое потребление ресурсов, думайте над заменой
Больше Playwright плиссс)
Вот это я охренел, конечно, от увиденного. Очень круто! Узнал новое слово "mock'ать" )) Если будет настроение, покажите интересный пример с этим mock, пожалуйста.
Постараюсь показать в одном из след. видео
Спасибо за обзор👍 Попробую.
Всем привет. Стал все это добро ставить на code studio и столкнулся с проблемой не понимаю как поставить инспектора. Если не сложно можно сказать как это сделать пошагово?
Если уже установили Playwright, то нужно открыть консоль в code studio, вставить:
playwright codegen
нажать enter и всё
Мне больше тёмная тема нравится
светлая 👍👍👍👍👍👍👍👍👍👍👍👍
по итогу большинство за темную
Не могу смотреть на видео с белой темой дольше 10 мин. Кому плохо видно на черном тому и на белом будет не очень потому что или моник крупнее надо брать или очки
А что раньше молчали?
О чём молчал?
Пишу на Дракуле но бывает надоедает и включаю белую но без ярких тонов, разнообразие и веселее становиться, и да ошибки лучше видны на белой по своему опыту 🙂
Я иногда тоже меняю тему на любую другую просто для разнообразия, но потом всё равно возвращаюсь на Darcula
а насчет лучше ли белая тема: лучше увеличить шрифт и скрыть вкладку с проектами
Спасибо! Учту
Я неделю учу селениум обычный , стоит ли переходить на эту штуку ?!
Продолжайте учить selenium, после него на Playwright будет перейти не сложно
Для просмотра белая тема лучше. Еще можно шрифт увеличить т.к. в записи качество хуже чем на мониторе и смотришь из "окошка".
Большинство всё-таки за темную тему.
Насчет размера шрифта - в новых видео использую размер шрифта =18, должно хватать
У меня не было выбора кроме как подписать и поставить жирненький лакец!
Спасибо!
Я использую Playwright, и он мне нравится намного больше, чем Selenium
Playwright классный, просто очень много людей давно привыкли уже к Selenium или тесты в проекте уже написаны на Selenium
Как использовать прокси на playwright python, не понятно, я гкглил на форумах, эту тему не поднимают
белая тема = минус глаза
Согласен. Поэтому дальше будет темная тема
Тема пофиг,объясняете классно.Удачи каналу.
Тема темная меньше бьёт по глазам. Но в принципе не важно. Шрифт чуть бы покрупнее
Каждое видео увеличиваю шрифт на 1 ед. В следующем будет уже 18 (при работе использую 14), надеюсь этого уже хватит
Сделайте парсер пожалуйста на playwrite
Будет
Для Selenim тоже есть удобное раширение для Chrome: Silenium IDE в котором тоже можно получить что-то более менее похожее, но там не для конкретного языка
очень круто. не зря подписался. спасибо
Прикольно, но Selenium в отличии от playwright не тормозит.
Для сайтов с минимальным набором элементов - подойдет, для остального Селениум. Хоть и возиться с ним больше
По практически любым тестам Playwright обгоняет Selenium в скорости, да и я не замечал, чтобы он тормозил
@@the_parse_hub возможно. но я заметил обратное. в конечном счете делаю тесты селениумом))
имхо, темная тема лучше, не режет глаза
клауд проходит?
Раньше проходил - сейчас не проверял
как подключить прокси с аунтификацией к undetected chrome driver? можешь линк на пример кинуть? спасибо
@@pro100chok подскажу как это сделать:
from seleniumwire import undetected_chromedriver as uc # pip install selenium-wire
wire_options = {
'proxy': {
'https': f'{login}:{password}@{ip}:{port}',
}
}
driver = uc.Chrome(seleniumwire_options=wire_options)
@@the_parse_hub спасибо
Огромный плюс селениума - это возможность формирования фейковых юзерагентов, маскировка самого парсера. Есть ли тут такой функционал?
Юзерагенты здесь конечно есть и их можно менять. Примерно полгода назад я проверял как "дружит" cloudflare с Playwright, было всё ок, сейчас не знаю
Темная
Для меня темная лучше
Это хуже Селениума. У Селениума есть куча пполезных под-модулей, как seelnium-wire, undetected-chromedriver, тут же ничего этого нет.
Абсолютно бесполезная штуковина.
Ну давай по пунктам насчет под-модулей:
1) selenium-wire: прослушка запросов, прокси с авторизацией, mock и пр. Это всё есть в playwright прямо из коробки
2) вместо undetected-chromedriver есть undetected-playwright
Моё мнение: и selenium и playwright отличные инструменты, что использовать каждый решит сам. Лично я в парсинге использую до сих пор selenium т.к прям сильно привычный инструмент для меня. А при разработке сайтов уже стараюсь использовать playwright для тестов
@@the_parse_hub Сайты тоже на питоне или пхп делаешь ?
@@bill8126 django
Спрашивал у офтольмолога про цвет текста и фона. Он сказал, что светлый текст на тёмном фоне вреден. Нужно читать чёрный текст на белом фоне.
Можно ещё шрифт крупнее делать. Так зрители наверняка не будут вглядываться в экран. У кого-то может со зрением не очень. Для себя всегда делаю шриф крупнее на всякий случай. Глаза беречь надо.
Спасибо! Отлично, вот уже и совет с медицинской точки зрения.
Расскажу какие у меня настройки во время работы: у меня темная тема и шрифт 14. Во время записи видео шрифт делаю 16, чтобы зрителям было лучше видно, и наверное, нужно делать еще больше. Также во время записи увеличиваю масштаб в браузере до 125%
@@the_parse_hub я вижу нормально, но шрифт обычно делаю не меньше 18. Ваш шрифт 16 размера мне кажется меньше 16. Наверно это ещё зависит от разрешения экрана зрителя.