Решил повторить все тоже самое, также как на видео, установил библиотеку и написал скрипт. Работает! все ссылки появляются в терминале! Python - реально мощная штука!!! Буду дальше изучать!
@@СултанТемирбай-и8я добрый день, ещё не забросили это занятие? Очень интересна тема изучения этого языка программирования, хочу купить курс и учится. Интересно узнать как ваши успехи? Много чему научились? Из добрых побуждений 🤗
@@xwbroun6185 да думаю вам стоит так заниматься так у вас точно будет план развитие своих навыков . Если я скажу про себя то теперь java разарабом хочу стать и изучаю андройд студио
@@xwbroun6185 Можно и так сказать . Я думаю сначала посмотреть видео в Ютубе и позаниматься если понравится то купить курс сразу . Мир И большой и каждый день что то новое происходит . Я не буду бросить это дело и вам желаю успехов в этой трудной дороге !
Просмотр этого каналa дал толчок к изучению программирования (бесплатный курс Python), а новые темы на канале - к его использованию на практике. Спасибо!
Недавно смотрел про браузер LibreWolf, но каким бы конфиденциальным он ни был, как браузер он никакой, что думаете насчёт "Iridium" мли "GNU/IceCat"? Являются ли они такими же конфиденциальными и безопасными? Инфы по ним в интернете невероятно мало.
Всё это хорошо, но все нормальные ресурсы за cloudflare сидят. Обычным реквестсом не пройти. Только Selenium и т.п. Может у вас есть решение обхода защиты cloudflare, без использования браузеры в headless-режиме??
скрипт рабочий, но только после выпуска на канале сайт скорее всего поставил защиту, потому что через 7-10 запросов выходит ошибка. решает добавление юзер агента ,чтобы сайт видел реального пользователя, а не запросы пайтона, и добавление в 2-х местах библиотеки time - sleep(10), чтобы увеличить время следующего запроса, потому что огромное кол-во запросов это явный признак парсера. И вместо "html-parser" лучше "lxml", как мне кажется. Вопрос к треугольнику - какой библиотекой перевода пользуешься? вполне зашел translate для этого парсера, только там ограничение, как я понимаю.
Уроков по парсингу подобных сайтов уйма. Но есть сайты, которые хранят ссылки не в таком явном виде. Попробуй например распарсить bandcamp по определенному тегу(жанру), чтобы выдавались именно новые релизы. А на Степике действительно крутой курс (бесплатный тоже очень даже годный).
Учтите, что bs4 работает нормально только в том случае, если интернет-ресурс отдает уже сгенерированную html-страницу, что в наше время уже редкость. На данный момент весь html-контент генерирует javascript, что заставляет нас использовать микро-браузеры для загрузки html-страницы+обработка javascripta. Сейчас все популярнее phantomJs
@@programmingand7626 ну джаваскрипт - нет. Я имел в виду, что для нормальной работы bs4 необходимо полностью прогрузить html-страницу. Полностью прогрузить имеется в виду заставить браузер обработать javascript, которые используют сайты для того чтобы генерировать html-старничку. Как только страничка будет отрендерина, можно применять bs4. Принцип предварительной прогрузки страницы используются в новом видео Черный Труегольник (Парсинг с Selenium)
Доброй ночи... подскажите пожалуйста такой вопрос , у меня адрес Биткойн кошелька 34 значный действующий... а бывают щас уже 42 значные зачисление средств произойдёт на него с 34 значного ? А то как то мне , один обменник не смог зачислить Битки на такой вот длинный кошелёк больше 36 символов который...
Оператор in в условии ищет строку в строке(в данном случае 'github.com'), но temes не является строкой(это список) и поэтому нужно его обернуть в метод str, чтобы он был строкой
Выгорел после 2х лет безбашенного кодинга и никак не мог приступить опять что-то постигать, но твои последние слова сильно зацепили. Появилась небольшая искорка, из которой может опять разгореться великое пламя. Спасибо.
Парсинг со временем всё меньше работает. Если на страницу как сейчас модно, подгружается только javascript, который динамически генерирует контент или отложенно подтягивает его, то парсить нечего. Многие сайты недолюбливают сам факт парсинга и банят. Хочешь контент - заходи ручками и смотри.
@@augustwalter2586 если хочешь по настоящему анонимную систему, то из исходников собирай ядро линукс, все собирай из исходников. Перед этим аудит проводи. Драйверы пиши свои, ведь почти все драйверы проприетарны. И собирай свой собственный идеальный по-настоящему безопасный дистрибутив. Плюс присмотрись к арч и генту - линукс. Если новичок, то дебиан - идеал и баланс.
Гц с 100к бро! С самого начала верил, что наступит этот момент💪🏻
Бро, поздравляю со 100к подписчиками!
каво лол, я даже не заметил, что на канале не 13к. тогда ряльна поздравляем.
Решил повторить все тоже самое, также как на видео, установил библиотеку и написал скрипт.
Работает! все ссылки появляются в терминале! Python - реально мощная штука!!! Буду дальше изучать!
Отличный ролик. Поздравляю со 100к :D
Принимай поздравления со 100К. Успехов тебе в дальнейшем,ты делаешь нужное дело.
Поздравляю с 100к подписчиками :)
Подцветка синтаксиса не очень удачная(или фон редактора). Например, инструкции “import” и “from” сливаются с фоном.
Это даже не редактор, он в терминале пишет
@@frozenplay1417чел, ты хочешь сказать, что vim, nano etc… это не текстовые редакторы
Здравствуй Треугольник, отличное видео,парсинг освоить необходимо!
Занимаюсь программированием 2 месяца
Спасибо, очень вдохновляет
И как успехи?)
@@Степан-л1я1г я тоже примерно столько
Прохожу курсы Пайтон на степик спортивное и алгоритмное программирование
@@СултанТемирбай-и8я добрый день, ещё не забросили это занятие? Очень интересна тема изучения этого языка программирования, хочу купить курс и учится. Интересно узнать как ваши успехи? Много чему научились? Из добрых побуждений 🤗
@@xwbroun6185 да думаю вам стоит так заниматься так у вас точно будет план развитие своих навыков .
Если я скажу про себя то теперь java разарабом хочу стать и изучаю андройд студио
@@xwbroun6185 Можно и так сказать . Я думаю сначала посмотреть видео в Ютубе и позаниматься если понравится то купить курс сразу . Мир И большой и каждый день что то новое происходит . Я не буду бросить это дело и вам желаю успехов в этой трудной дороге !
Спасибо за видео, очень полезное. А нельзя в будущих видео поправить цветовую схему? Красные символы очень плохо читаются, особенно точки.
Лайкос! Поздравляю с 100К!
За час больше 1000 просмотров, я в ШОКЕ. А МИР ТО СПАСАЕТСЯ !!!!!!
Видео бомба
Поздравляю с 100к
Просмотр этого каналa дал толчок к изучению программирования (бесплатный курс Python), а новые темы на канале - к его использованию на практике. Спасибо!
скажи пожалуйста, какой курс проходил?
ооооо с 100к бро,помню времена когда на этом канале звучил голос робота с)))
Первое видео с этого канала которое я посмотрел. И сразу же подпысываюсь!! Годнота что скажешь. Автору респект
Шикарное видео! Очень понравилось. Хочу еще что-то подобное.
Спасибо, Треугольник! Полезно, качественно, и просто приятно смотреть и слушать.
Недавно смотрел про браузер LibreWolf, но каким бы конфиденциальным он ни был, как браузер он никакой, что думаете насчёт "Iridium" мли "GNU/IceCat"? Являются ли они такими же конфиденциальными и безопасными? Инфы по ним в интернете невероятно мало.
Поздравляю с 100к подписчиков!
Удачи в будущем! 🎉🎉🎉
Поздравляю с 6тизначным числом подписчиков!!! Кстати, жду NFT от Чёрного Треугольника)
Поздравляю с ростом канала!
Поздравляю со 100k!
А что ты в Сомалиленде делаешь??
Поздравляю с 100к подписчиков
Благодарю за ваш чудесный труд 👍
Спасибо большое. Хотел научится скачивать видео лекции. Теперь понимаю, что есть инструменты для этого и стоит только начать их изучать.
Поздравляю с 100К!
Да, парсинг очень простая и очень эффективная технология.
Спасибо, что поддерживаете свободное ПО!
Приветствую! А можно поподробнее рассказать про парсер для Авито (упоминается в конце ролика)? Ну или в краце суть работы его алгоритма?
'''ПРИВЕТ ЧЕРНЫЙ ТРЕУГОЛЬНИК ОТЛИЧНО СУПЕР КЛАСС'''
Ролик отличный! Побольше бы таких по программированию.
А почему в 5:28 не сделал f-строку? Есть причина какая-то? Я просто часто использую, может зря?
А что за библиотека, которая переводит ?
а как быть с сайтами, которые динамически генерируют контент яваскриптом например?
Нужен браузерный движок.
Можно использовать selenium как распространённый вариант
Какие языки были использованы в видео ?
Всё это хорошо, но все нормальные ресурсы за cloudflare сидят. Обычным реквестсом не пройти. Только Selenium и т.п.
Может у вас есть решение обхода защиты cloudflare, без использования браузеры в headless-режиме??
Вообще ты Красавчег ! Успехов тебе Бро !
скрипт рабочий, но только после выпуска на канале сайт скорее всего поставил защиту, потому что через 7-10 запросов выходит ошибка. решает добавление юзер агента ,чтобы сайт видел реального пользователя, а не запросы пайтона, и добавление в 2-х местах библиотеки time - sleep(10), чтобы увеличить время следующего запроса, потому что огромное кол-во запросов это явный признак парсера. И вместо "html-parser" лучше "lxml", как мне кажется. Вопрос к треугольнику - какой библиотекой перевода пользуешься? вполне зашел translate для этого парсера, только там ограничение, как я понимаю.
@@ali_nur31 Пиши телегу, вечером закину
Очень интересно и, оказывается, совсем несложно! Спасибо)
Это очень примитивный парсинг
Очень познавательно и интересно, но музыка мешает( Хотя бы тише, было бы лучше)))
Уроков по парсингу подобных сайтов уйма. Но есть сайты, которые хранят ссылки не в таком явном виде.
Попробуй например распарсить bandcamp по определенному тегу(жанру), чтобы выдавались именно новые релизы.
А на Степике действительно крутой курс (бесплатный тоже очень даже годный).
данный метод не работает выскакивает ошибка AttributeError: module 'requests' has no attribute 'text' помогите
наверное у тебя не скачена библиотека requests
Неплохо.
Только один нюанс.
Ты назвал переменную 'request', но в ней хранится ответ от сервера. То есть response.
Еще один, tHeme
А что за мелодия на фоне, не подскажете?
а как на этом можно заработать?
Расскажи о парсинге файлов XLS / XLSX с объединёнными ячейками)
что посоветуешь для перехода с винды arch linux или debian?
Скачать их
интересует парсер на новые проекты на фриланс биржах, с авторизацией и звуковым уведомлением)
Учтите, что bs4 работает нормально только в том случае, если интернет-ресурс отдает уже сгенерированную html-страницу, что в наше время уже редкость. На данный момент весь html-контент генерирует javascript, что заставляет нас использовать микро-браузеры для загрузки html-страницы+обработка javascripta. Сейчас все популярнее phantomJs
Тааак стоп ты передпалагвешь изучить HTML CSS JavaScript?
@@programmingand7626 ну джаваскрипт - нет. Я имел в виду, что для нормальной работы bs4 необходимо полностью прогрузить html-страницу. Полностью прогрузить имеется в виду заставить браузер обработать javascript, которые используют сайты для того чтобы генерировать html-старничку. Как только страничка будет отрендерина, можно применять bs4. Принцип предварительной прогрузки страницы используются в новом видео Черный Труегольник (Парсинг с Selenium)
А самое главное автоматизация поиска под человека, а не под корпоративные хотелки;)
Треугольник, поздравляю тебя со 100к сабов
Подскажи пожалуйста , курс подойти для начинающего в изучении питона???
почему не selenium?..
оно видится немного велосипедом
Поздравляю со 100к
Доброй ночи... подскажите пожалуйста такой вопрос , у меня адрес Биткойн кошелька 34 значный действующий... а бывают щас уже 42 значные зачисление средств произойдёт на него с 34 значного ? А то как то мне , один обменник не смог зачислить Битки на такой вот длинный кошелёк больше 36 символов который...
Словил инсульт от нейминга переменных
А как внедрить библиотеку с переводом?
Привет, поможешь с парсингом цены криптовалюты, никак не могу понять?
Что за музыка играет в видео?
Привет, видео топ. Можешь дать пару советов. Я решил установить linux. Каким ты пользуешься? Или какой можешь посоветуешь?
Ссылка в описании на другой курс, не соответствующий названию
Извини, друг, ты писал, смог есть сома курса по Python, но страничка не активна, можешь обновить ссылку?
Поздравляю с 100к!
Полезное видео для всех, благодарю.
Подходит ли данный курс для абсолютных новичков в программировании?
Класс, спасибо! Однако, не не совсем понятно для чего нужна конвертация в str в if на строке 21 str(temes)? Спасибо за ответ!
Оператор in в условии ищет строку в строке(в данном случае 'github.com'), но temes не является строкой(это список) и поэтому нужно его обернуть в метод str, чтобы он был строкой
Поздравляю тебя дорогой друг со 100к Сабами !!
Можешь расказать про обход капчи, а особенно про Google капчу?
Выгорел после 2х лет безбашенного кодинга и никак не мог приступить опять что-то постигать, но твои последние слова сильно зацепили.
Появилась небольшая искорка, из которой может опять разгореться великое пламя.
Спасибо.
я также сгорел, причем я даже прогером не успел поработать)) года 2-3 для себя что-то делал и достало просто
@@nullnull295 Ну моя основная работа связана с программированием.
Только с питона я перешёл на полный стэк(фронт-бэк) js.
Привет, много надо времени чтобы обучиться пайтену?
При изучении курса чашку кофе нужно держать в руке?
Я человек простой - вижу Треугольник, ставлю лайк.
Какой линукс юзаешь?
Поздравляю со 100к адептов open source сообщества!
А как с помощью питона можно нажимать на жаваскриптовые кнопки на сайте?
Ребят, посоветуйте хороший и анонимный кошелек для хранения zcash, monero, bitcoin ?
На какой программе он делал этот код очень нужно?
списал код, но не работает. не ищет ссылки. в чем проблема?
крутейшая идея, питон я плохо знаю, хочу реализовать на js, можно еще кучу фишек всяких добавить...
привет питон без английского языка учить возможна?
Yes
Где можно тебе задать вопрос по коду который ты тут писал. Здесь не хочу засарять эфир. )
А мне доступ к сайту заблокировали:(
но я создал генератор ссылок и оно может передвигаться, жалко ничего не находит из-за блока(
думаю прокси поможет, но его мне делать лень :D
Такой позитивный, по сравнению с ранними видео
Парсинг со временем всё меньше работает. Если на страницу как сейчас модно, подгружается только javascript, который динамически генерирует контент или отложенно подтягивает его, то парсить нечего. Многие сайты недолюбливают сам факт парсинга и банят. Хочешь контент - заходи ручками и смотри.
Ну так раз JS подгружает контент динамически, ещё проще брать данные из XHR 🤷♂️
А что если я вхожу на сайт через логин и пароль ? Тоже можно же парсить ?
поздравляю с сотней тысяч подписчиков!
можешь, пожалуйста, сказать какой дистрибутив гну/линукс ты используешь?
Раньше debian + xfce, сейчас debian + dwm.
дебиан ведь с системд....
@@augustwalter2586 уязвимости есть везде :-\
@@augustwalter2586 плюс еще есть сборки с вырезанным систем ди
@@augustwalter2586 если хочешь по настоящему анонимную систему, то из исходников собирай ядро линукс, все собирай из исходников. Перед этим аудит проводи. Драйверы пиши свои, ведь почти все драйверы проприетарны. И собирай свой собственный идеальный по-настоящему безопасный дистрибутив. Плюс присмотрись к арч и генту - линукс. Если новичок, то дебиан - идеал и баланс.
Как парсить blob js c сайта?
А почему парсинг всегда ассоциируется с питоном?
Привет! попытался воспроизвести, на выходе-0, ошибки, есть ссылка на текст
'''ПРИВЕТ ЧЕРНЫЙ ТРЕУГОЛЬНИК '''Вопрос стоит ли регистрироваться на Ютубе Под данными с этого аккаунта или другими данными''' '''
Как на счет сделать парсер-монитор цен на авито? Хочу посмотреть именно твой вариант. Код у тебя хороший)
Авито нельзя парсить
@@marcusrk2007 почему? ЧТ в конце говорит что у него мониторинг цен для онлайн магазинов
@@stranger_6698 потому что у них в правилах так написано
Это wim ??
Рассказываю о том, как начать свою путь в Кибербезопасности. Озвучиваю книгу по криптографии и шифровании на Python. Присоеденяйтесь!
Как называется жанр музыки, который играет на заднем фоне?
На эмбиент похоже
Distance - Karl Casey
@@jw200 благодарю
в этом мире побеждает тот кто умеет вычислять по айпи!
НУ ДРУЖИЩЕ, какой if x==0: Что это такое ? Почему ты не используешь возможности пайтона ?((((((((((((((((
Если не секрет, то что ещё у тебя автоматизировано?
создание видео
Nu a algorithm interesnyj, nuzhnyj! Ja tozhe parsery pisal na rabote. LIKE!
Почему голос повторяет вычисление ссылок, если подразумевает вычленение )