№388 - ПАРСИНГ сайтов, 40+ советов для ЗАРАБОТКА на парсинге в России. Делимся опытом.
HTML-код
- Опубликовано: 18 апр 2023
- Еще больше и чаще пишу в канал t.me/bezsmuzi - подписывайтесь.
Наши проекты:
Бесплатная CRM offlinecrm.ru
Защита от скликивания рекламы clickfraud.ru
Мониторинг цен конкурентов xmldatafeed.com/
Разработка мобильных приложений notissimus.com/
Мне можно писать вопросы здесь: t.me/maximkulgin
Спасибо тебе за видосы. У меня сейчас тяжеловое время в жизни, но они реально помогают!)
Большое спасибо за информацию. Делаю первые шаги в мире парсинга. Было очень интересно!
Очень интересные мысли. Сегодня ваш канал в рекомендациях появился и я подзалип на канале. Очень полезно. :)
Периодически тоже заказы на парсинг приходят, сталкивался с частью проблем, озвученных в видео. Но и нового для себя тоже взял. Спасибо за ваш труд по созданию полезного контента. Очень крутой канал. :)
Спасибо 🙏
Очень интересно было послушать, спасибо за прозрачность
спасибо за информацию и открытость. понравилось. подписался.
Вот тебе свезло конечно) надеюсь дальше будет так же) удачи
Мега огонь! Очень полезно и интересно.
Спасибо
Как всегда топ инфа!
спасибо!
Круто что ты реально знаешь как тут тащить и юзаешь разные игры и тактики!
лучший бложик по айти за последнее время, который я видел) спасибо)
спасибо
шикардос, благодарен
Все верно! Удачи и процветания, коллега!
Спасибо
Оч хорошо, спасибо. Смотрю...
спс
Очень интересный видос! Работаю программистом, о собственном бизнесе даже не задумываюсь, но так интересно послушать что там творится. 🙂
Спасибо 🙏
Спасибо вам за информацию!
Спасибо
Пишу парсеры больше года за 2к рублей, услышал про прибыль в несколько миллионов, поплохело. Пойду заварю дошик, надо все обдумать
удачи. без шуток
@santy3546 как с вами связаться?
Пишу парсеры за 70к с базой данных
@@nikson9334 а где берете клиентов?
Пишу «парсеры» в гугл, кнтрлц-кнтрлв - работает. Продам за миллион - налетайте, только очередь соблюдайте
Вот что мне нравится, так это то, что в этом видео показано, как делать бизнес чисто на айти тематике. Никакого rocket science тут нет и в помине, идея бизнеса лежит на поверхности. Любой программист ещё в юные годы пытался что-то парить. А тут ребята сделали из этого достаточно доходный и стабильный бизнес. И рассказывают все нюансы. Респект за это.
Спасибо
Да, было полезно, спасибо
спасибо
Спасибо!
Правильно, что сказали про таймауты между парсинговыми запросами, про перерывы и т.п. Есть сайты, которые сами предоставляют данные, дают аккаунт и они жестко указывают частоту запросов, если вы их нарушите, вас забанят. Конечно, вы можете использовать несколько прокси с несколькими аккаунтами и тянуть параллельно данные. Но я, когда занимаюсь парсингом обычного сайта, придерживаюсь такого же алгоритма, чтобы ненамеренно не заддосить. А данные, в зависимости от области, могут идти на пополнение баз знаний, для ИИ и т.п. Обычно в компании такая задача даётся одному программисту и он, имея наработки в этой теме, может быстро спарсить новый сайт, настроить регулярное обновление данных с этого сайта и т.п.
Когда сайтов становится больше хотя бы 50 один не вывезешь даже если ты супермен. И это если данные не проверять вообще, парсер что-то выдал, значит результат. По хорошему нужен контроль выходных данных, обнаружение аномалий и тд.
спасибо за информацию! делаем агрегаторы с использованием парсинга - отлично идет! делаем сами, изучаем, развиваем свою экспертизу - на этом и работаем.
Видео полезно. Благодарю!
Удачи 👍
Я полностью доволен этим казиком. Играю здесь уже пару месяцев. Пока все гуд)🍊
Вовремя ты переключался, красавчик) так бы мог до талого играть и все слить) А сейчас окуп славил. Класс)
Интересное видео.
Максим спасибо большое за очень позновательные видео. Подскажите пожалуйста в каких нишах парсинг более всего востребован? Например из каких отраслей к вам чаще обращаются за парсингом?
Спарсят всё, вместе с ботом XD пасибо за интересный видос. Случайно наткнулся когда искал как бы струкрутировать инфу. и вааааау. крутяк. настроение поднялось.
спасибо
Благодарю за видео.
Выписал для себя 20 пунктов на вооружение.
А как рассчитать цену за парсинг? Объём то может быть разный. Чтобы зарабатывать, нужно же рачитывать цену за одну строку данных.
Было интересно послушать как человеку, который полтора года работал в отделе парсинга)
Некоторые вещи вызывают улыбку, но, в целом, очень здраво
Про яндекс.маркет и озон прям флешбеки. Особенно про маркет)
Мы три года парсим
Максим, спасибо за видео, очень полезно. Напишите, пожалуйста, название хостера для серверов (не смог расслышать)
net reack
Поиск не находит, можно прямую ссылку?@@MaximKulgin
Интересный видос, тоже в компании много парсим и сейчас строим проект сначала для себя, потом возможно выкатим публично связан с парсером организаций. Скажите пользуетсь ли selenium или другим движком для эмуляций действий. Ведь иногда парсить приходится не в лоб html контент, а получая данные после некоторых манипуляций со страницей (например карты) . Еще есть phantomJS, но пока это не использовал. Если не секрет поделитесь хотя бы намеком. Будет полезно
Все инструменты хороши, если тянется реквестами с beautiful soup, то их и использовать, если есть защиты или динамическая подгрузка, то само собой только эмуляция браузера или драйвер для управления браузером
А есть сайты которые банят по IP если не скачиваешь картинку?
❤
Доброго дня! Мне всё понятно, то, что Вы говорите. Бланодарен за информацию. А Возможно с Вами лично созвониться ? Как сконтактировать?
👍👍👍👍
Привет Максим, а я парсил и картинки) 12000шт с гугл, 5000 с янды, и норм, и можно даже сразу сжимать эти картинки, чтоб на хостинге клиента аесили не много😊
О, а еще скоро предстоит парсить около 3500*48=168.000 😢 ух епт, теперь понимаю какой звездец меня ждет, скажу цену в 20к клиенту ибо согнусь как гусеница со своим пк😅
Сервисы по подбору автострахования также работают через парсинг? где по номеру авто выходит вся информация по автомобилю
видимо да. но точно не скажу
Здравствуйте, подскажите куда пойти учиться чтобы научиться парсить! И освоить эту профессию с нуля!
Python и Scrapy, Beautiful Soup 4, selenium и умение работать с файлами
👍🔥💯💥💯🔥👍
Хорошие у Вас видео, не боитесь говорить так как есть, спасибо! Максим подскажите, а как Вы формируете цену на парсер (или любой другой продукт) для клиента, чтобы это была аренда, а не разовая оплата, с учетом того, что это будет индивидуальная разработка под конкретного клиента и как договариваетесь об этой цене, имеется в виду как обосновываете?
там же услуга. люди получают данные. и платят подписку
@@MaximKulgin Да,я понимаю, но вопрос вот в чем, например я хочу также как и Вы продавать проектную разработку но по подписке, услуга будет какой-то узконаправленной, чтобы была экономия на масштабе и кривой обучения. Тогда встает вопрос как определить цену для такой услуги, например мне заказали разработку программы, я посчитал, что ее разработка обойдется в 100 т.р., и как дальше? Например я могу поделить эту сумму на 12 месяцев, и брать с клиента 8 333 руб., но тогда возникает риск того что перестанут пользоваться и разработка не окупится. Еще есть другая ситауция. Клиент просит сделать доработку, как такую доработку включать в ежемесячную оплату?
Вакансии есть к вам на работу? Где посмотреть ? Язык не важен, ну экономия на серверах в зависимости от языка.
Я не буду отвечать за автора, но предположу что в цене разница ре сильно большая и питон и c# и php и go для этих задач подходят очень хорошо и разницы в хостере большой не должно быть
я для себя собирал быстро, но включал в то время когда сат минимум нагружен, чтоб не положить и проверял не забанили ли, подбирал тайминги.😁тот же hh парсил, 20 страниц быстро побежался ночью, пауза, еще 20. и не каждый день, раз в месяц общую статистику собрал и ушел.)) тот что тяжелый парсер у меня, он да, он идет с паузами 3-4сек. но он и парсит не 3 минуты а 30-40 минут.)) но там уже бегает по именно вакансиям развернутым, там нагрузка больше, поэтому тайминги такие чтоб не дидоснуть случайно.))
Сколько будет спарсить вк?)))))) Спасибо большое, очень интересно и полезно для тех кто решится
ВК ? его не спарсить
это была шутка)@@MaximKulgin
Единственная проблема в парсинге - постоянные платежеспособные клиенты.
Есть системы, которые способны автоматически генерировать парсер для конкретного сайта, и делать остальную работу (прокси , очереди, пайпланы данных и т.д.)
Генерировать парсер или разборщик разметки? Самая простая часть парсинга - это разобрать полученный контент. Остальные 98% работы это выявление закономерностей как сайт работает, откликается, паттерны блокирования запросов, ротация прокси и периодическая верификация структуры
Да
@@MagicMightNew половина из перечисленных вами задач достаточно проста.
@@sergeydeynego6949 проста, когда у тебя 10-50 средней паршивости источников, с которых должен быть стабильный сбор. Да и я не сказал, что остальная часть задач - сложная. Я только выделил самую простую из них
Что за системы?
трекк тайм 18:00 не совсем уловил , данные из инет магазина лежащие в открытом доступе парсить можно , но продавать нельзя ? не уловил чето совсем
Речь идёт о плагиате.
Т.е. о копировании данных с чужого магазина и размещения этих данных на своём в исходном виде.
как думаете возможно обучиться самостоятельно в нете парсингу и зарабатывать на этом в соло через фриланс?
и какие это будут суммы в месяц если реалистично?
боюсь что сложно...
только коммент написал и ютуб сразу выдал..🤣 спасибо!
Как определить, что сайт держит вашу нагрузку или уже перебор?
А вакансии есть? Я 2 года назад этим занимался
Пока нет
как у вас вскрывается капча? программно или человек ?
програмно
Круто. Почему не боитесь конкуренции?
Рынок большой
Выгрузки из яндекс услуги. Только данные, парсер не продаю😂
можно и так да
очень интересно, Изучаю Парсинг, прикольная вещь, буду развиваться. Подписался ан вас и в телеге
спасибо
22:40 по поводу "вы взяли данные и получаете выгоду" вы же по идее собираете информацию и продаёте её, т.е. получаете выгоду с помощью информации, которую собирали у себя на сайте другие, забираете её себе и перепродаёте так сказать. (не в упрёк, пытаюсь понять как это в плане законности работает)
Я тоже не совсем понял где эта граница, хотелось бы пояснений чтобы попе больно потом не было)
6:09 Никогда, никогда, никогда не покупай в офис ИТ компании стул ИСО за 1000 руб.! :)
Ага скрипит
Про парсеры сам думал, была идея saas сделать но по факту это такой геморрой, потому что парсеры постоянно ломаются если парсят более менее серьезный сайт и все это нужно поддерживать. Можно конечно сделать некий менеджер парсеров, но это как раз таки уже не так сложно и думаю такие решения уже существуют. Хотя в целом представляю себе гипотетически некий конструктор парсеров в котором предусмотрены компоненты которые часто используются для написания парсера, но опять же, слабо верится что можно будет добиться эффекта швейцарского ножа. Все равно придется писать кастомный код и накручивать костыли.
Я писал парсер объявлений с Яндекс.Услуг. 3 месяца проработало, а потом сломалось. Хотя парсил с таймаутом по 2 секунды между запросом и 30 минут между обходом всех страниц в выдаче, чтобы не наглеть. В итоге тот еще геморрой был. Периодически меняется api, блочат по ip, усложняют каптчу и так далее. Как будто специально хотят усложнить парсинг. Потом чтобы они меня по ip не банили перевел парсинг запросы на их же лямду. Ежемесячного бесплатного гранта хватало на парсинг))
Так и есть
Церебро, Таргет Хантер и Пеппер Ниндзя свои парсеры для вконтакте сделали и теперь между собой конкурируют, чтобы таргетологи вк несли им деньги, а деньги там приличные.
Если вопрос не решается в лоб, он решается иным подходом. Например,, накопить огромную базу соответствий задания, исходных структур данных и полезной части скриптов паркинга или методов обхода и скормить нейросети. Затем долго бить её по пальцам через обратную связь на простых, постепенно усложняющихся примерах. Но магия и узкое место в размере базы для обучения. Сотни российских сайтов совсем не объем, однако все сайты мира вполне вероятно для раскачки ИИ-парсера. Рутина - это то, чем должен заниматься компьютер, а не человек. Здесь рассказчик всю дорогу говорит о рутине.
@@Valera374вк имеет апи, легальный. Там и парсить то ничего не надо.
Менеджер парсеров как инфраструктура - любой оркестратор.
Менеджер парсеров для заказчика - готовый продукт, который, насколько я знаю, никто даже продавать не торопится. Ибо не выгодно.
Конструкторов парсеров как говна за баней. Сложность парсинга не в коде парсера. Написание кода это примерно 2% от всей работы. Автоматизировать тут что-то да куда уж больше? В питухоне есть целые фреймворки, в других языках ну на пару строчек больше писанины, но это вообще не критично.
Интересная тема. Думаю вот как к ней грамотно подойти пока в продуктовом смысле и разогнать на физических лиц....
Зачем это физлицам? Физлицам помог бы например парсинг фото соцсети от экстремистской компании. Чтобы там получить ответ что сегодня модно, например. Но физик не вывезет это по деньгам.
Макс, почему нельзя просить е-мейл и телефон, ведь, это тоже открытая информация.
Когда пользователь вводил данные, он согласился на "обработку персональных данных".
парсить где? на сайтах компаний? да можно
@@MaximKulgin на маркетплейсах и досках объявлений.
@@Ty_Sila "Когда пользователь вводил данные, он согласился на "обработку персональных данных"" на обработку площадкой, а не кем попало. от таких как ты этот закон и защищает
💥👋
спасибо бро
Вы какой программой парсите? Басом?
Net core
Тенором
а вы не пытались спрашивать почему они так реагируют негативно?
это же вроде не продавцы на рынке, которые думают, что цены у них нельзя снимать
Ты не поверишь
@@alexeykerdivare😂
Здорово, конечно, слушать про OVER NINE THOUSAND рублей выручки, но что насчёт прибыли? Может, она у вас отрицательная вообще? По своему опыту знаю, что, замалчивая прибыль и заменяя её в презентации выручкой, докладчик стремится манипулировать кадрами низшего звена и кандидатами на равнозначные им должности.
данные на сайте ФНС открыты для сомневающихся.
@@MaximKulgin Не поленился залезть и почитать про ООО "РЕФОРМА". Суммы доходов и расходов по данным бухгалтерской отчетности организации выглядят плачевно и не переубедили меня.
Не пойму, почему матчинг товаров не получается? Мне эта задача кажется тривиальной.
очень сложная задача
Потому что все карточки заводят по своему, попробуйте найти обычным поиском товар определённый, кто-то в названии указал модель, а кто-то нет итд.
кого сложнее всего парсить, я бы отметил днс скорее всего
да. и их тоже.
citilink мозг делает очень
Минус - нужна обратная связь. Ваша дополнительная прибіль.
А почему именно мобильные прокси, а не серверные? С какими проблемами сталкивались?
Спасибо.
мобильные реже блочат
Чтобы не нагружать сайт запросами чрезмерно, можно интересующую страничку с информацией получить единожды в формате html на жёсткий диск. А потом уже никуда не отправляя никакие запросы распарсить эту страничку и извлечь интересующее.
Ajax запросы слышал? Html часто голый
Че за сытный окуп пришел)) офигеть я тебе завидую с такими винами)
Что касается it и тем более ИИ, хочу сказать что я понял одну вещь: никогда не говорите никогда, потому что потом будет стыдно и смешно. Про ИИ уже говорили: он никогда там не сравнится с человеком, он никогда не сможет творить и тд...
На любую задачу найдется алгоритм который будет справляться с ней лучше чем человек. Потому что вычислительная мощность процессоров на порядки быстрее чем у мозга. И задержка в передаче сигнала ниже. Человек пока что алгоритмтчески опережает компьютеры в решении некоторых задач, потому что уже натренирован на их решении и архитектурно оптимизирован. Это лишь вопрос "когда", а не "будет ли".
Не стоит переоценивать ML инструменты. Это всего лишь инструменты. Эффектные, эффективные, но не универсальные. Лобзик круче человека пилит, но он не круче человека и никогда(в обозримом будущем) не станет круче. Все сегодняшние достижения нейронок должны были случиться лет 10 назад, по прогнозам моих преподов. Они этой темой бредили еще в начале нулевых.
Я в этой теме уже 20 лет варюсь. И в парсинге 10. Сматчить товары - говно вопрос, сделать ML парсер - маловероятно. Мы пытаемся, но не так все радужно. А ведь написание парсеров это не рокет сайнс далеко.
Вся вот эта чушь про вычислительные мощности мозга это вообще о чем? Это вообще задача, к которой даже подступиться пока непонятно как. Не ясно что именно измерять. Есть какие-то громкие заявления, но они являются просто теорией, ничем не подтвержденной. Во всяком случае пока. Мы про мозг знаем гораздо меньше, чем про компьютер. Знали бы больше, может и общий ИИ бы развивался, а пока только прикладные инструменты.
А что если российские сайты наконец поумнеют и будут продавать доступ к своему API? Тогда ваш бизнес просто умрёт.
Да
Авито с платным api доступом, например
А если в html коде нет информации (сделано на js. - react, vie js) - тоже спарсите?
Естественно, если Вы что-то видите в браузере, то это видит и парсер.
@@alexandr.goncharov как? Например у букмекеров js, как там спарсить. В режиме разработчика видно все теги, а если открыть код страницы, то там их уже нет, за место их стоит js.
@@nen5868 Смотреть внутренний код, что отправляет сервер , обычно в JSON или JS.
Это вообще-то не очень сложно, есть обфускация, помноженная на cloudflare, капчу , всякие детекты с блоком proxy, по фингерпринтам иногда детектят.
Под многие языки работает Selenium (можете погуглить). Это драйвер браузера, которым вы из кода командуете и эмулируете действия простого пользователя. Сейчас все то, что вы видите в браузере, можно спарсить.
слушаю взахлеб
для статистики: тоже программист, бизнеса нет
спасибо
И это всё не пиздеж 😊. Парсинг хорошая тема, правда что то не пошло у меня. Заказов нет и нет, пошел в 3D печать, а хуль жрать что то надо...
что за 3д печатать
@@axelvermontov6607 печать на 3D принтере всякой пластиковой хрени. автозапчасти, бытовуха и т.д.
парсю более 4 лет, все что угодно, основные клиенты это конкуренты или НР
Что такое hp?
Парсить не сложно, сложно клиентов искать.
Это всегда сложно да
@@MaximKulgin ну вот я пытался, даже сайт сделал, потом понял что ни когда клиентов не найду и сейчас занимаюсь более продуктовыми штуками. Они наверное более рисковые и неопределенные в моем случае, но по крайней мере заходят, я даже могу сказать что не плохо зарабатывают, а с парсингм был тупо ноль, хотя я парсить то вроде умею.
И по поводу каптчи хотел высказаться, что в наше время это конечно дикий архаизм использовать каптчу на сайте, и особенно подписывать что мол Проверяем что вы не робот. Полная чушь и деградация. А самая адекватная защита от парсинга это обфускация API, периодическое обновление API, обфускация ответов сервера и кода на клиенте, запутывание http контрактов для общения с сервером, куча кук которые выдаются по какой-то не очевидной логике и конечно знание метрик своих клиентов, настройка прокси сервера чтобы отпинывать или банить тех кто, например, делает в 5 раз больше запросов в секунду чем 90 перцентиль клиентов. Меня дико бесят каптчи со светофорами и автобусами, и особенно когда твой правильный ответ считают неправильным. Полная дичь и отсталость. Точно также как и чекбоксы с галочками которые обойти как 2 пальца обо$$ать.
Все эти защиты ведут к нестабильной работе сайта при разнообразной клиентской базе браузеров. Обфускация, конечно, хорошо. А усредненная нагрузка со среднего клиента может быть искусственно задрана в ночные часы десятком подключений через разные IP.
@@alexeykerdivare каким образом каптча является альтернативой в этом случае? Я просто сказал что может помочь. И это точно не каптча))
Пробовал найти подработку, по пирсингу. Бесполезно. Учень узкий рынок.
Я понимаю что вы профессионал в своём деле! Но вы в серьёз считаете что proxy или всякие торы вам помогут быть анонимными? Они конечно же помогают в анонимности людям, которые нахрен никому не нужны. Но грамотному специалисту просто понадобится больше времени чтобы вычислить. Где нужно было бы 10 минут, ему понадобится 30 чтобы выследить всю цепочку. Просто как вы правильно заметили, что вы работаете в рамках правового поля, и выслеживать вас никто не будет. Ну может кроме конкурентов. Вот от них возможно анонимайзеры и защитят, ибо не у всех кулхакеров есть скилы и инструменты для подобной работы. А вот у IT криминалистов они есть)) И они Очень мощные, и Очень мощные сервера
Мы работаем в правовом поле всегда
Эм. Обученный берт и кой-какие препроцессоры и постпроцессоры матчат товары в 90+% случаях. Сложно? Вообще нет. Обучить берта имея хренову гору матченых товаров в датасете изи.
Плохое качество в итоге
@@MaximKulginотличное качество. Когда речь идет о миллионах товаров
Почему этика для Вас - это ничто?
в чем вообще смысл говорить клиенту что вы его парсите? ну парсите и парсите, ничего такого. зачем на ровном месте создавать конфликт интересов, озвучивая это.
Если спросят только
Алоха - на лоха
Даже жалко Вас стало. С такой болью рассказываете о своем бизнесе. Так Вам не легко деньги эти даются
не легко.
а как продавать 2gis, если не парсить 1 в 1? Заказчики же хотят именно ту инфу, что на сайте...
Можно парсить и обогащать
Полно бесплатных парсеров 2gis, стыдно продавать.
@@alexeykerdivareстыдно покупать, продавать нормально 😊
Заблуждение в том, что нельзя бороться с парсерами. Согласен только, их совсем не победить, но можно сделать так, что заказчик просто не осилит ценник у парсеров. Парсинг станет экономически не выгоден. Хороший админ это сделает не потея. Жаль, что вы этого не понимаете. Что на том конце сидит админ, а вы так и будете действовать по шаблону. Я говорю не про монстров рынка, а про обычные средние и мелкие фирмы.
Вот у меня был случай. Юридическая фирма в сфере авторских прав заказала парсинг одного бренда. Туда попал и мой сайт. Авторское право было как предлог давления для выравнивания цен на рынке. Эта была увлекательная война. В которой я победил. Я научился в логах на глаз уже отличать паука и от живого запроса. И чем дальше шла война, тем больше я учился.
Да, конечно сервер был не в России. Чтобы не было абуз от юристов. Потому что у нас законодательная импотенция. Вот и существуют такие юристы и даже юрлица оказывающие услуги по парсингу.
И почему такие говноеды как вы, говорите, что вам насрать на моральную составляющую и при этом говорить о какой то этике парсинга? Эдакие геи на пол шишки.
ясно. я говноед. а вы молодец, весь в белом. я таких как вы очень люблю.
Блин, чувак, да ты крут! Можно у тебя взять пару уроков офигенности?
Продам базу 2 ГИС
это не законно
@@MaximKulgin Спарсил. Вроде законно все. Продаю за 2 500. Актуальность март
Тоже есть эта база, вся снг
Посмотрев одно его видео, вы уже знаете суть его 99% видео. Чувак с пустого в порожнее в каждом видео переливает. Парсинг, скликивание, нужен продукт, грант от государства на 4 млн и в айти все нет хорошо, как вы думаете. Вот про это он в каждом видео толчет воду в ступе.
И вам не хворать
Я те больше скажу - даже профессора-популяризаторы, пытаясь освещать свою отрасль и точку зрения на главные вопросы, скандируют одно и то же. Курпатов, Дубынин, Дробышевский. Что уж говорить о тех, кто просто раскручивает бизнес. Более-менее оригинальны контент-мейкеры, типа veritasum, thosoi и других популяризаторов науки широкого профиля, у них каждый раз разные приключения. Вы сами попробуйте быть оригинальным долго.