№287 - ЗАРАБОТАЛИ 7.5 млн. на ПАРСИНГЕ сайтов... делимся ОПЫТОМ как ЗАРАБОТАТЬ?
HTML-код
- Опубликовано: 21 окт 2024
- Еще больше и чаще пишу в канал t.me/bezsmuzi - подписывайтесь.
Наши проекты:
Бесплатная CRM offlinecrm.ru
Поисковик для бизнеса tapki.com/
Защита от скликивания рекламы clickfraud.ru
Мониторинг цен конкурентов xmldatafeed.com/
Разработка мобильных приложений notissimus.com/
Мне можно писать вопросы здесь: t.me/maximkulgin
Никогда не понимал, если человек нашел колодец с деньгами, зачем он рассказал о нём другим. Это метафора конечно. Но вывод думаю ясен.
нашел сферу более выгодную
правильный ответ вы уже сами знаете - этот человек ПИЗДИТ и пытается вам что-то впарить, типичный прием инфоцыган
В данном случае другим придется такой же колодец вырыть. Не у каждого есть желание и средства на это.
трафик создает же
Может, зарабатывают не на парсинге, а на сборе данных, которые люди вводят на сайте для скачивания.
Всё круто рассказал и по делу. молодец. Не знаю зачем смотрел, мне это не нужно т к работаю механиком
🤣🤣🤣 это ютюб, никогда не знаешь куда тебя может занести
отличное видео! лайк и подписка!
какой портрет потенциального клиента (компании)? это retail конкурентов мониторить или перепродаваны или ещё кто?
сам занимался парсингом сайтов (но мониторил не цены, а нечто другое), но не я искал, а меня как-то находили. и давно это было, ещё 2011 и на Perl парсер был regex'пами, жесть! :-))) сейчас понятно дело появились headless браузеры типа PhantomJS/CasperJS или XULRunner - они в отличие от голых скриптов почти неотличимы от реальных пользователей браузящих тем же Chrome и т.д, а вот раньше было оууу прям - всё скриптиками и "ручками" :-)))
больше скажу: все retail сети следят за конкурентами, в т.ч. и оффлайн! да-да, реально ходят "засланные" люди и фоткают прилавки, затем машинное зрение распознаёт ценники (вплоть до штрихкодов!) и сводит цены конкурентов и свои в единую таблицу и анализирует (с учётом положения товара в зале какой стеллаж и полка). это уже давно реальность, а не фантастика, у меня сосед директор конторы ("одной из", их несколько, конкуренцией и не пахнет там), которая этим занимается для X5 RG. контора небольшая - оборотка (не прибыль, а оборот именно) миллионов 40 в месяц примерно (это небольшая контора считается, да). я даже его CVшникам маленько пробовал помогать, упрощал алогритмы поиска бирок вроде того ;-)
P.S. С 2007 по 2011 помню работал в отделе перспективных разработок "великого и ужасного" СОРМ, там парсили на 40гигабитах (оптика на Tilera TILE64) в т.ч. даже 3G (UMTS) трафик и видеозвонки даже вынимали (в обе стороны), не говоря уж про SMS/MMS и голосовые звонки, поэтому после этой "каши" уже парсеры для Web я писал "с закрытыми глазами" :-)))
у нас все клиенты с сайта приходят.
обычно хотят парсить конкурентов, цены и т.п.
с таким бекграундом - сейчас чем занимаешься?
@@1153rus игрушки пишу.
приносить людям радость приятнее, чем следить за ними :-)
pointvoucher.com (игрушки-казуалки) и wowcube.com (там я ОС вообще накатал взамен тормозной freertos и фреймворк на Pawn сделал для простой разработки игр, но сейчас почти не занимаюсь, времени мало)
точнее платформы и бэкэнды для игрушек в основном - там apache kafka и анти-чит самописный и "бигдата" на elasticsearch+kibana и много всего интересного...
из условно самих игр - недавно написал на C++ два движка для blast и match3 игр - они и в WebAssembly (есть видос с простеньким UI у меня на канале) в браузере работают и из Unity (есть отдельная юнити команда для красивостей и эффектов, с меня был толькол движок сам) native плагином ;-)
единственный ютубер, у которого скорость не надо ставить на х2 :)
спасибо
Согласен. Просто выключил:)
Обычно смотрю на 1,75, а тут выше 1,25 не получается))))
На х2 комфортно
На 1,25 идеально
"Здесь сидит бухгалтер у нее работает компьютер!! " - шутку заценил)
Не было никакой шутки
Делал парсер чисто для себя. Парсер оперативно собирает последние заказы на фриланс бирже и отправляет мне на телеграм через бота. Сделал период опроса в 10 минут. Чаще не рискунул, чтобы не заблокировали IP. В общем парсинг действительно актуальная тема в век информации даже для персонального применения.
добрый день, с помощью чего можно реализовать такой парсер?
Я делал на PHP запускал на сервере через Cron
интересно - upwork или кого-то из рунета?
@Герда Шило готов сделать если надо
@@ТАБЛЕТКАСМЕХА-ф4г ну и какой ты профит получил
Сразу видно спеца по структурированию! По списку четко и понятно!
Человек на видео - адекватный и не глупый человек. Таких сейчас не много. Очень понравилось видео.
спасибо
Случайно вышел на ваше видео, и очень доволен увиденным.
Хорошее видео, спасибо.
Я сам программист, и вы прям интересны, не думал что рынок парсинга такой большой и агрессивный.
До сих пор не понимаю как получается видео такое интересное очень редкий в ютубе контент
Максим, если не секрет, технически парсите своими скриптами (скачиваете текст странички и там regexp'ами поехали, ну например) или используете headless browser (он уже сам DOM сформирует как надо и внутри инжектится свой JS код) ?
и так и так, как проще так и делаем...
спасибо, очень интересно!
сам регулярно парсерами пользуюсь разными, но не товарными
вопрос с зарубежными заказами остался не раскрытым - ну правовой риск возможно, но в остальном-то все тоже самое? менеджера с инглишем для общения, на upwork как агентство зарегиться - там рынок шире при тех же затратах, разве нет?
согласен, надо как-то туда выходить. Я даже не изучал еще вопрос... но спасибо за мысли. изучу
Помню как изначально нашел этот канал. По рассказам про маячки. А потом "да парсинг, чего там делать то". ))
Из своего опыта выскажу пожалуй следующее направление развития - ML при добавлении нового сайта + корректировка правил парсинга при изменении на сайте. Несмотря на то, что я делал движок на котором джуниор добавлял новый сайт за 1-4 часа, все равно хочется получить максимальной автоматизации. Курю вот сейчас нейронные сетки. Там точно есть перспективы.
Без воды и прочей ерунды!Офигенный контент!!!Лайк однозначно
спасибо
Лайк от души! Успешно занимался парсингом ещё в конце нулевых. На регулярных выражениях тогда собаку съел. Стек был такой: пых with regex + сервисы анкапчеры + муська для записи этого барахла, бинарники просто по папкам распихивал. Ну и апач, естественно. Какие там личные кабинеты? Размечтались вы не слабо )) Малейший рефакторинг фронта у донора и в лучшем случае редактируешь свой парсер, а худшем пишешь всё заново. Оценить правильно ли работает парсер, запущенный по крону может только живой человек. Если ответ сервера 200, ваш парсер будет парсить и напарсит вам на кассовый разрыв )) Я парсил в основном англоязычные ресурсы, благо он у меня fluent. Чтобы зарабатывать больше в 2020 году и дальше, нужно выходить на западного заказчика. И денег больше и рисков меньше, что за жопу возьмут как соучастника кражи контента. А вообще тема очень интересная. Эх жаль, что я не вписался к вам в команду в 2018 ((
Да вы правы но мы пока не можем выйти на запад
@@MaximKulgin У них жизнь очень дорогая, особенно, если брать США и Канаду, отсюда и доходы выше. В той же Флориде, чтобы тупо не протянуть ноги и платить по кредитам, нужно зарабатывать минимум пять тысяч баксов. Поэтому жить нужно здесь, а зарабатывать там. Благо интернет это делать позволяет )
Создавайте свою команду, зачем вам вписывается в чужую?
@@MasWas-l1q Легко сказать. Во-первых я занимался этим давно, когда ещё был php4. Во-вторых я парсил базы по автозапчастям и аксессуарам не на продажу, а для своих целей. У нас с братом тогда была своя фирма, он продажами занимался, а я программированием и рекламой. И мы набили в результате два огромных каталога. Я парсил, сводил в эксель, переводил с английского, готовил экселевские файлы и писал скрипты, чтобы загнать их с екселя в наши каталоги. Трафик на сайтах тысяч 5 посетителей в сутки тогда обеспечивал. Мы потом разругались, как водится, и фирма развалилась. Сайты эти теперь пылятся на моём винчестере. Ну ещё поразвлекался слегка с CPA сетями, но это не для печати ))
@@Vladikslavik ругаться это вечная тема, сколько хороших бизнесов загнулись из-за того что люди поругались. И меня это стороной не прошло).
Ну вот люди как то налаживают по новому бизнес, если лежит к этому душа то нужно пробовать. Я то вообще первый раз в жизни такое слово (парсить) услышал)))
Здорово рассказал. Куча инсайдов. Точнее рассказал о моих страхах и хотелках, о которых я думаю, но не проверял)
Велком :)
Макс, 7,5 на парсинге - это конечно круто! Вы молодцы.
В этом году 100-пудово поднаберете ещё в базу постоянных заказчиков и к концу 20-го года у вас профит с парсинга за 10 лямов уже перевалит.
Если не секрет, сколько у вас в команде получают программисты, которые занимаются парсингом?
Около 100 тыс. мес.?
Хочу просто податься в IT, интересно, сколько я например как разработчик парсеров мог бы получать ЗП.
Это зависит от вашей квалификации
@@MaximKulgin ну, хотя бы примерно. Есть же наверное какие-то планки от/до по зарплатам в направлении парсинга?
@@anonym1548 парсинг разного уровня сложности бывает. Где-то достаточно знать просто как запрашивать данные и разбирать их регулярными выражениями, а где-то плюс к этому всему, необходимо подменять куки, использовать распознавание капч, номер.телефонов, использовать прокси, ограничивать количество потоков, подменять информацию о "браузере", да, полно всего, зависит от ресурса и как этот ресурс защищается от парсеров.
Я писал парсеры лет 6-7 назад, у меня сложилось впечатление, что на них много не заработаешь. Собственно, когда я увидел в рекомендациях видео с данным заголовком о 7,5 млн, я не смог пройти мимо. Обычно для фрилансеров стоимость написания парсеров колебалась в районе 5 тысяч рублей за парсер, не знаю как сейчас.Типичный заказ вида - у нас имеется эксель документ с 15000 наименований товаров, необходимо эти товары добавить в базу данных(напр. MySQL), с определённой структурой. И, были днищенские предложения, как есть какой-то торрент трекер, или какой-то сайт со статьями, необходимо весь контент парсить на этот днищенский ресурс с других сайтов, рублей 500-1000 платили. Ну, и само собой, парсить святой яндекс маркет, и выдачу поисковиков.
7.5 млн для студии с офисом это не сильно много.Считаем 7.5 млн поделить на 12 мес = около 10 тыс долларов в мес.Если чистая прибыль сказали 30 проц. = 3 тысячи долларов в месяц.Зависит от того сколько сотрудников.
@@php585 это сколько же парсеров нужно написать и клиентов иметь, которые закажут парсеров на такую сумму?
ПОДПИСКА! ВСЕЛЕННАЯ ЖИВА! в крайнем случае, мой телефон слушает и анализирует разговоры и ты попал в рекомендации. ВОТ ЭТО ПАРСИНГ Я ПОНИМАЮ!
Экономика, в которой занимаются «переливанием из воздуха в воздух» (то есть обычная перепродажа, базирующаяся на рекламном бюджете, продвигающем товар) - обречена.
Потому что экономика - это вдолгую. Экономика, - это когда Вы создаёте что-то, что нужно в реальном секторе экономики. Любой здравомыслящий человек за рубежом не видит смысла покупать где-то, кроме проверенных магазинов - Amazon, Barnes&Noble, eBay, Walmart, C&C, iTunes Store, - то есть там, где есть все: и влияние репутации продавца, и защита финансовых транзакций, и дешевая доставка, и конкуренция акций и предложений...
Это «экономика здорового человека». А переливание данных туда-сюда, нанимающие офиса с девочками и бумажками, продвигающими купленные отпаренные данные, - это пустышка. Это - «экономика курильщика». В смысле не своего туго набитого кармана, а благополучия своего и страны - пустышка.
"Переливание из воздуха в воздух" это, уважаемый, ваше сообщение.
Не сочтите за грубость, но мнение очевидного профана видно из далека.
Я соглашусь, что перепродажа это не всегда есть хорошо, но ваши примеры это тихий ужас.
Это так тонко, что очень даже толсто ) Паразитный парсинг в xml ) Минут 10 смотрел внимательно, потом появилась улыбка и понимание, что меня начинают "причёсывать") Начало было хорошим, потом такое себе...
Привет ) как хобби сейчас пишу парсер ютуба. Интересное это занятие. И интересно было послушать ваш опыт ) может даже и из-за ваших статей начал писать парсер . Прочитал статью на хабре и решил попробовать получить информацию с ютуба , и тут понеслось )
:) рад что помог
Я раньше баловался парсингом. Лет 5 назад был у меня заказ на парсинг корейского интернет-магазина одежды. Обсудили, начали парсить, но не сработались. А потом я узнал, что они сделали копию этого магазина на русском языке. Заказы шли напрямую на корейский сайт, а владелец русского сайта получал свою комиссию с каждого заказа. Покупатель узнавал, что купил у посредника с наценкой только когда получал заказ на руки. Их юрист сказал, что никаких законов об авторском праве они не нарушают.
Добрый день! Спасибо за полезную информацию. Подскажите пожалуйста в вы как руководитель данного бизнеса насколько глубоко разбираетесь в программировании?
На уровне бейсика :)
На уровне Бейсика?))) тоесть с нуля решил в ИТОГЕ бизнес, без Ит образования?? Наверно партнёр по бизнесу Итишник.
Максим привет! Скажи пожалуйста каким микрофоном пользуешься для записи видео? Буду вести блог на ютубе, звук у тебя хороший.
Обычная петличка на проводе и телефон сотовый :)
@Максим Кульгин использует Boya BY-М1. Только нужно учесть, что под Android не получиться писать на стандартную программу записи, т.к. там нет возможности выбрать источник звука. Я два таких микрофона вернул в магазин с формулировкой "неисправный" пока это понял. Пишу на через эту программу play.google.com/store/apps/details?id=com.flavionet.android.cinema.lite&hl=ru . Приложение понравилось на столько, что даже хотел купить, но остановился, т.к. люди писали в комментариях, что с Lite версией все работало отлично, а вот купленная работает отвратительно. Итог можно оценить в роликах митапа "Коротыш" ruclips.net/p/PL1zbPsX3szFu_YYrhnZ7iZDGkpOV84rXE они все писались на эту связку (через смарт Philips Xenium X588).
Максим отличное видео. Хорошая информация. Спасибо
Хз как сюда попал, но любопытно
Рад что понравилось
Та же тема "хз как сюда попал, но интересно"
По счастливой случайности я видел как программер создал прогу, в 2000 г +/-, которая парсила сайт одного из ведущи игроков в некой отрасли и можно было копировать его цены, и менять сразу все, например понизить на 5%.
Тема интересная, конкуренты видимо анализируют друг друга и им ради этого не лень изучать эти базы данных с огромным количеством позиций? Еще агрегаторам по идее это может быть интересно(или своего агрегатора создавать если), но опять же не возникнут ли претензии у сайтов, с которых берутся данные(даже если с агрегаторов они тоже получают трафик). Я неоднократно в том же западном интернете встречал агрегаторов по job-сайтам и они и сейчас существуют. И если говорить о работе, я и вакансии встречал за границей, где так и было написано, что нужен Programmer с Parsing Skills, и тоже пришлось думать, чем там придется заниматься и не будут ли там вопросы о том, правомерно ли это. Мне с данными работать интересно и с .csv-форматом я часто дело имел, интересно, требуется ли какая-то обработка данных после парсинга, и этим занимается отдельный человек, или тот же, что и написал парсер? В принципе, мне интересны виды деятельности, связанные с обработкой данных, а может и с анализом, поэтому интересно, какие бывают работы с этим связанные, и люди, которые этим занимаются, они программисты или аналитики считаются по профессии?
Спасибо Максим, Вы как никто рассказали всё чётко, по делу и не скрывая важную информацию.
Спасибо 😊
НАЧИНАЮ!!!))) сегодня предложил разраб на работе открыть бизнес... и тут такой видос))) спс))) я тоже разраб)) как кейс - огонь!
реальная тема, занимаюсь не первый год - ваяю парсеры как конфеты, Макс ищет просто новых клиентов! могу раскрутить ваш проект - и не просто раскрутить, свои сервера с большими возможнастями!!! интересно!!!
Здравствуйте. Меня заинтересовала тема парсинга, как только потребовалось вытащить данные о фирмах из 2гис. Скажите, как этому обучиться, какое ПО нужно для реализации работы? Какие финансовые вложения нужны для старта в этой нише, и возможно ли справиться одному, по крайней мере сначала? Как долго обучаться этой теме до самостоятельного написания парсера ?
Я постараюсь записать видео на эту тему
купил в свое время парсер для 2гиса, пользуюсь периодически
цена - 200 или 300 руб (не помню уже точно)
это я к тому, что экономику вопроса тоже продумать надо когда начинаешь чем-то заниматься
@@1153rus Согласен) Начинать заниматься таким объемным видом работ, дабы написать парсер для 2 гис... Но я просто узнал об этом направлении именно через потребность в выгрузке данных из 2 гис в эксель
Максим, современные автоматизированные инструменты парсинга пока не заменяют разработчиков?
нет :) совершенно
Не знаю, как я сюда попал, но было интересно послушать! Спасибо!
рад что вы здесь :)
Максим, безумно интересное и мотивирующее видео. Спасибо огромное!
Раскройте пожалуйста ещё одну тайну, на каком языке все таки написаны ваши парсеры? Думаю многим будет интересно.
с# никакой тайны нет :)
@@MaximKulgin я любопытство есть ;)
Спасибо огромное за ответ
Роста и развития вашему проекту
Что используете для парсинга? Puppeteer? С своих компов или облака?
из облака. хромиум
Максим здраствуйте, я думаю, что вы используете технологии N-ых западных платформ ( я не называю их ), которые парсят интернет и дают структурированные данные. Забираете данные по API.
нет :)
Максим, на чем пишете парсеры? Какие-то фреймворки может используете?
.net с# у нас просто много наработок своих уже
не Максим, но могу тоже ответить:
проще начинать на python, библиотека beautifulsoup4
Поддержу, начинают с супа на пайнтоне
Благодарю. Как раз есть опыт разработки на python’e.
@@MaximKulgin , не размышляли о замене с# на f# для задач построения парсеров? Композиционная природа парсер-комбинаторов позволяет быстро и безболезненно изменять парсер при изменении грамматик. В NLP, например, сейчас ФП довольно популярно.
Максим, вы делаете очень крутой и полезный контент, просто находка. Вы не даёте консультаций, а то есть идея и не совсем понимаю какой формат разработки мне выбрать лучше, а от этого зависит ориентировочная стоимость для БП инвестору. Если консультация платная отпишитесь , если нет это будет здорово , я за час задам вопросы и вас послушаю, может, что-то лучше подскажете. Вдохновляете своими видео! ✊🏽
платная :) т.к. времени очень мало на все.
@@MaximKulgin Отлично) я вас прекрасно понимаю. Сколько ? И как с вами можно связаться, я в Москве, так что это по видео связи будет)
мой скайп maxim.kulgin напишите туда плиз
Максим, дружище. Как рад тебя видеть. Может помнишь Малахова Алексея. Народ, это супер позитивный человек!!! Подписывайтесь
спасибо
допустим разобрался с парсингом, научился парсить данные... как и где клиентов искать? вы рассказываете что к вам из поиска приходят и по рекламе на популярных блогах... а простому начинающему специалисту как быть? без вложений желательно... )
Биржи фрилансеров есть для этого как Upwork, и сайт визитку можно сделать и страницу в ВК/FB и крутануть их через рекламу
Здорово! Спасибо! А какой у вас средний чек?
сложно сказать думаю около 17к
@@MaximKulginблагодарю. А как вы берёте оплату - за разработку, а потом помесячно или как?
Три года назад сделал свою парсилку Авто для сбора информации по стоимости недвижимости, потом статью на хабре написал, - habr.com/ru/post/324596/.
Сейчас хотел бы попробовать расширить такого рода аналитику, чтобы отображать в разрезе регионов и времени.
Тогда обошел бан со стороны авито за счет искуссвенных задержек request-ов, до более продвинутых способов типа пула прокси серверов руки не дошли.
Наверняка же у вас были заказы на парсинг Авито? Сложно сейчас их парсить технически? А нельзя у них получить доступ к данным для некоммерческго использования в виде api или некой выгрузки?
парсинг сайтов? я не понял, вы делаете лайтовое сео? я просто запрашиваю через скайп у одного из программистов
нет. сео мы не делаем. мы парсим сайты
Ребят, подскажите инфу, где поучиться эти парсеры создавать и настраивать. Тема интересная.
Так даже книги есть На эту тему
Скраппинг на python. Как то так книга называется
Максим, спасибо!
возможно я пропустил, но хотелось бы немного услышать о ценообразовании.
к примеру, пришел заказчик, хочет актуальную базу м-видео, сколько будет стоить?
или вот ко мне пришел поэт, хочет узнать какие слова в его стихах на стихи.ру встречаются чаще всего (800 стихов, более 200 слов встречающихся чаще 5 раз).. сделал ему такую игрушку, но если будет вопрос о цене, сколько называть? ))
Один сайт где то 7к рублей в месяц
@@MaximKulgin, спасибо. полезная информация
Годное видео, особенно кто в тебе, спасибо!
на запрос "парсинг мвидео" Ваш сайт на 5-м месте сейчас глянул, рынок-то довольно конкурентный? ;-)
там наверное вверху много рекламы... мы не даем рекламу.
как защититься от вашего парсмнга? Описания и дескрипшены пишутся вручную, неохота, чтобы украли.
мы не берем описания. только цены...
И на том спасибо
Классный ты дядька, смотрю вас с самого начала, сам тоже в вебе ворочаю
Максим, спасибо огромное за честность!
посоветуйте лучший бесплатный (или дешевый) парсер :-)
для личных целей.
Content Downloader
Я думаю вы не сильно расстроитесь если я попробую стартануть Парсинг бизнес в сша, если можете хотелось бы получить наставления от опытного предпринимателя
я вообще не расстроюсь :)
В авиа же динамическое ценообразование или на сайтах авиаперевозчиков цены не динамичны? Или это не ваша проблема - ваша задача просто соскребсти это?
Это не наша проблема
Спасибо! Очень интересно!
Нужны ли навыки программиста чтобы работать у Вас в компании?
смотря кем :) если программистом - нужны
я занимаюсь парсингом в ручную ( слежу за конкурентами в инсте ) 😅 каждый день записываю сколько подписчиков , лайков, сториз и тд , смотрю за приростом подписчиков и от чего зависит прирост ) в общем пока обучаюсь)
Здравствуйте.100% незаконно скрабить личные данные(номера телефонов и тд)если эту информацию будут использовать в рекламных или мошеннических целях.Хотя такую информацию так же можно купить или найти бесплатно.Спасибо за ваши ролики,успехов.
Часто использую парсинг для личных проектов и проектов заказчиков. Такой вопрос: Как парсите ajax сайты, где содержимое подгружается динамически?
гм. да я не знаю даже. хромиум кажется
Никакой проблемы если юзать puppeteer. Перехват запросов и все.
Компания *А*- предоставляет услуги парсинга
Компания *В*-предоставляет средства защиты от парсинга
double profit
Эх, говорила мне мама иди учиться на программиста, а я не слушал(((
:) так и есть
Не такой защиты что нельзя обойти, к примеру много потом и рандомными отпечатками браузера.
@@Александр-щ6л6м это вечная борьба щита и меча, можно же статистику по IP посмотреть, проанализировать, дать доступ определённым сетям, провайдерам)
@@handleftman Вы это Дурову скажите, а то он не слышал :D
компания В нразывается УБЭП
Как заказать парсинг сайта, не все могут скопировать php
В жизни всегда так люди покупают то что нафиг не надо. Самое лучшее что придумали задавать вопросы клиентам что им надо, и от большинства исходить
👍
Спасибо за интересный рассказ. А как работает ценообразование? Сколько рублей за товар?
8000 р. сайт где то
@@MaximKulgin круто работаете, а я по 3 тысячи лишь брал
Где берете прокси? Сами поднимаете на амазонах или парсите в свободном доступе?
Парсим открытые
@@MaximKulgin парсинг для парсинга))) Максим, классные видео, спасибо!
ага. парсим открытые прокси :)
Чтобы в одной таблице показать цены одного товара с разных сайтов, эти товары надо как-то сопоставлять. Как вы справляетесь с этой задачей? Спасибо
:) хороший вопрос, у нас есть наши маленькие хитрости :)
Видимо никак
«Извините самое интересное не расскажу» (управленческая прибыль) 👍
ну должна же быть какая никакая коммерческая тайна :)
красавцы. а мне пытались заказать парсер за 3000 тысячи, чтобы они сами могли собирать постоянно данные. естественно я сказал мб 30 тысяч? и меня послали))
Сначала мне казалось, что программисты работают бесплатно. Но когда сказали, что начальство что-то получают, то появилось такое ощущение, что программисты ещё и сами платят за то, чтобы работать...
я ничего не понял сорри.
@@MaximKulgin Действительно, перепроверил на калькуляторе - всё сходится. А то казалось, что на программистов получается меньше нуля зарплата...
А насчёт самого парсинга нет каких-то видеоматериалов?
Очень полезные видео! Респект!
Парсинг - хороший канал полупассивного дохода для вебстудии. А со временем может вырасти в основной канал генерации кэша！👍
Мы к этому и двигаемся
Я по превьюшке подумал ого! как наше родное МВД/СК продвинулись - за парсинг уже дело завели и допрос проводят )))
Эххх, вспомнил как я парсил выдачу Гугла в 2003г, чтоб урлы ББСок и форумов собирать для дорвейщиков :)
эх были времена... гринфилд и прочая братия....
Почему свои сайты размещаете на бесплатном, не безопасном, дырявом движке wordpress ?
Так быстрее просто
Спасибо за расширение кругозора.
Максим, поделитесь информацией, как от парсинга защититься
Очень сложно
ГОДНЫЙ КОНТЕНТ!
ЛАЙК!
хм, а что если к вашим парсерам добавить мои нейронки?
(О_о)
Подписался с колокольчиком.
Расскажите пожалуйста подробнее.
Что хотят клиенты, какая работа, какие данные Вы парсите?
В основном интернет магазины?
в 80% случае да. магазины
одна торгащня везде....
Спасибо, было интересно послушать.
спасибо
Интересно было бы послушать про ценообразование в парсинге, если это не является коммерческой тайной. А так лайк как всегда.
7к рублей 1 сайт где-то плюс минус
@@MaximKulgin это за разработку парсера или в месяц платит клиент?
Фриланс от 500 руб. Конторы от 5 до бесконечности тысяч рублей. Вот и весь рынок.
дайте ссылку на статью на хабре, которую упоминали
Поищите на хабре про парсинг
"Товар в 3-4 секунды" 9:35 это тогда большой каталог нужно будет парсить не 3-4 дня, а 3-4 месяца )
Параллельно парсим
В несколько потоков можно ведь
@@svcomplex1 Это понятно ) Только тут я обратил внимание на реальную нагрузку на сайт донора. т е она не соответствует 3-4 секунды на товар, что естественно и получается ответ по сути лукавый )
@@Владислав-и3б9н если сайт сделан хорошо и заточен на скорость работы и высокие нагрузки, то страница отдаётся менее чем за 200ms (рекомендации от google), но ты не забывай, что нужно проанализировать исходник этой страницы, распарить его и сохранить полученные данные. 4секунды вполне правдоподобно
Сергей Наумов я опять же не про это. Парсер создает нагрузку в любом случае, а если требуется еще и обновление цен, то это постоянная нагрузка. Если рассматривать поисковики или semrush какой нить, то они по сути официально обращаются(см логи) к сайту и парсят его, где скорость можно регулировать в вебмастере или вообще запретить в nginx. В работе данной фирмы используются всякие прокси, что позволяет им обходить желания сайтов убрать лишнюю нагрузку.... Я обратил внимание в ответе не на техническую сторону ответа, а на моральную часть, если можно так выразиться )
8 раз крутой рост. если удастся на следующий год выдержать темп хотя бы в половину от этого - можешь начинать книжки по бизнесу писать :) но не боишься ли ты, что такая открытость породит множество конкурентов. а, они все будут мелкими, но будут демпинговать и отъедят заметную долю рынка?
Думаю не удастся - там был рост с нулевой базы
Не боюсь вообще
Демпинг есть уже давно! На фриланс биржах
Парсинг товаров в Excel с переводом
Цена до: 5 000 Р
Нужно спарсить товары с сайта на английском языке. Сайт дам кандидатам.
Парсить нужно все из раздела Bearings.
То есть нужны только подшипники.
Важно! Парсить нужно с переводом. Подойдет переводчик, можно яндекс, или гугл.
Переводим не все, а только характеристики. Просим только товар, изображение, характеристики. Точнее покажу кандидатам.
Просим все в Эксель или csv. В итоге файл пойдет в импорт на сайт. Движок modx.
От вас сумма и сроки. Товаров порядка 500 000.
Просто интересно, какая цена для этого заказа?
500 тыс товаров и движок модикс, ну ну, успехов вам с этим движком
@@ТриумфЛидера А какой движок посоветуете? А лучше несколько, от дорогого к бюджетному?
Как у вас получается "единожды настроив парсер" сидеть и ничего не делать, получая денежки? А ничего, что сайты каждый день меняются - верстка, структура? У меня бывало что разрабатываешь парсер неделю, к концу разработки перестают работать многие вещи, т.к. меняется API или верстка. Бывало неделю-две тратишь, и тут хоп - сайт полностью делает редизайн, и твои старания в топку 🤣
Нет, само собой бывают и сайты в "полумертвом" состоянии, когда он включен, но не развивается, но такие сайты обычно меньше интересуют заказчиков...
Не знаю, зачем вы поете эти песни про сладкие прибыли в парсинге, еще и говоря "все идите сюда и зарабатывайте, рынка хватит на всех"...
P.S. для разработчика писать парсеры это сущий ад. Это полная остановка в профессиональном развитии. Код любого парсера - спагетти с гавном. Если хороший прогер, просто спагетти, но нормальные там не задерживаются) Ушел из парсинга, и никому не советую туда лезть, только если за ОЧЕНЬ хорошие деньги.
и мы правим когда верстка меняется.
На месте тех, у кого вы парсите, я бы повесил на айдишники и классы переменные, чтобы они каждый день в env создавались с новыми именами))
ну кто то так делает...
если не секрет, вопрос: 3,5 программиста и... 1 млн. в месяц прибыли после уплаты их зарплат или до? а то там на их з/п полляма не меньше же... ;-)
чистая прибыль не более 20%
Тоже обратил на это внимание. Что от 1М отнять 3 программиста, менеджера по работе с клиентом на телефоне, и тех.ресурсы сторонние - останется 1/3 1/4 от 1М
@@dancestalker А если еще посчитать 7.5 на 12 месяцев то выходит вся сумма еще 1/2
За парсинг - не скажу, но о бизнесе по делу!
спасибо
Недавно сам себе написал парсер. Мне нужно было новые, уникальные вакансии дергать с сайта поиска работы и загружать мне в базу, чтобы я их уже просматривал, не тратя время на обработанные вакансии, которые работодатели поднимают по списку вверх подсовывая все время мне в поиск. Странно, что ваши клиенты заказывают лишь эксель таблицы, я сразу захотел базу данных, как хранилище, хоть у меня и объемы данных смешные.
Не думал, что на этом можно деньги зарабатывать. По поводу западного правового поля, неужели у вас не было клиентов, кто заказывал парсинг иностранных сайтов? Если были, то получается вы уже там работаете.
нет, с запада никто не заказывал еще. надо думаю сайт локализовать ит.п. Но мы в России то не успеваем честно говоря
@@MaximKulgin спасибо за ответ, у меня еще один вопрос есть. Предположим вы заключили договор с кем-то и начали парсить какой-то сайт на постоянной основе. Через некоторое время владелец сайта с вами связался и настойчиво попросил прекратить это делать, т.к. это наносит финансовый урон его компании. Что вы будете делать?
Парсинг будет актуальньім всегда! Занимаюсь парсингом с 2012 года. Демпинг конечно мешает(((
@Holostyaki Com зайдите на Upwork и посмотрите сами. Очень много индусов и ребят из Азии и ближнего востока готовых за 7-10 долларов спарсить почти любой сайт. На русских биржах дело обстоит примерно таким же образом
@@olegk7282 за 10 долларов спасрсить базу товаров где несколько тысяч товарных позиций или спарсить сайтик из нескольких сот страниц?
@@1153rus я написал "почти любой" имея в виду среднестатистический сайт - средний интернет магазин, любой информационник или новостник - при том что они отдают статический html(чистая статика или сгенеренный на стороне сервера) или json через api без особой защиты. Это большая часть сайтов на самом деле. Понятное дело что есть сайты гиганты , где нет api или оно платное, и там уже нужно задействовать при парсинге кучу проксей, нужны мощности в плане железа, быстрые базы данных, хороший канал, js рендеринг/инжиниринг, обходить различные меры защиты - там понятно существенно другие деньги и задачи. Но таких сайтов не так много и у некоторых из них опять же есть недорогие api.
@@1153rus несколько тысяч товарных позиций это не так много на самом деле, если нет норм защиты и сложного рендеринга на стороне клиента. Достаточно несколько проксей, ротация юзерагентов и такие сайты парсятся только в путь. Возьмите фреймворк scrapy, пропишите селекторы и скормите ему sitemap(при наличии оного) или задайте правила перехода по ссылкам на сайте. Он много чего имеет на борту из коробки - пайплайны для записи в базы данных/эксели, ретраи при неудачных реквестах, автотротллинг запросов, ротация агентов/проксей, работа с куками, фильтрация и дедупликация и множество полезных плагинов.
@@olegk7282 это понятно, но не за 10 же баксов
у Вас есть собственные инфо сайты?
не понял ваш вопрос
0:05 "что-то сука упало" смотрите со скоростью 0.5
Да сейчас любой студент вам за 500р спарсит. А парсинг сайтов с вменяемой защитой нерентабелен для большинства заказчиков , ибо обход защиты требует тех.ресурсов и постоянных фин.вложений.
Просят парсить именнно такие сложные сайты - простые не нужны
@@MaximKulgin на каждую защиту есть свой подход))) - за 2019 - 7.5 это же шикарно - хлопот при парсинге не так уж и много если есть хорошие специалисты - написать парсер для сайта тоже особых сложностей нету - а вот написания обхода защиты тут уже голову поломать нужно - насчет мониторинга цен тут уже нужен сервер это тоже затраты на сборку сервера что бы 24.7 мониторил цены + как то надо блокировку обходить если это еще затраты на прокси сервера
можете пример привести что такое парсинг сайта ? полное его копирование ?
@@виктортроицкий-ы1з сбор и структурирование необходимой информации
@@seoexpa
Ну проще говоря воры
Давно вас не смотрел, привет :))
Что думаете про Puppeteer для этих целей? Как вам Python?
Вообще, интересует вопрос касательно JS сайтов. Какой инструмент используете?
@@Вячеслав-ф2ю6и лучше изучать какие запросы делает сайт и повторять их. пупетиир хорошо для автоматизации, но сильно грузит систему.
Да любой несложный серверный язык. Мне вполне хватало php. Восьмая версия по скорости вообще планирует быть ураганом. Я в эту сторону смотрю, тем более мне переучиваться не надо будет.
@@silentage6310 практически на всех более менее нормальных сайтах используются различные механики защиты для внутренних запросов, всякие токены/кроссдоменные авторизации и прочая мутотень... Так что местами проще селениум и какой нибудь фантомЖС. ИМХО
@@AlexandrStepanov-y4g естественно так гораздо проще, и сам так делаю. если производительность устраивает то все ок. а если надо парсить сотни тысяч и миллионы страниц и железо ограниченно - то селениумы уже не так весело юзать.
ну и одно дело для автоматизации - там да, браузерные эмуляторы упрощают. а просто для парсинга почти всегда лучше сделать прямыми запросами.
Хорошо рассказал, очень интересно, хотя я первый раз об этом слышу.
рад что понравилось
Максим Кульгин я так понял что пасинг это для товарки? Для сферы услуг не подойдёт? (Школа танцев например)
сколько стоит спарсить 10000 товаров?
Знаю как заработать 10ки млн рублей в год с помощью парсинга, но не имею возможности реализовать...
Максим ты реально на многое открыл глаза! Ты настоящий!
спасибо
интересно, подписался
спасибо вам