Парсинг сайта в эксель
HTML-код
- Опубликовано: 19 окт 2020
- Третий способ парсинга сайтов в эксель.
Ранее мы рассматривали два различных способа парсинга:
Первый способ парсинга - выгрузить и разобрать простынь текста в HTML при помощи VBA. Мы выкачиваем километраж между городами в таблицу Excel. Ссылка на этот парсер здесь: • Парсинг сайтов в Excel...
Второй способ - это загрузка таблиц из интернета при помощи надстройки PowerQuery. С помощью этой надстройки мы выкачивали в таблицу данные по продажам новых автомобилей в России по годам. Вот ссылка на это видео: • Данные с сайта в эксел...
И третий способ, показанный в этом видео - это использование древнего способа загрузки данных при помощи Excel, который с нами еще года эдак с 2003, а может и раньше.
В этот раз выкачиваем контактные данные управляющих компаний Москвы.
Хочется еще?
Вот мой телеграмм канал: t.me/TrueExcel
Контакт для связи: t.me/Pavel_Taranukha
realxls
dzen.ru/real_excel
vc.ru/u/2288927-realnyy-eksel
Да и просто подписывайтесь - люблю, когда растут цифры ;-)
Лайк чисто за фразу "как правильно? хрен его знает, посмотрим как можно" )))
реальный человек , реальный эксель , добыл парсинг. На самом деле , спасибо , все очень здорово , приятная подача информации.
Спасибо!
Огромное спасибо за это видео. До вашего урока никогда парсингом не занималась. Была первая попытка. Благодаря вам сделала. Правда не с первого раза, но справилась)
Ну, реально восторг! Все парсят на питонах-шматонах, на крайняк через ПХП и прочие высокоуровневные ЯПы с ООП, а тут обычный Ёксель с Вижуалбэйсиком! Благодарю от души! 100500 лайков и мотивация почитать про VB побольше, ибо знания простого функционального программирования в Паскале, Фортране и Фоксбейсе позволят спокойно повторить ваш парсер. 😃🤘👍💪🙏
Это только для мелких задачек и когда другого ничего под рукой нет.
Для серьезного промышленного парсинга это не подойдет конечно))
@@Pavel_Taranukha Понятное дело. Но, во-первых, Ёксель жив и Бейсик тоже! :)) И во-вторых, понятен алгоритм, который можно сработать как вручную, так и на кодить. А это - самое главное! ;)
Очень прикольно. Но все таки это как молотком забивать саморезы, предварительно вытаскивая их из ленты, и смазывая оливковым маслом...
Спасибо , очень круто 👍
Подписался. Всё доступно и по делу.
Спасибо, Вам! всегда в видео понятно и доступно показано, и можна применть в жизни, а не только в теориии.
Спасибо
Спасибо! Молодец.
Павел - вы просто бог Екселя: Индекс; Поискоз, фильтра и немного VBA = парсер любого проекта! Вы сделали мой месяц!
Ахах)))
Ну не любого.
Когда данных много - лучше питончика изучить)
Супер 👍🏻
В начале ролика после слов "хрен его знает как, но давай опробуем", я подписался!!!!
Вы тоже считаете, что это показывает экспертность? А маркетологи со мной спорят))
@@Pavel_Taranukha нет, как раз это и есть высший пилотаж. Эксель знать на все 100% физически не возможно, кто так говорит - значил брехун. Профессионал всегда скажет понятия не имею как, но сделаем... у меня 1С -ник такой, какие задачи ему не ставь, понятия не имеет как делать, но через сутки готово )))))
@@MAX-pw3vn где он - 1С ? я ему поставлю задачу.
Чем отличается опытный погромист от обычного?
На вопрос, можно ли решить эту задачу, обычный отвечает, что ему надо подумать.
А опытный говорит, что конечно, возможно, просто он пока не знает, как именно )))
@@SV-13 полностью согласен
спасибо все по делу
Обалдеть!
все отлично рассказал,показал.хотелось бы развернуто и по нескольким примерам,но тогда своя голова вообще перестает думать.
И вопрос есть: как исправили ошибку на 15:57, у меня не получилось,отправил другому человеку-то же самое,не работает и исправить не получилось.В интернетах пишут-это начинается после использования CTRL+Pause Break в больших файлах и повторное прожатие поможет,не помогло
Так там просто заменена прямая ссылка на лист обращением к selection.
777 лайков))) так не охото портить цифру)
Даже не подозревал, что Excel так умеет. Спасибо за ролик. Однако парсить питончиком получается быстрее.
Согласен. Экселька для простеньких выгрузок.
Здравствуйте! При парсинге страницы в навигаторе power query выходит список таблиц? далее нужно выбрать нужную таблицу и нажать Преобразовать данные. Вопрос, можно ли сделать так: На странице excel в первой ячейке указать ссылку на нужную страницу в интернете чтобы запрос брал данные из нее (ЭТО РЕАЛИЗОВАНО), далее ниже во второй ячейке указать имя таблицы, например Москва, нужно чтобы навигатор фильтровал список таблиц по этой ячейке, а дальше все как обычно забирал отфильтрованную таблицу в преобразование данных, возможно ли такое?
Добрый день! Как было Вами сказано: "Видосы не зря...". Спасибо, все доступно, "живые" кейсы. Сошлюсь на Вашу реплику про интерес к комментариям - вопросам. Я не "думаю" на уровне формул Excel, макросов VBA, запросов Power Query, но очень хочу работать с данными как и Вы, хотя-бы на 17%. Так вот, поставил перед собой задачу, примерно знаю куда копать, но нет практики... В общем сейчас задача такая, есть сайт, разработчики внедрили EDI, опубликовали API. Казалось бы, собирай данные, кто мешает... Но, как говорил, опыта маловато. Не могли бы Вы "запилить" видос о том, как забирать данные с сайта, работая в Excel используя API?
Ну что делать... про вайлдбериз апи расскажу, раз вы своих апишек не даете)
Это коментарый от сердца
круто)
Подпись и лайк! Очень нужно парсить свойства товара из карточек для создания таблицы загрузки на сайт через битрикс. Сайты производителей, выгрузки с сайта не дают, лень им заниматься этим... 🤦♂️
Какие странные производители. Многие сейчас напротив 99% работы за продавца делают. Вон хоть поставщиков озона и вайлдберриз взять...
На кворке за 500р купи парсер
Super 🙏🏽
Классная подача! А можна на примере Инстаграмма сделать? Чтобы по логинам аккаунтов узнавать информацию о профиле (Количество подписок, подписчиков и публикаций)?
Так вроде телеграмм боты это все умеют
@@Pavel_Taranukha не нашел такого) если есть такой дайте знать как его найти)
Как из парсинга сделать отправку сообщений в телеграмбота
Здравствуйте!
Подскажите как спарсировать комменты с ответами под роликом ютуба.
Спасибо
Крутые видео
Спасибо. Делюсь наработками чтобы и самому не забыть))
Здравствуйте! Спасибо за уроки. Подскажите пожалуйста возможно ли импортировать данные с локальных сайтов.
Пример : Есть небольшая внутренняя сеть и несколько сетевых принтеров с локальными веб сайтами (пример https:\\10.10.10.125) . Где есть информация о состоянии расходных материалов % расхода тонера.
Можно ли вытащить данные в общую exel страницу где будет общая информация о тонере каждого принтера . Через Power Query не видит таблицы.
Здравствуйте. Не открывается ваш айпишник(
@@Pavel_Taranukha ип внутри сети, через интернет не доступен :( написал я его как пример (что не совсем обычная веб страница)
Ищите итшников, которые публикуют эту страницу и забирайте данные либо с вебсервиса, либо из СУБД учетной системы, которая является поставщиком данных для внутреннего вебсервиса.
Парсинг он больше от безысходности, когда вы не можете получить данные другим способом. В вашем случае - есть повод найти контакт с интересными итэшниками, которые смогут быть полезны и в других начинаниях )
Тьфу ты... какие еще вебсервисы, что я несу. Принтеры же у вас!) Попробуйте подход к парсингу где про поиск расстояний между городами. Должно вам подойти. Суть в том чтобы считать хтмл в память и из текста вытащить нужную инфу. На канале посмотрите.
МУЖИК, ты реальный мужик! А есть ли способ экселем (другого не осилю) получать данные с динамическим контентом??, где дивы примерно такого плана: и при просмотре чистого кода страницы он не отображается. т.е. они могут генерироваться во время просмотра страницы.
Нужно пробовать. Здесь на канале лежит уже три способа парсинга. Может какой и подойдет.
Было бы весьма желательно, чтобы кто-нибудь из "гуру" описал алгоритм распределения строк внутри ячейки по столбцам. В стандартной функции Excel нет возможности ввести в поле "своего разделителя" возврат каретки
Ну раз так уж желательно - держите...
ruclips.net/video/oF5m_xAabW4/видео.html
альт + ентер
А если на сайте нужна авторизация? Можно реализовать?
Я только начинаю изучать эту тему и ваш пример помог создать парсер. Но пока делала, на сайте обновилась информация и при запуске парсера выскакивает сообщение, что не может найти объект в колонке номер. Как в этом случае поступать, перед запуском обновить саму базу номеров или как-то в макросе это можно прописать? В макросах не сильна.
Из всех вариантов всегда выбирайте тот, который работает)
У меня обычно работает вариант сделать блок, который перестал работать заново.
Это помогает или вспомнить старое или найти новые подходы.
В любом случае - кроме пользы никакого вреда.
@@Pavel_Taranukha Я нашла решение, просто в макросе изменяю номер строки с какой надо начать парсинг, работает)))
😷👍
Пожалуйста сделайте видео как работать с спортивной статистикой (Футбол) в Excel.
Совершенно не разбираюсь в командных видах спорта.
Добрый день! подскажите, а как найти данные-из интернета. нет такой иконки в Данные
У вас возможно старая версия excel
Добрый день! Как можно обойти Cloudflare Email Protection ? Вместо email выгружает [email protected] :(
UPD. Сохранил и закрыл файл, открыл заново, запустил скрипт и почты подтянулись, обошлась блокировка!
Спасибо вам огромное, сэкономили мне кучу времени!
Все это не прокатит с сайтом wildberries. Он не выводит все теги и ссылок в коде страницы тоже нет.
😮
Напрямую с авито в эксель кто нибудь пробовал парсить?
...попробуйте загрузить Тарифы ЖКХ в Москве на текущий год.
Здравствуйте, как с вами можно связаться ?
Здравствуйте!
89160637718
Easy)
Попробуйте чрз Power query, это быстрее и проще. ИМхо
Пожалуйста сделайте видео о том КАК ПАРСИТЬ НОМЕРА ТЕЛЕФОНОВ ПО ОПРЕДЕЛЕНЫЕ КАТЕГОРИИ В АВИТО
Parsing через python
Да. Если не помогает эксель, может помочь нечто другое)
@@Pavel_Taranukha я реально пользуюсь вашими идеями на работе спасибо вам за всё
Пожалуйста. Но в случае парсинга больших данных лучше действительно посмотреть на питон. Такие библиотеки, как requests например.
Тот-же повер квери иной раз такие неожиданные сюрпризы подкидывает, что аж кишки шевелятся)
))) " я особо не силен в этом"..... нуну)))
Парсер стоит 1000-2000 рублей ) включите в расходы ) Эксель нехрена не быстро
Нифига се
Сам в шоке. Случайно получилось)
эксель для этого не предназначен, куча же редакторов для кодинга, работать с json в экселе это глупость.
Интересно для кучи чего предназначена глупость...
@@Pavel_Taranukha Вы решаете проблему, но решаете ее с использованием костылей и инструментов которые для этого не предназначены. Микроскопом действительно можно забивать гвозди, но вроде как в свободном доступе бесплатно куча молотков на любой вкус, но это видимо не ваш путь...
Опять эти гвозди, микроскопы, молотки. Иногда просто некогда искать молоток и разбираться с какой стороны у него ручка)
Эксперты по специальным молоткам обычно живут в своем молоточном мире и их молотки могут забивать гвозди только в специально построенном для их молотка цеху)
@@Pavel_Taranukha Лучше день потерять, потом за 5 минут долететь)
Да иной раз овчинка настолько выделки не стоит, что и 30 минут жалко)
Понятно, что если парсить какой-то вайлдберриз или авито - эксель не подойдет.
Но когда нужно табличку с сайта впитать с ценами - так и зачем все эти питоны с их прекрасными библиотеками курить)
Всегда же упираемся в целесообразность и соотношение приобретенного результата к затраченным усилиям.
А это не всегда глупость.
...
как вытащить номера телефонов компаний у меня все в одну кучу сделалось совсем в одну ужас
парсинг через жопу называется.