Sergei Boikov - Data Engineering for Everyone
Sergei Boikov - Data Engineering for Everyone
  • Видео 3
  • Просмотров 28 172
Roadmap for beginner Data Engineers
Подготовил roadmap для начинающих дата инженеров. Этот roadmap отражает мою субъективную точку зрения, основанную на опыте, относительно тех технологий, которые стоит изучать начинающим дата инженерам. Большинство технологий и инструментов относятся к приложениям с открытым исходным кодом, что является особенно актуальным для российских проектов.
Более подробный roadmap для дата инженеров можно найти здесь: github.com/datastacktv/data-engineer-roadmap
Просмотров: 4 601

Видео

Один день в жизни Data Engineer
Просмотров 23 тыс.2 года назад
Data Engineering является одним из самых перспективных направлений в современном IT. Все больше крупных компаний хотят извлекать прибыль из данных. В видео рассказываю о том, кто такой Data Engineer, его задачи и инструменты.
Tutorial: Transform data using Azure Databricks & Data Factory
Просмотров 6423 года назад
Трансформирование данных с помощью Azure Databricks и Data Factory Решение задачи трансформации данных с помощью Azure Databricks и Data Factory показывается на примере загрузки данных по Covid за период 2019 года. В качестве источника используется CSV файл. Данные трансформируются с помощью Databricks и загружаются в Azure SQL Database. Для ETL используется Azure Data Factory. Transform data u...

Комментарии

  • @Antinormanisto
    @Antinormanisto 3 месяца назад

    Оставлю комментарий в силу ряда причин

  • @ВадимМатюхин-я6ш
    @ВадимМатюхин-я6ш 3 месяца назад

    Каким образом Jupyter notebook визуализирует данные ? Это редактор кода, визуализируют либы питоновские…

  • @ВикторияСамусенко-э8ш
    @ВикторияСамусенко-э8ш 5 месяцев назад

    Добрый день! Спасибо за видео, всё локонично и информативно.

  • @ВикторияСамусенко-э8ш
    @ВикторияСамусенко-э8ш 5 месяцев назад

    Доброго дня! Спасибо за видео, всё информативно и локанично.

  • @dmitriyobidin6049
    @dmitriyobidin6049 7 месяцев назад

    Много сказано, нифига не показано...

  • @Пчелопас
    @Пчелопас 7 месяцев назад

    Очень понравилось, как вы излагаете материал. Где можно посмотреть ваши курсы? На какой платформе?

  • @pmariaalex
    @pmariaalex 9 месяцев назад

    Спасибо

  • @olexander7786
    @olexander7786 10 месяцев назад

    Respect for your work!!

  • @jasperhumpsman7151
    @jasperhumpsman7151 Год назад

    А это ж по ходу интересно, понятно что данные разные, но конкретно этот пример напомнил мне мою любовь к географии и атласам, которые я сидел и по 5 часов подряд анализировал, по тому и зно на 188 сдал не открыв книгу ни разу в своей жизни. Будет интересно посмотреть как эти все функции в Азуре пишутся, как это всё обрабатывается и так далее. С сентября начинаю обучение в универе на специальности Data Technologies, надеюсь не пожалею. Из того что я заресорчил направление должно быть интересным, уж точно чем формочки штопать для сайтов.

    • @efloop6335
      @efloop6335 15 дней назад

      как успехи?

  • @АлександрЗверев-г6с

    А так интересно начиналось. Жаль, что только 3 видео на канале.

  • @ЛяззатКенжехан

    Информативно! Спасибо большое!

  • @TimerlanSalakhov
    @TimerlanSalakhov Год назад

    Начало 2:19

  • @aleksejshibaev
    @aleksejshibaev Год назад

    🔥🔥🔥

  • @RenVam
    @RenVam Год назад

    Спасибо!

  • @Alexander-kt1cf
    @Alexander-kt1cf Год назад

    Содержание не соответствует названию. Неужели было сложно в общих чертах накидать скриншоты рабочего процесса вместо кучи общей информации, которую можно найти где угогдно?

  • @igora6367
    @igora6367 Год назад

    Отличная подача! Когда будет курс?

  • @darya70
    @darya70 Год назад

    Очень интересно всё рассказали и показали! Спасибо👍

  • @alexanderivanov899
    @alexanderivanov899 2 года назад

    Нравиться четкая подача, без воды. Где курс?

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      К сожалению, пока пришлось отложить

    • @alexanderivanov899
      @alexanderivanov899 2 года назад

      @@sergeiboikov-dataengineeri4687 жаль. Надеюсь соберётесь. А то есть куча курсов, но 90% вода с винегретом. А у вас хорошая подача

  • @alexanderivanov899
    @alexanderivanov899 2 года назад

    А в описании к видео ссылки нельзя было разместить? К тому же они еще и не рабочие =(

  • @ihodl2256
    @ihodl2256 2 года назад

    Возможно ли заменить в DE пайтон на го? Учился самостоятельно на го программиста, но позвали в DE. Посмотрел, понравилось. Но везде хотят пайтон, который не перевариваю :)

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      Боюсь, что наврятли получится так сделать. Python сейчас является дефакто стандартом для DE. Многие инструменты, с которыми работает DE либо написаны на Python либо используют его. Тот же Airflow, который сейчас очень популярный или Pandas и Jupyter ноутбуки для анализа данных.

  • @MsKirill1234
    @MsKirill1234 2 года назад

    Побольше бы видео для начинающих, спасибо!)

  • @MsKirill1234
    @MsKirill1234 2 года назад

    Спасибо за видео, было бы круто составить роадмап именно по курсам, материалам до джуна, если именно брать фри курсы, либо те, которые стоят немного.

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      Спасибо за коммент! Постараюсь подготовить такое видео🙂

    • @Sho_Kavo
      @Sho_Kavo 2 года назад

      @@sergeiboikov-dataengineeri4687 ждём!)

  • @RajeshKumar-vt4yl
    @RajeshKumar-vt4yl 2 года назад

    I'm a fresher data engineer can i get job in russia

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      Rock, yes it's possible. There are a lot of positions for middle and higher, but also I found vacancies for junior/middle data engineers. For example, career.habr.com/vacancies/1000105250

  • @Leda-xh8ox
    @Leda-xh8ox 2 года назад

    Спасибо за видео! Хорошая подача, доступное объяснение. Но родился вопрос : а почему в этом списке нет Hadoop? В частности, Arena Data Hadoop. Мне кажется, что в силу последних событий многие большие компании организовывают миграцию данных именно в ADH и хотя бы поверхностное представление стоит составить любому начинающему.

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      Елена, спасибо! Согласен, если бы я записывал видео сейчас, то включил бы в него Arenadata и ClickHouse🙂

  • @PizdaRusni2023
    @PizdaRusni2023 2 года назад

    Срана московія

  • @ВадимДолжин
    @ВадимДолжин 2 года назад

    Очень доступно. Спасибо

  • @ВадимДолжин
    @ВадимДолжин 2 года назад

    Спасибо за очень нужный труд. Продолжайте развивать направление

  • @poulsmk3904
    @poulsmk3904 2 года назад

    Спасибо большое, не останавливайтесь)

  • @ivani3237
    @ivani3237 2 года назад

    1. HIVE уже легаси - snowflake - 100% более приорететен сейчас. Ну ли Redshift, ну или BigQuery 2. Jupiter Notebook - это не дата визуализатор, и совсем не альтернатива Табло. Да и вообще и то и другое Дата Инженеру не обязательно 3. Kafka попробовать будет более чем полезно на любом этапе

    • @kirillfedorov7595
      @kirillfedorov7595 Год назад

      Подскажите, пожалуйста, насколько релевантен Spark? По вакансиям de вижу вхождение Airflow и Kafka практически везде, а вот Spark четко требуется как будто бы редко?

    • @ivani3237
      @ivani3237 Год назад

      @@kirillfedorov7595 spark нужен вполне, там где датабрикс- там тотже спарк

    • @ilyaafanasyev9714
      @ilyaafanasyev9714 Месяц назад

      Spark или Flink ближе к Data Processing. Data Engineer это ближе к созданию структур данных и их анализу. Разработка процессинга это тоже подразумевает, но требует ещё знаний сред исполнения (ОС, фреймворки, оборудование и прочее)

    • @ivani3237
      @ivani3237 Месяц назад

      @@ilyaafanasyev9714 но никаких отдельных data processing инженеров не существует.. (пока).

  • @nargizaasrankulova1788
    @nargizaasrankulova1788 2 года назад

    Спасибо за видео, только не нашла ссылку на Roadmap. Отправьте пожалуйста

  • @delvetro
    @delvetro 2 года назад

    Интересно, доступно, без лишней воды. Ждем продолжения.

  • @liliayakupova8200
    @liliayakupova8200 2 года назад

    Большое спасибо за видео! Подскажите, пожалуйста, насколько актуально изучение scala для data engineer?

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      Lilia, если у вас имеется хороший бэкгрануд, связанный с Java, то изучение Scala будет актуальным. Если вы просто выбираете сейчас между Python и Java, то я бы сказал, что Python является более востребованным на рынке. Ради интереса можно ввети на habr career или hh.ru запрос "Scala" и "Python". Среди вакансий релевантных для дата инженеров на career.habr.com я увидел такой результат: "Scala" - 16 вакансий, "Python" - 124

  • @vvitasikm3341
    @vvitasikm3341 2 года назад

    Сергей, из опыта вашего, насколько будет сейчас популярны БД NOSQL и почему их так любят ?

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      Честно говоря, ни на одном из проектов мне не приходилось работать с NoSQL базами данных. Сейчас при работе с большими данными преобладает подход, когда в конечном счете данные все равно приводятся к реляционной структуре. Просто потому что, так проще их анализировать. Для иллюстрации, например, можно посмотреть как выглядит обычный SQL запрос и запрос к MongoDB)) Также могу порекомендовать хорошую статью на хабре, которая описывает преимущества и недостатки обоих подходов: habr.com/ru/company/ruvds/blog/324936/ .

  • @ИванИванович-з5й7й
    @ИванИванович-з5й7й 2 года назад

    Здравствуйте. Насколько глубоко надо знать python? ООП нужно?

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      Добрый день! Python используется очень активно. То с чем я работал, это в основном библиотеки pandas, numpy. Но хотя бы общие принципы ООП понимать нужно.

    • @ivani3237
      @ivani3237 2 года назад

      если у тебя Snowflake или Redshift и например ETL на Azure Data Factory или Informatica - никакого питона не будет

    • @КириллЯрусов-ш3ы
      @КириллЯрусов-ш3ы 2 года назад

      @@ivani3237 в какую сторону посоветуешь двигаться, если есть SQL более-менее. Где можно пощупать конкретно задачки дата инженера?

    • @ivani3237
      @ivani3237 2 года назад

      @@КириллЯрусов-ш3ы изучать клауд, и пробовать в клауде делать пет-прожекты. Аля файлы в s3 - оттуда в snowflake - на сноуфлейке отчет на PowerBI забацать. Отличный опыт

    • @vladoskruuk7032
      @vladoskruuk7032 Год назад

      ​@@ivani3237 а что тогда будет? Выбираю роадмап и как все учу пайтон и sql. Вот куда именно двигаться дальше? Много видео и технологий находит про двх, даталейк. Что мне делать после хорошего понимания пайтона и скл? Что мне актуального изучать и главное на чём практиковаться? Имеется ввиду именно взаимодействие всех инструментов, типа лабораторного стенда. Нужно ли изучать гит сразу, как тут советуют?

  • @vk-uw8bx
    @vk-uw8bx 2 года назад

    спасибо

  • @13286020
    @13286020 2 года назад

    Спасибо Сергей. Очень интересно все расписано у вас и доступно. Буду благодарен, если порекомендуете литературу по анализу данных.

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      Привет! Могу порекомендовать вот эту книгу... www.amazon.com/Python-Data-Analysis-Wrangling-IPython/dp/1449319793

  • @АлександрМарченко-ч2ю

    Очень хорошая подача материала, интересный контент, большое спасибо! Скажите, пожалуйста, насколько глубокие знания Python необходимы? Необходимы знания и применения ООП? Или достаточно разобраться с библиотеками типа Pandas, numpy и подобными? Спасибо.

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      Добрый день! Спасибо за фидбэк! Python для дата инженеров довольно специфичен. Глубокие знания ООП как правило не требуются. Нужно знать базовые вещи, плюс библиотеки типа pandas и numpy, умение работать с jupyter ноутбуками. Плюс ценятся знания pyspark

    • @ivani3237
      @ivani3237 2 года назад

      можно вообще без питона датаинженерить

  • @sleepyeconomist509
    @sleepyeconomist509 2 года назад

    Спасибо за работу! Под прошлым видео просил именно эту тему и у вас вышло видео - это настоящий показатель работы с аудиторией 👍 Успехов вам в работе!

  • @alexanderseleznev7150
    @alexanderseleznev7150 2 года назад

    Спасибо за видео, отлично, хочу сменить работу(деятельность). Выбрал дата инженерию.

  • @Uatsao
    @Uatsao 2 года назад

    Здравствуйте, спасибо за видео Что думаете насчёт Spark стоит ли изучать? Если да, то когда?

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      Добрый день! Да, Spark следует учить. Я бы советовал после изучения Python или Java. Spark имеет API для работы с обоими языками (Pyspark vs Scala)

    • @Uatsao
      @Uatsao 2 года назад

      @@sergeiboikov-dataengineeri4687 Спасибо

  • @Sho_Kavo
    @Sho_Kavo 2 года назад

    Сергей,привет. Спасибо,что выпустил видео про роадмап. Жаль,закрыл комменты,поэтому пишу сюда. Ещё не смотрел,но думаю,там все четко.

    • @sergeiboikov-dataengineeri4687
      @sergeiboikov-dataengineeri4687 2 года назад

      Привет Uladzislau! Разобрался с комментами. Можно оставлять их прямо под видео.

  • @Uatsao
    @Uatsao 2 года назад

    мне очень интересна это тема

  • @Uatsao
    @Uatsao 2 года назад

    видео на вес золота

  • @dmitrymitrofanov3920
    @dmitrymitrofanov3920 2 года назад

    мало подписок потому что видео пока только два

  • @dmitrymitrofanov3920
    @dmitrymitrofanov3920 2 года назад

    ну и для продвижения канала еще один собщ продолжайье плиз

  • @dmitrymitrofanov3920
    @dmitrymitrofanov3920 2 года назад

    по дата енжинеренгу почти нет каналов пишем в поддержку дружно и лайкаем

  • @dmitrymitrofanov3920
    @dmitrymitrofanov3920 2 года назад

    ну и для продвижения канала еще один собщ продолжайье плиз

  • @dmitrymitrofanov3920
    @dmitrymitrofanov3920 2 года назад

    продолжайте пожалуйста, будем следить за вашими туториалами.

  • @dmitrymitrofanov3920
    @dmitrymitrofanov3920 2 года назад

    продолжайте пожалуйста, будем следить за вашими туториалами.