Владимир Амелин
Владимир Амелин
  • Видео 114
  • Просмотров 168 131
Собираем pipeline. Схема инженерии данных. Часть 4. Связываем AirFlow и AirByte.
Материалы с занятия: disk.yandex.ru/d/f4lbcXiyprVaAQ
Инструкция: airbyte.com/tutorials/how-to-use-airflow-and-airbyte-together
Итоговый набор файлов: disk.yandex.ru/d/580Z5F6oPMYbgQ
Презентация с краткой инструкцией:
docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing
Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/+A6_pJhDS2Tc5ZjIy
Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Просмотров: 400

Видео

Собираем pipeline. Схема инженерии данных. Часть 3. Объединяем компоненты в один docker-compose файл
Просмотров 4238 месяцев назад
Материалы с занятия: disk.yandex.ru/d/f4lbcXiyprVaAQ Презентация с краткой инструкцией: docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Собираем pipeline. Схема инженерии данных. Часть 2. Разворачиваем AirByte в Docker на Windows.
Просмотров 5189 месяцев назад
В данном видео представлена инструкция установки ПО для работы с Docker в ОС Windows. Мы устанавливаем: Hyper-V: learn.microsoft.com/ru-ru/virtualization/hyper-v-on-windows/quick-start/enable-hyper-v WSL 2: wsl install wsl list wsl install -d Ubuntu-22.04 Windows Terminal: www.microsoft.com/store/productId/9N0DX20HK701?ocid=pdpshare Docker Desktop: www.docker.com/products/docker-desktop/ Запуск...
Собираем pipeline. Схема инженерии данных. Часть 1. Разворачиваем AirByte + ClickHouse + PostgreSQL
Просмотров 1,5 тыс.9 месяцев назад
Презентация с краткой инструкцией: docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Real-time аналитика. Часть 1. Разворачиваем и запускаем первый поток в Apache Storm.
Просмотров 55110 месяцев назад
В теории знакомимся с тем, что отличает инструменты для real-time аналитики от инструментов для обычной аналитики. Проходим процесс установки необходимого ПО и запуска Apache Storm, а также сборки и разворачивания учебного проекта. Добавляйтесь в чатs в телеграме t.me/ A6_pJhDS2Tc5ZjIy и t.me/datalearnclub Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Kubernetes. Знакомство с возможностями. Разворачивание приложения в minikube.
Просмотров 59310 месяцев назад
Ссылка на презентацию docs.google.com/presentation/d/1y5rfokk5a_ypaNpD-Gz3ah-Bk8m-bJVj3lhsQQmlGHM/edit?usp=sharing Все занятия и домашние задания курса по Docker тут itempuniversity.com/course/view.php?id=669 Добавляйтесь в чат в телеграме t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Docker с 0. Занятие 7. Запуск postgres master + replication. Запуск локального реестра.
Просмотров 15510 месяцев назад
1. Запуск в 2 контейнерах основного сервера и репликации PostgreSQL. 2. Простой запуск локального реестра образов Docker. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/getting-started-...
Введение в Docker с 0. Занятие 8. Старт контейнера с postgreSQL с предустановленными данными
Просмотров 10810 месяцев назад
1. Создание образа и разворачивание из него контейнера с PostgreSQL с предустановленными данными. 2. Сравнение ENTRYPOINT и CMD часть 2. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/g...
Введение в Docker с 0. Занятие 6. Прием оптимизации времени сборки образа. ENTRYPOINT vs CMD.
Просмотров 12511 месяцев назад
1. Как посмотреть команды, с помощью которых был построен каждый слой? 2. Оптимизация времени сборки образа 3. Использование в одной Dockerfile нескольких образов. Как это можно использовать? 4. ENTRYPOINT vs CMD. В чем их отличие? 5. Дискуссия: "Какую выбрать оболочку для работы с Docker в ОС Windows?" Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка н...
Введение в Docker с 0. Занятие 5. Мультиконтейнерные приложения. Docker Compose, Docker Network.
Просмотров 14611 месяцев назад
Настройка взаимодействия между контейнерами, с помощью добавления их в одну сеть (Network). Разворачивание и остановка всех контейнеров, используемых приложением, одной командой с помощью Docker Compose. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sh...
Какую выбрать стратегию при переход в Дата Инженеры (Data Engineer) из WEB разработки. Дискуссия.
Просмотров 29211 месяцев назад
Открытая дискуссия по вопросу, как осуществить переход в Data Engineering (Инженеры данных) из Web разработки. Сначала изучить курсы, а затем проходить собеседования или сразу постараться устроиться и уже в процессе работы добирать знания.
Введение в Docker с 0. Занятие 4. VOLUME 2 типов. Разворачиваем Postgres с сохранением базы.
Просмотров 19611 месяцев назад
Подключаем VOLUME двух типов. Стартуем контейнер с Postgres с сохранением файлов базы данных. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/getting-started-app.git Добавляйтесь в чат в...
Введение в Docker с 0. Занятие 3. Меняем и публикуем приложение. Устанавливаем PostgreSQL и MySQL.
Просмотров 20811 месяцев назад
Знакомимся со стандартным процессом разработки приложения с помощью Docker. Публикуем приложение в Docker Hub, а затем разворачиваем во внешнем сервисе. Разворачиваем у себя на компьютере контейнеры с PostgreSQL и MySQL. Ссылка на Play With Docker: labs.play-with-docker.com/?_gl=1*10473iy*_ga*MTE1MDM3MjMzOS4xNjkwODY5Nzky*_ga_XJWPQMJYHQ*MTY5MjMzNTI5MS4yOC4xLjE2OTIzMzU3NTQuNjAuMC4w Все занятия и ...
Введение в Docker с 0. Занятие 2. Упаковываем первое приложение. Разбираем 6 команд в Dockerfile
Просмотров 273Год назад
Разбираем команды: FROM, WORKDIR, COPY, RUN, CMD, EXPOSE Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адрему github.com/docker/getting-started-app.git Добавляйтесь в чат в телеграме t.me/ A6_pJhDS2Tc5ZjIy Под...
Введение в Docker с 0. Занятие 1, ч 2/2. Знакомимся с понятиями Container, Images и с архитектурой.
Просмотров 301Год назад
Если вы используете Windows, то перед установкой необходимо установить WSL. Инструкция в видео ruclips.net/video/cNy50Int4Rk/видео.html Документация Docker docs.docker.com/get-started/ Скачать Docker docs.docker.com/get-docker/ Клиент Git git-scm.com/downloads IDE Visual Studio Code code.visualstudio.com/ Lightshot app.prntscr.com/ru/ Бесплатный курс по SQL itempuniversity.com/course/view.php?i...
Пусть с нуля до устройства тестировщиком. Как подготовился? Как прошел собеседование? Нравится ли?
Просмотров 130Год назад
Пусть с нуля до устройства тестировщиком. Как подготовился? Как прошел собеседование? Нравится ли?
Введение в Docker с 0. Занятие 1, ч 1/2. Знакомимся с понятиями Container, Images и с архитектурой.
Просмотров 830Год назад
Введение в Docker с 0. Занятие 1, ч 1/2. Знакомимся с понятиями Container, Images и с архитектурой.
Курс "Создание хранилища данных". 19 Основы Data Vault, создаем и наполняем основной слой
Просмотров 746Год назад
Курс "Создание хранилища данных". 19 Основы Data Vault, создаем и наполняем основной слой
Курс "Создание хранилища данных". 18 Знакомство с Anchor Modeling (якорной моделью)
Просмотров 797Год назад
Курс "Создание хранилища данных". 18 Знакомство с Anchor Modeling (якорной моделью)
Курс "Создание хранилища данных". 17 Основы Data Vault, создаем таблицы, наполняем staging слой
Просмотров 807Год назад
Курс "Создание хранилища данных". 17 Основы Data Vault, создаем таблицы, наполняем staging слой
Курс "Создание хранилища данных". 16 Основы Data Vault, создаем первую модель
Просмотров 3,5 тыс.Год назад
Курс "Создание хранилища данных". 16 Основы Data Vault, создаем первую модель
Курс "Создание хранилища данных". 15 Пример визуализации в PowerBI и модель данных из Yandex Metrika
Просмотров 966Год назад
Курс "Создание хранилища данных". 15 Пример визуализации в PowerBI и модель данных из Yandex Metrika
Курс "Процедурный SQL в PostgreSQL" 03. PL/pgSQL часть 1.
Просмотров 634Год назад
Курс "Процедурный SQL в PostgreSQL" 03. PL/pgSQL часть 1.
Курс "Процедурный SQL в PostreSQL" 02. Процедуры.
Просмотров 616Год назад
Курс "Процедурный SQL в PostreSQL" 02. Процедуры.
Курс "Процедурный SQL в PostreSQL" 01. Функции. Разбор домашнего задания.
Просмотров 427Год назад
Курс "Процедурный SQL в PostreSQL" 01. Функции. Разбор домашнего задания.
Курс "Процедурный SQL в PostgreSQL" 01. Функции.
Просмотров 2,4 тыс.Год назад
Курс "Процедурный SQL в PostgreSQL" 01. Функции.
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL. Разбор домашнего задания.
Просмотров 440Год назад
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL. Разбор домашнего задания.
Курс "Процедурный SQL в PostreSQL" 03. Функции в PL/pgSQL. Разбор домашнего задания.
Просмотров 479Год назад
Курс "Процедурный SQL в PostreSQL" 03. Функции в PL/pgSQL. Разбор домашнего задания.
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL.
Просмотров 639Год назад
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL.
Курс "Процедурный SQL в PostreSQL" 02. Процедуры. Разбор домашнего задания.
Просмотров 281Год назад
Курс "Процедурный SQL в PostreSQL" 02. Процедуры. Разбор домашнего задания.

Комментарии

  • @user-cl1sg4tr4v
    @user-cl1sg4tr4v 21 день назад

    Кое-как воспринял материал видео-урока, не мог оторваться от увлекательных событий экшн камеры Михаила)))

  • @user-ie2ss1il5p
    @user-ie2ss1il5p 24 дня назад

    Очень очень интересно и понятно, думаю многие из нас сэкономили кучу денег на курсы по дата-аналитике🙈 Спасибо Вам большое, Вы делаете большое дело!

  • @digitalberd
    @digitalberd 27 дней назад

    Ого, data driven подход в ведении бизнеса!

  • @digitalberd
    @digitalberd 27 дней назад

    Огромное спасиб за видео! Сам я с данными работаю уже 14 лет, но последние пару лет немного отстал от жизни: решил что Airflow знаю и больше ничего не надо. А сейчас ещё появился и AirByte - и использование его совместно с Airflow - отличныая практика - очень ускоряет разработку data pipelines!

  • @user-tv4mn2fu6x
    @user-tv4mn2fu6x 27 дней назад

    Отличное видео!

  • @LYOVA61RUS
    @LYOVA61RUS Месяц назад

    Не могу понять, зачем делать пустые сателлиты на линки, содержащие только атрибуты самого линка

  • @user-if1dj7fy2y
    @user-if1dj7fy2y Месяц назад

    Чудесно звучит ❤ А когда будет продолжение этой темы разговора 😮 ?

  • @user-rc3kv1lx2l
    @user-rc3kv1lx2l 2 месяца назад

    все эти манипуляции были проделаны ради того, чтобы новые данные, приходя в Источник, автоматически загружались бы и в Хранилище?

  • @evgeniynorfolk5909
    @evgeniynorfolk5909 3 месяца назад

    Все по делу и без воды, супер!

  • @user-uw3mq4yb6m
    @user-uw3mq4yb6m 3 месяца назад

    Спасибо за урок

  • @NiceDeadPet
    @NiceDeadPet 4 месяца назад

    "...обрабатывать большие данных с минимальной скоростью..." - может, с "максимальной скоростью"?))

  • @user-su5by2uj6q
    @user-su5by2uj6q 4 месяца назад

    17:39 Clickhouse тоже можно упомянуть

  • @user-su5by2uj6q
    @user-su5by2uj6q 4 месяца назад

    курс очень крутой, и бесплатно. Где подвох?

  • @georgebezov
    @georgebezov 5 месяцев назад

    Да что ж такое. Ни одного нормального видео на русском языке про якорную модель. Здесь вроде информация доступная, но смотреть это мельтешение экрана просто невозможно

    • @DmitriyProdovets
      @DmitriyProdovets 3 месяца назад

      Тоже столкнулся с этой проблемой. Если найдешь адекватную информацию - маякни)

  • @user-lk3zy3uq5y
    @user-lk3zy3uq5y 5 месяцев назад

    А процедур не будет? Хотя бы одну....

  • @user-tr4dr4fv7j
    @user-tr4dr4fv7j 5 месяцев назад

    Лучший ❤

  • @faibichandrei3189
    @faibichandrei3189 5 месяцев назад

    Это видео сделано для вызова приступа эпилепсии?)

  • @yabidubidu666
    @yabidubidu666 6 месяцев назад

    Большое спасибо за видео!

  • @iMan-ql4gx
    @iMan-ql4gx 6 месяцев назад

    Отличное объяснение

    • @DataCourse
      @DataCourse 6 месяцев назад

      Благодарю!

  • @user-pd7ps3ud5h
    @user-pd7ps3ud5h 6 месяцев назад

    Zdrastvuyte. Xotel znat est li vozmojnost uchastvovat v prekte po video? Spasibo

  • @alexzir
    @alexzir 7 месяцев назад

    Подскажите пожалуйста, где страница курса, чтобы подробности посмотреть, в т.ч. как проходить курс?

    • @DataCourse
      @DataCourse 7 месяцев назад

      здравствуйте! страница курса по ссылке itempuniversity.com/course/view.php?id=622 регистрация на сайте бесплатная, после регистрации курс доступен

  • @dmitryandreew8582
    @dmitryandreew8582 8 месяцев назад

    Спасибо за видео! А зачем настолько усложнять в исходной дб с типами данных? Почему бы сразу не хранить рейтинги в string, а годы в int2?

  • @JIJI-zv1qp
    @JIJI-zv1qp 8 месяцев назад

    Когда будет продолжение

  • @user-pd7ps3ud5h
    @user-pd7ps3ud5h 8 месяцев назад

    A prodaljenie budet ? do transformaci i BI ?

    • @DataCourse
      @DataCourse 8 месяцев назад

      в этом плейлисте будут будущие видео. пока выложено еще одно. Еще 2 занятия проведены и сняты, но пока не подготовлены к публикации

    • @DataCourse
      @DataCourse 8 месяцев назад

      да, будут трансформации и BI

    • @user-pd7ps3ud5h
      @user-pd7ps3ud5h 8 месяцев назад

      @@DataCourse благодарю за ответы. Канал и контент очень понравились. Жду продолжения 👍

  • @user-pd7ps3ud5h
    @user-pd7ps3ud5h 8 месяцев назад

    Da spasibo.

  • @andreysemenov1978
    @andreysemenov1978 9 месяцев назад

    хороший видос

  • @user-ed1hy3by5p
    @user-ed1hy3by5p 10 месяцев назад

    На 18:00 "Если мы запрашиваем очень маленькую долю строк из таблицы..." А откуда он до выполнения запроса знает, какую долю мы запросили? Разве суть запроса не в том, чтобы пересмотреть всё и вернуть запрашиваемое?

    • @user-sl1ti8bx4h
      @user-sl1ti8bx4h 8 месяцев назад

      В данном случае необходимо обратить внимание на то как работает структура данных индекса b-tree, ну или например как работает бинарный поиск

    • @vaskodagam0
      @vaskodagam0 2 месяца назад

      Для этого в субд есть статистика. Планировщик примерно знает какие данные и в каком объеме находятся в таблице

  • @filippov70
    @filippov70 10 месяцев назад

    Точка Ди в пути это unix-стиль наименования папок(каталогов). В unix всё файл же. Это чтобы было понятно, что это directory просто по имени :). Это всё со старых времён осталось и не относится к PostgreSQL

  • @filippov70
    @filippov70 10 месяцев назад

    Я делал так: ARG filename="popddb_prepare.sql" ADD $filename /docker-entrypoint-initdb.d/ ARG filename="popddb.sql" ADD $filename /docker-entrypoint-initdb.d/ Запускается в контейнере в порядке загрузки файлов в ADD

  • @vskovzgird
    @vskovzgird 10 месяцев назад

    На превью представлена stacked control plane архитектура. Что очень распространено, но сложно назвать это продакшн решением.

  • @victormog
    @victormog 10 месяцев назад

    Terminal в VS Code - это по умолчанию виндовский терминал, а bash появляется на выбор после установки git или node.js

  • @paleface_brother
    @paleface_brother 10 месяцев назад

    А чем под отличается от ноды?

    • @DataCourse
      @DataCourse 10 месяцев назад

      Нода - это компьютер/машина. Под - это то, в чем контейнер запускается. На одной ноде (на одном компьютере) может быть запущено несколько подов

    • @paleface_brother
      @paleface_brother 10 месяцев назад

      @@DataCourse Спасибо.

    • @victormog
      @victormog 10 месяцев назад

      *Pod* - стручок, кокон (англ.) Логическое объединение контейнеров.

  • @paleface_brother
    @paleface_brother 10 месяцев назад

    Позволю себе поправить Владимира (если я ошибаюсь, то поправьте меня 🙂): docker run запускает создание контейнера из образа. docker start запускает уже созданный контейнер.

    • @DataCourse
      @DataCourse 10 месяцев назад

      Да, все верно

  • @ManticoreRoko
    @ManticoreRoko 10 месяцев назад

    Суперский материал. Хотелось бы больше подобного контента и желательно в GreenPlum

  • @KobaltMetal
    @KobaltMetal 10 месяцев назад

    Плюсую, все подробно и внятно без воды

  • @romixweb
    @romixweb 10 месяцев назад

    Скажите пожалуйста, создание курса еще не закончено и будут добавляться новые видео?

    • @DataCourse
      @DataCourse 10 месяцев назад

      Здравствуйте! Сейчас выложено 8 занятий - пока на этом мы курс завершили.

  • @filippov70
    @filippov70 11 месяцев назад

    я очень часто сталкиваюсь с тем, что входные параметры именуются с префикса "p_" и без указания имени функции, например, p_inventory_id. А в PL/pgSQL'ных функциях локальные перемененные с префиксом "l_", типа local'ные

  • @filippov70
    @filippov70 11 месяцев назад

    я думал, что инструкция это Dockerfile, а на 4:35 написано, что образ инструкция. А ниже, что Dockerfile.

  • @user-lk3zy3uq5y
    @user-lk3zy3uq5y 11 месяцев назад

    Диски находятся в таблице inventory!!!!!! Получилось решить домашнее задание почти самостоятельно!