![Владимир Амелин](/img/default-banner.jpg)
- Видео 114
- Просмотров 168 131
Владимир Амелин
Добавлен 6 май 2007
Собираем pipeline. Схема инженерии данных. Часть 4. Связываем AirFlow и AirByte.
Материалы с занятия: disk.yandex.ru/d/f4lbcXiyprVaAQ
Инструкция: airbyte.com/tutorials/how-to-use-airflow-and-airbyte-together
Итоговый набор файлов: disk.yandex.ru/d/580Z5F6oPMYbgQ
Презентация с краткой инструкцией:
docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing
Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/+A6_pJhDS2Tc5ZjIy
Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Инструкция: airbyte.com/tutorials/how-to-use-airflow-and-airbyte-together
Итоговый набор файлов: disk.yandex.ru/d/580Z5F6oPMYbgQ
Презентация с краткой инструкцией:
docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing
Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/+A6_pJhDS2Tc5ZjIy
Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Просмотров: 400
Видео
Собираем pipeline. Схема инженерии данных. Часть 3. Объединяем компоненты в один docker-compose файл
Просмотров 4238 месяцев назад
Материалы с занятия: disk.yandex.ru/d/f4lbcXiyprVaAQ Презентация с краткой инструкцией: docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Собираем pipeline. Схема инженерии данных. Часть 2. Разворачиваем AirByte в Docker на Windows.
Просмотров 5189 месяцев назад
В данном видео представлена инструкция установки ПО для работы с Docker в ОС Windows. Мы устанавливаем: Hyper-V: learn.microsoft.com/ru-ru/virtualization/hyper-v-on-windows/quick-start/enable-hyper-v WSL 2: wsl install wsl list wsl install -d Ubuntu-22.04 Windows Terminal: www.microsoft.com/store/productId/9N0DX20HK701?ocid=pdpshare Docker Desktop: www.docker.com/products/docker-desktop/ Запуск...
Собираем pipeline. Схема инженерии данных. Часть 1. Разворачиваем AirByte + ClickHouse + PostgreSQL
Просмотров 1,5 тыс.9 месяцев назад
Презентация с краткой инструкцией: docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Real-time аналитика. Часть 1. Разворачиваем и запускаем первый поток в Apache Storm.
Просмотров 55110 месяцев назад
В теории знакомимся с тем, что отличает инструменты для real-time аналитики от инструментов для обычной аналитики. Проходим процесс установки необходимого ПО и запуска Apache Storm, а также сборки и разворачивания учебного проекта. Добавляйтесь в чатs в телеграме t.me/ A6_pJhDS2Tc5ZjIy и t.me/datalearnclub Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Kubernetes. Знакомство с возможностями. Разворачивание приложения в minikube.
Просмотров 59310 месяцев назад
Ссылка на презентацию docs.google.com/presentation/d/1y5rfokk5a_ypaNpD-Gz3ah-Bk8m-bJVj3lhsQQmlGHM/edit?usp=sharing Все занятия и домашние задания курса по Docker тут itempuniversity.com/course/view.php?id=669 Добавляйтесь в чат в телеграме t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Docker с 0. Занятие 7. Запуск postgres master + replication. Запуск локального реестра.
Просмотров 15510 месяцев назад
1. Запуск в 2 контейнерах основного сервера и репликации PostgreSQL. 2. Простой запуск локального реестра образов Docker. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/getting-started-...
Введение в Docker с 0. Занятие 8. Старт контейнера с postgreSQL с предустановленными данными
Просмотров 10810 месяцев назад
1. Создание образа и разворачивание из него контейнера с PostgreSQL с предустановленными данными. 2. Сравнение ENTRYPOINT и CMD часть 2. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/g...
Введение в Docker с 0. Занятие 6. Прием оптимизации времени сборки образа. ENTRYPOINT vs CMD.
Просмотров 12511 месяцев назад
1. Как посмотреть команды, с помощью которых был построен каждый слой? 2. Оптимизация времени сборки образа 3. Использование в одной Dockerfile нескольких образов. Как это можно использовать? 4. ENTRYPOINT vs CMD. В чем их отличие? 5. Дискуссия: "Какую выбрать оболочку для работы с Docker в ОС Windows?" Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка н...
Введение в Docker с 0. Занятие 5. Мультиконтейнерные приложения. Docker Compose, Docker Network.
Просмотров 14611 месяцев назад
Настройка взаимодействия между контейнерами, с помощью добавления их в одну сеть (Network). Разворачивание и остановка всех контейнеров, используемых приложением, одной командой с помощью Docker Compose. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sh...
Какую выбрать стратегию при переход в Дата Инженеры (Data Engineer) из WEB разработки. Дискуссия.
Просмотров 29211 месяцев назад
Открытая дискуссия по вопросу, как осуществить переход в Data Engineering (Инженеры данных) из Web разработки. Сначала изучить курсы, а затем проходить собеседования или сразу постараться устроиться и уже в процессе работы добирать знания.
Введение в Docker с 0. Занятие 4. VOLUME 2 типов. Разворачиваем Postgres с сохранением базы.
Просмотров 19611 месяцев назад
Подключаем VOLUME двух типов. Стартуем контейнер с Postgres с сохранением файлов базы данных. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/getting-started-app.git Добавляйтесь в чат в...
Введение в Docker с 0. Занятие 3. Меняем и публикуем приложение. Устанавливаем PostgreSQL и MySQL.
Просмотров 20811 месяцев назад
Знакомимся со стандартным процессом разработки приложения с помощью Docker. Публикуем приложение в Docker Hub, а затем разворачиваем во внешнем сервисе. Разворачиваем у себя на компьютере контейнеры с PostgreSQL и MySQL. Ссылка на Play With Docker: labs.play-with-docker.com/?_gl=1*10473iy*_ga*MTE1MDM3MjMzOS4xNjkwODY5Nzky*_ga_XJWPQMJYHQ*MTY5MjMzNTI5MS4yOC4xLjE2OTIzMzU3NTQuNjAuMC4w Все занятия и ...
Введение в Docker с 0. Занятие 2. Упаковываем первое приложение. Разбираем 6 команд в Dockerfile
Просмотров 273Год назад
Разбираем команды: FROM, WORKDIR, COPY, RUN, CMD, EXPOSE Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адрему github.com/docker/getting-started-app.git Добавляйтесь в чат в телеграме t.me/ A6_pJhDS2Tc5ZjIy Под...
Введение в Docker с 0. Занятие 1, ч 2/2. Знакомимся с понятиями Container, Images и с архитектурой.
Просмотров 301Год назад
Если вы используете Windows, то перед установкой необходимо установить WSL. Инструкция в видео ruclips.net/video/cNy50Int4Rk/видео.html Документация Docker docs.docker.com/get-started/ Скачать Docker docs.docker.com/get-docker/ Клиент Git git-scm.com/downloads IDE Visual Studio Code code.visualstudio.com/ Lightshot app.prntscr.com/ru/ Бесплатный курс по SQL itempuniversity.com/course/view.php?i...
Пусть с нуля до устройства тестировщиком. Как подготовился? Как прошел собеседование? Нравится ли?
Просмотров 130Год назад
Пусть с нуля до устройства тестировщиком. Как подготовился? Как прошел собеседование? Нравится ли?
Введение в Docker с 0. Занятие 1, ч 1/2. Знакомимся с понятиями Container, Images и с архитектурой.
Просмотров 830Год назад
Введение в Docker с 0. Занятие 1, ч 1/2. Знакомимся с понятиями Container, Images и с архитектурой.
Курс "Создание хранилища данных". 19 Основы Data Vault, создаем и наполняем основной слой
Просмотров 746Год назад
Курс "Создание хранилища данных". 19 Основы Data Vault, создаем и наполняем основной слой
Курс "Создание хранилища данных". 18 Знакомство с Anchor Modeling (якорной моделью)
Просмотров 797Год назад
Курс "Создание хранилища данных". 18 Знакомство с Anchor Modeling (якорной моделью)
Курс "Создание хранилища данных". 17 Основы Data Vault, создаем таблицы, наполняем staging слой
Просмотров 807Год назад
Курс "Создание хранилища данных". 17 Основы Data Vault, создаем таблицы, наполняем staging слой
Курс "Создание хранилища данных". 16 Основы Data Vault, создаем первую модель
Просмотров 3,5 тыс.Год назад
Курс "Создание хранилища данных". 16 Основы Data Vault, создаем первую модель
Курс "Создание хранилища данных". 15 Пример визуализации в PowerBI и модель данных из Yandex Metrika
Просмотров 966Год назад
Курс "Создание хранилища данных". 15 Пример визуализации в PowerBI и модель данных из Yandex Metrika
Курс "Процедурный SQL в PostgreSQL" 03. PL/pgSQL часть 1.
Просмотров 634Год назад
Курс "Процедурный SQL в PostgreSQL" 03. PL/pgSQL часть 1.
Курс "Процедурный SQL в PostreSQL" 02. Процедуры.
Просмотров 616Год назад
Курс "Процедурный SQL в PostreSQL" 02. Процедуры.
Курс "Процедурный SQL в PostreSQL" 01. Функции. Разбор домашнего задания.
Просмотров 427Год назад
Курс "Процедурный SQL в PostreSQL" 01. Функции. Разбор домашнего задания.
Курс "Процедурный SQL в PostgreSQL" 01. Функции.
Просмотров 2,4 тыс.Год назад
Курс "Процедурный SQL в PostgreSQL" 01. Функции.
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL. Разбор домашнего задания.
Просмотров 440Год назад
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL. Разбор домашнего задания.
Курс "Процедурный SQL в PostreSQL" 03. Функции в PL/pgSQL. Разбор домашнего задания.
Просмотров 479Год назад
Курс "Процедурный SQL в PostreSQL" 03. Функции в PL/pgSQL. Разбор домашнего задания.
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL.
Просмотров 639Год назад
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL.
Курс "Процедурный SQL в PostreSQL" 02. Процедуры. Разбор домашнего задания.
Просмотров 281Год назад
Курс "Процедурный SQL в PostreSQL" 02. Процедуры. Разбор домашнего задания.
Кое-как воспринял материал видео-урока, не мог оторваться от увлекательных событий экшн камеры Михаила)))
Очень очень интересно и понятно, думаю многие из нас сэкономили кучу денег на курсы по дата-аналитике🙈 Спасибо Вам большое, Вы делаете большое дело!
Ого, data driven подход в ведении бизнеса!
Огромное спасиб за видео! Сам я с данными работаю уже 14 лет, но последние пару лет немного отстал от жизни: решил что Airflow знаю и больше ничего не надо. А сейчас ещё появился и AirByte - и использование его совместно с Airflow - отличныая практика - очень ускоряет разработку data pipelines!
Отличное видео!
Не могу понять, зачем делать пустые сателлиты на линки, содержащие только атрибуты самого линка
Чудесно звучит ❤ А когда будет продолжение этой темы разговора 😮 ?
все эти манипуляции были проделаны ради того, чтобы новые данные, приходя в Источник, автоматически загружались бы и в Хранилище?
Все по делу и без воды, супер!
Спасибо за урок
"...обрабатывать большие данных с минимальной скоростью..." - может, с "максимальной скоростью"?))
17:39 Clickhouse тоже можно упомянуть
курс очень крутой, и бесплатно. Где подвох?
Да что ж такое. Ни одного нормального видео на русском языке про якорную модель. Здесь вроде информация доступная, но смотреть это мельтешение экрана просто невозможно
Тоже столкнулся с этой проблемой. Если найдешь адекватную информацию - маякни)
А процедур не будет? Хотя бы одну....
Лучший ❤
Это видео сделано для вызова приступа эпилепсии?)
Большое спасибо за видео!
Отличное объяснение
Благодарю!
Zdrastvuyte. Xotel znat est li vozmojnost uchastvovat v prekte po video? Spasibo
Подскажите пожалуйста, где страница курса, чтобы подробности посмотреть, в т.ч. как проходить курс?
здравствуйте! страница курса по ссылке itempuniversity.com/course/view.php?id=622 регистрация на сайте бесплатная, после регистрации курс доступен
Спасибо за видео! А зачем настолько усложнять в исходной дб с типами данных? Почему бы сразу не хранить рейтинги в string, а годы в int2?
Когда будет продолжение
A prodaljenie budet ? do transformaci i BI ?
в этом плейлисте будут будущие видео. пока выложено еще одно. Еще 2 занятия проведены и сняты, но пока не подготовлены к публикации
да, будут трансформации и BI
@@DataCourse благодарю за ответы. Канал и контент очень понравились. Жду продолжения 👍
Da spasibo.
хороший видос
На 18:00 "Если мы запрашиваем очень маленькую долю строк из таблицы..." А откуда он до выполнения запроса знает, какую долю мы запросили? Разве суть запроса не в том, чтобы пересмотреть всё и вернуть запрашиваемое?
В данном случае необходимо обратить внимание на то как работает структура данных индекса b-tree, ну или например как работает бинарный поиск
Для этого в субд есть статистика. Планировщик примерно знает какие данные и в каком объеме находятся в таблице
Точка Ди в пути это unix-стиль наименования папок(каталогов). В unix всё файл же. Это чтобы было понятно, что это directory просто по имени :). Это всё со старых времён осталось и не относится к PostgreSQL
Я делал так: ARG filename="popddb_prepare.sql" ADD $filename /docker-entrypoint-initdb.d/ ARG filename="popddb.sql" ADD $filename /docker-entrypoint-initdb.d/ Запускается в контейнере в порядке загрузки файлов в ADD
На превью представлена stacked control plane архитектура. Что очень распространено, но сложно назвать это продакшн решением.
Terminal в VS Code - это по умолчанию виндовский терминал, а bash появляется на выбор после установки git или node.js
А чем под отличается от ноды?
Нода - это компьютер/машина. Под - это то, в чем контейнер запускается. На одной ноде (на одном компьютере) может быть запущено несколько подов
@@DataCourse Спасибо.
*Pod* - стручок, кокон (англ.) Логическое объединение контейнеров.
Позволю себе поправить Владимира (если я ошибаюсь, то поправьте меня 🙂): docker run запускает создание контейнера из образа. docker start запускает уже созданный контейнер.
Да, все верно
Суперский материал. Хотелось бы больше подобного контента и желательно в GreenPlum
Плюсую, все подробно и внятно без воды
Скажите пожалуйста, создание курса еще не закончено и будут добавляться новые видео?
Здравствуйте! Сейчас выложено 8 занятий - пока на этом мы курс завершили.
я очень часто сталкиваюсь с тем, что входные параметры именуются с префикса "p_" и без указания имени функции, например, p_inventory_id. А в PL/pgSQL'ных функциях локальные перемененные с префиксом "l_", типа local'ные
я думал, что инструкция это Dockerfile, а на 4:35 написано, что образ инструкция. А ниже, что Dockerfile.
Диски находятся в таблице inventory!!!!!! Получилось решить домашнее задание почти самостоятельно!