Подписываюсь под тем, что интерфейс Airbyte спроектирован так что человек который вообще ничего не понимает, сделал бы хоть что-то. Я лишь два месяца работаю в IT (аналитиком) и я через пень колоду но смогла. Через пень, т.к. не все источники в готовом виде в Airbyte пока что есть, кое-что пришлось делать врукопашную. Но и это было не сложно - сложнее было найти где это можно сделать. Вот знала бы что в этом видео вы как раз кастомите с нуля, не мучилась бы вообще))
Таймкоды: 00:00:00 Начало 00:01:08 Схема работы Airbyte 00:03:32 Интерфейс Airbyte 00:05:03 Создание конфигурации источника данных в custom connector с помощью инструмента Connector Builder 00:10:13 Создание конфигурации источника данных в Connector Builder 00:11:53 Создание конфигурации источника данных. Тестирование потока данных 00:12:52 Создание конфигурации источника данных. Авторизация 00:15:02 Создание конфигурации источника данных. Выбор значений, необходимых к получению 00:18:26 Создание конфигурации источника данных. Настройка первичного ключа 00:19:13 Создание конфигурации источника данных. Настройка обработчика ошибок 00:20:53 Создание конфигурации источника данных. Настройка лёгкой трансформации получаемых данных (удаление/добавление полей) 00:22:14 Создание конфигурации источника данных. Публикация созданного коннектора 00:23:10 Создание соединения. 00:23:32 Создание соединения. Создание источника данных. 00:24:54 Создание соединения. Определение места хранения данных. 00:25:19 Создание соединения. Настройка конфигуратора коннектора. 00:27:35 Получение данных по коннектору. Просмотр логов. 00:27:35 Получение данных по коннектору. Просмотр логов. 00:29:00 Нормализация полученных данных. 00:30:00 Трансформация данных JSON в плоскую таблицу с помощью SQL-запроса 00:31:41 Конец
![Gucci Mane & Sexyy Red - You Don't Love Me [Official Music Video]](http://i.ytimg.com/vi/j7IBqyFKT4c/mqdefault.jpg)
![Технологии в электронной торговле [Лекция в ВШБ НИУ-ВШЭ - Роман Каган]](/img/1.gif)
По трансформации конечно же нужно видео! Я с коллегами буду его ждать!
Подписываюсь под тем, что интерфейс Airbyte спроектирован так что человек который вообще ничего не понимает, сделал бы хоть что-то. Я лишь два месяца работаю в IT (аналитиком) и я через пень колоду но смогла. Через пень, т.к. не все источники в готовом виде в Airbyte пока что есть, кое-что пришлось делать врукопашную. Но и это было не сложно - сложнее было найти где это можно сделать.
Вот знала бы что в этом видео вы как раз кастомите с нуля, не мучилась бы вообще))
Спасибо большое, что написали - и не думал, что видео такой отклик найдёт!
@@rmrkaa Это вам большое спасибо за видео! Оно нашей команде очень помогло 🤝
Таймкоды:
00:00:00 Начало
00:01:08 Схема работы Airbyte
00:03:32 Интерфейс Airbyte
00:05:03 Создание конфигурации источника данных в custom connector с помощью инструмента Connector Builder
00:10:13 Создание конфигурации источника данных в Connector Builder
00:11:53 Создание конфигурации источника данных. Тестирование потока данных
00:12:52 Создание конфигурации источника данных. Авторизация
00:15:02 Создание конфигурации источника данных. Выбор значений, необходимых к получению
00:18:26 Создание конфигурации источника данных. Настройка первичного ключа
00:19:13 Создание конфигурации источника данных. Настройка обработчика ошибок
00:20:53 Создание конфигурации источника данных. Настройка лёгкой трансформации получаемых данных (удаление/добавление полей)
00:22:14 Создание конфигурации источника данных. Публикация созданного коннектора
00:23:10 Создание соединения.
00:23:32 Создание соединения. Создание источника данных.
00:24:54 Создание соединения. Определение места хранения данных.
00:25:19 Создание соединения. Настройка конфигуратора коннектора.
00:27:35 Получение данных по коннектору. Просмотр логов.
00:27:35 Получение данных по коннектору. Просмотр логов.
00:29:00 Нормализация полученных данных.
00:30:00 Трансформация данных JSON в плоскую таблицу с помощью SQL-запроса
00:31:41 Конец
🔥🔥🔥
😮