Видео

Отличный доклад, спасибо)

Уффф, офигенно вышло Ты лучший, без шууток Я тҽбҽ 𝓬дҽлαю ρҽƙ1лαᙏყ Ԩα 𝓬ßσҽᙏ 𝓬тρиᙏҽ бҽ𝓬плαтԨσ, Ԋαбҽρҽ1ᙏ тҽбҽ пσдпи𝓬чиƙσß! 3αйди Ԋα этσт ƙαԨαл ყßидиɯƄ ᙏσи дßα ƙαԨαлα - пσдпиɯи𝓬Ƅ Ԩα Ԋиχ! А я тебе пожелаю удачи! :)

18 минут из 30 не про маге

Отличный доклад!

Такое ощущение, что на Flink написали NiFi)

Является ли CDC/Debezium альтернативным решением в случае с небольшим количеством сообщений и несложными трансформациями?

Жаль, что цель доклада - реклама форка, который уже заброшен 😢

И ещё какая тварь RUclips замедляет, руки бы обломать...

Отличный доклад

Спасибо Владимиру за отличный рассказ

бэ, мэ, ненужный выпендреж и шуточки, по существу не много

есть русское слово - применить, зачем долгое имплементировать ? )))))

очень много воды

Много не по теме. А так очень интересно Спасибо

Да блин, запускаю тот же самый код и работает иначе всё

Понравилась первая часть выступления, которая не относилась к Mage, вот эта рефлексия с позиции менеджера. Как только перешли к демо по непосредственной теме, все стало очень скомканно, что-то в streamlit показал, запустил пайплайн в mage, что получил, для чего - непонятно. Может быть, стоило строить доклад не вокруг конкретного тула, а до конца описать преобразования, которые с командой удалось осуществить. От себя скажу про Mage. Он расширяет возможности оркестратора, позволяя смотреть на результаты трансформаций в jupyter-like интерфейсе и даже передавать датасеты между тасками. Также он ест меньше памяти в сравнении с Airflow, особенно в idle state. Но! В прод мы так и не решились с ним идти - он все-таки еще очень сырой, какие-то нечитаемые ошибки, баги и т.п.

ЭЭ а как же запрет работы из-за границы ?

Интересно, ожидал, что на Data Lens перейдут

Добрый день. А мне, как кандидату, не понравилось интервью. Создалось впечатление, что нанимающие менеджеры живут в своей придуманной ими реальности. Что нужно сделать чтобы % был больше: перестать искать сферического коня в вакууме, идеала(с нереальными скилами), а опираться на реальных людей, которые приходят на рынок. И речь идет не о том, что нужно брать не грамотных, а о том, чтобы опираться на опыт людей+потребности компании. Если нанимающий менеджер даже резюме не читает - по мне это говорит о том, что он не заинтересован в человеке, а хочет найти функцию. Позиция соискателя: 1. Все знать невозможно, по причине огромного количества информации и технологий, тем более, что они устаревают. 2. за свою карьеру я работал в разных компаниях, и удивительно: то, что меня спрашивали на собесах по технологиям, в реальных проектах было не более 20% 3. считаю, что умение осваивать и учиться новому гораздо более важно, чем знания на текущий момент, однако не все компании это понимают. 4. лайф-кодинг по python на собесах для DE считаю бесполезной штукой, поскольку сейчас очень много информации по python, для написания дагов airflow не нужно сверхзнаний, а если пишешь на nifi, там вообще nocode. Гораздо важнее понимание процессов, как работает та или иная технология, принципы проектирования БД, обработка данных, знание нюансов конкретной СУБД, в которой работаешь. У меня в опыте по DE и даже когда я был разработчиком, ни разу не было задач по алгоритмам. Разве что в институте. Зачем это спрашивают - я не понимаю. 5. Софт-скиллы важны, это да. Однако когда нанимающий менеджер даже резюме не читает, это занавес. Мне скажут, что он очень занят, это отговорки, поскольку если нанимают по месяцам(то на это время, конечно же есть). Найм - это обоюдный процесс. 6. Мне очень понравилась идея спрашивать человека об его опыте. Это честно и вызывает уважение. И по сути верно. О чужом опыте гораздо труднее разговаривать. А про знания - я написал выше. Вывод: маленький % по найму на мой взгляд из-за того, что компании хотят найти идеального под себя кандидата. Идеалы недостижимы, они есть, но только в наших головах, а реальность другая.

Здравствуйте, а видео из дискуссионной зоны пишется?

А embedded остается такой же? У суперсет насколько я понимаю embeded достаточно ограничен

Уже вторая половина 2024, где open source))

Суперсет - огонь!

послушал, сложилось впечатление, что все по сути озвучили, что проблемой найма является дефицит высококвалифицированных низкооплачиваемых специалистов. Но выходы почему то все пытаются найти где-то в нематериальной стороне

что за журнал ВАК в части DE ?

Катя молодчина, в цель с правдой в резюме. Реально нет гиперсложных технологий, но поняв как хорошо кандидат знает то, что он написал в резюме, получается полный портрет. Кажется, что только с помощью резюме можно максимально быстро понять когнитивный потенциал и мотивацию.

HR неприятное впечатление оставляет, понты понтами с "международной компанией" и из релокантов-соевиков в Грузии и Армении

Ниочем

Отличный доклад! Ну, первая половина, за что спасибо Александру! Ну а вторая - ммм, больше про хохотнуть с метафор) ну и самый первый довод, где с гордостью было заявлено про то, что человек мыслит бинарно... Ох, спасибо, но нет 😅

2023?

Презентация отдает 404. Поправьте, пожалуйста

Все четко !

elt on spark ? did you hear about informatica or similar products?

It's stupid to write etl with select * from table and then with a wise face prove different life hacks of consequences resolution 😂

Спасибо! Классный доклад

Крутейший проект, странно что так мало интереса

Интересно почему всё не на YTsaurus сделали вместо ГП? И можно ли сейчас делать детальный слой на YTsaurus

Я предпочитаю spark+trino+iceberg для data lakehouse

спасибо за доклад, а чем библиотека astronomer cosmos для связки Airflow + dbt не подошла?)

Господи, какая ужасная не поставленная речь. Друзья вы хоть консультантов нанимайте, филологов.

Метрики не усложнились, они всегда были сложными. Как ты оценишь эффективность наружной рекламы, которая существует уже очень давно? Люди будут ходить мимо нее и сегодня, завтра, и через год. И бизнес понимает это и допускает в подобного рода данных какой-то уровень неопределенности. Но он точно не будет сидеть 50 лет и ждать, когда к нему дойдут все события, он подпишется на какой-то контракт, как ты и сам сказал. Поэтому график с завершением джобы все еще нагляднее, чем график прихода событий, поскольку он дает тебе понять, что в рамках твоего контракта он до тебя данные довел.

крч данные могут меняться, а в особенности продуктовые метрики, которые меняются долго. Поэтому нужно вводить на данные контракты. Нужно для того чтобы не вызывать иллюзии полноты данных у аналитиков и топ менеджмента

Как вы заебали со своей метафизикой. Полчаса искал что-то что перевернет мой взгляд, нашел только трепло которое наплело контекстов и выступило на сцене. Хочешь преподавать - преподавай лично. Хочешь заработать - выходи на сцену.

Максим - прекрасный рассказчик, спасибо за доклад. Первые 10 минут не перематывайте - весьма занимательно и позволяет целиком окунуться в проблематику

Первые 10 минут ни о чем... Перематываем

шикааарно! спасибо ^__^

фирменное "ихние"😄

я не понял причину следственную связь: нет транзакций == теряются данные я представляю что транзакции нужны если ты записываешь несколько связанных сущностей одной операцией. Я так понимаю это не тот случай тогда остается вариант что может репликация там несинхронная Поясните пожалуйста что имело ввиду.

Классный доклад, с множеством технических деталей и честностью/откровенностью!

а перенос данных из вашего postgres в greenplum делаете через airbyte?