Отличный темп подачи материала. Хоть в эту сферу и не собираюсь идти, но всё равно было приятно случать человека, который не мычит\причмокивает\зависает, а выдаёт готовый материал беглой манерой речи.
Сейчас я в процессе обучения ML, также заинтересовала сфера big data но узнал что последнее сейчас умирает в связи с тем что AI & ML могут почти полностью заменить ее Насколько это правда, и если так, то действительно от дата инженера будет требоваться тот же Спарк или hadoop в современных реалиях?
@@Leha_from_Zavod хадуп и спарк всегда использовались в дата инжениринге т.к. это инструменты для обработки больших данных. С дата инженирингом все будет норм: данных становится все больше и кто-то должен обрабатывать их инфраструктуру.
@@hopelesssuprem1867вспомнил после чего у меня такое опасение сложилось - статья на Хабре «большие данные мертвы», Увидел что много комментариев которые поддерживают посыл автора и думал что тенденции развития биг даты сейчас посредственные)
Полезное видео, но забавно, что в большинстве вакансий на джуна требуются знания, которые в данном видео позиционируются как сеньоровские) не нашел ни одной вакансии Junior Data Engineer без знания Hadoop, Spark, Kafka и NoSQL вместе)
Интересное видео, спасибо! Однако, по своему опыту, оставило в недоумении. Я вот только устроился на джуна. Было много собеседований. Так вот, некоторые из вопросов на эту позицию были ровно из тех, что вы показали для джуна, но примерно треть-половина - это из тех, что вы причислили к миддлу и даже сеньору (оконные функции, кафка, спарк-стриминг и спарк вообще, имплиситы в скале и паттерн-мэтчинг и много чего ещё). Это мне не повезло? Или сейчас планка, чтобы просто пойти и сделать первую джуниорскую таску, стала выше?
Я вот учусь на Java developer. Java, SQL, Git и алгоритмы уже знаю на достаточном (по этому родмэпу) уровне для устройства Джун Data Engineer, но в разработке я ещё не близко к первой вакансии. Я все вообще правильно понял? Может ещё что-то нужно знать Data Engineer?
Мой вам совет: просто откликайтесь на вакансии, где ваши знания соответствуют хотя на 50% от требований вакансии. Для тех компаний, которые вам больше понравились напишите сопроводительное письмо. В нем опишите свой опыт, чем нравится их компания/вакансия и что вы хотите провести с ними интервью
Очень информативное видео. Подскажите пожалуйста, на каком уровне нужно знать джаву/питон? У меня есть опыт написание программ на джаве, но не совсем мне понятно, что нужно подучить, чтобы выполнять работу ДЕ
Спасибо за полезное видно! Артем, какой язык порекомендуете учить для DE Java или Python? Есть цель переезда в США, когда смотрел варианты увидел, что большинство вакансий там на Python. В отличии от России/Европы где достаточно много Java/Scala. Какие из Российских компаний лучше подходят чтобы прокачаться в направлении DE?
Я бы в любом случае начинал с Python. Это поможет сосредоточиться на технологиях и базах данных и не сильно отвлекаться на ЯП. Другой язык можно выучить позже, тем более глубоко знать язык обычно не требуется, поэтому опыт нескольких лет разработки не потребуются на собеседованиях.
Из вашего личного опыта - насколько ЗП дата инженеров отличаются от зарплат разработчиков? Не будешь ли чувствовать, что сделал не правильный выбор, перейдя в Биг Дату? Сейчас работаю энтерпрайз разработчиком и хочется перейти в биг дату, но немного пугает тот факт, что потолок зарплат может быть заметно ниже.
Отличный темп подачи материала. Хоть в эту сферу и не собираюсь идти, но всё равно было приятно случать человека, который не мычит\причмокивает\зависает, а выдаёт готовый материал беглой манерой речи.
учусь на ML и сейчас стал встречать часто в вакансиях тоже знание спарка, понимание ETL и т.д., в общем, планка с каждым годом только растет и растет)
Сейчас я в процессе обучения ML, также заинтересовала сфера big data но узнал что последнее сейчас умирает в связи с тем что AI & ML могут почти полностью заменить ее Насколько это правда, и если так, то действительно от дата инженера будет требоваться тот же Спарк или hadoop в современных реалиях?
@@Leha_from_Zavod хадуп и спарк всегда использовались в дата инжениринге т.к. это инструменты для обработки больших данных. С дата инженирингом все будет норм: данных становится все больше и кто-то должен обрабатывать их инфраструктуру.
@@hopelesssuprem1867вспомнил после чего у меня такое опасение сложилось - статья на Хабре «большие данные мертвы», Увидел что много комментариев которые поддерживают посыл автора и думал что тенденции развития биг даты сейчас посредственные)
Хорошее объяснение. Было бы познавательно увидеть какое практическое видео из реальной работы . Например, создание пайплайна.
Полезный обзор! Спасибо!
Спасибо за видео!
Обзор огонь! Спасибо огромное, очень наглядно и понятно.
Ёмко и по существу!
Спасибо, информативное видео.
Самый понятный роадмап! Спасибо. Рассчитывал найти курс для DATA ENGINEER, а курса на платформе нет (((((. Где курс? )
норм видос, спасибо
Полезное видео, но забавно, что в большинстве вакансий на джуна требуются знания, которые в данном видео позиционируются как сеньоровские)
не нашел ни одной вакансии Junior Data Engineer без знания Hadoop, Spark, Kafka и NoSQL вместе)
Ну оооочень круто сделано
Интересное видео, спасибо!
Однако, по своему опыту, оставило в недоумении. Я вот только устроился на джуна. Было много собеседований. Так вот, некоторые из вопросов на эту позицию были ровно из тех, что вы показали для джуна, но примерно треть-половина - это из тех, что вы причислили к миддлу и даже сеньору (оконные функции, кафка, спарк-стриминг и спарк вообще, имплиситы в скале и паттерн-мэтчинг и много чего ещё). Это мне не повезло? Или сейчас планка, чтобы просто пойти и сделать первую джуниорскую таску, стала выше?
Скорее повысили планку, у меня точно такая же история)
А где профессию осваивал?
так во всех профессиях айти. От джуна хотят уровень мидлов.
а ЗП на джуна тоже повысили?
Боюсь представить как спустя год поднялась планка
Я вот учусь на Java developer. Java, SQL, Git и алгоритмы уже знаю на достаточном (по этому родмэпу) уровне для устройства Джун Data Engineer, но в разработке я ещё не близко к первой вакансии. Я все вообще правильно понял? Может ещё что-то нужно знать Data Engineer?
Мой вам совет: просто откликайтесь на вакансии, где ваши знания соответствуют хотя на 50% от требований вакансии. Для тех компаний, которые вам больше понравились напишите сопроводительное письмо. В нем опишите свой опыт, чем нравится их компания/вакансия и что вы хотите провести с ними интервью
Очень информативное видео. Подскажите пожалуйста, на каком уровне нужно знать джаву/питон? У меня есть опыт написание программ на джаве, но не совсем мне понятно, что нужно подучить, чтобы выполнять работу ДЕ
Здравствуйте!
Спасибо за видео!
Как получить этот роадмап?
В описании к видео ссылки.
Спасибо за полезное видно! Артем, какой язык порекомендуете учить для DE Java или Python? Есть цель переезда в США, когда смотрел варианты увидел, что большинство вакансий там на Python. В отличии от России/Европы где достаточно много Java/Scala. Какие из Российских компаний лучше подходят чтобы прокачаться в направлении DE?
Я бы в любом случае начинал с Python. Это поможет сосредоточиться на технологиях и базах данных и не сильно отвлекаться на ЯП. Другой язык можно выучить позже, тем более глубоко знать язык обычно не требуется, поэтому опыт нескольких лет разработки не потребуются на собеседованиях.
@@artemgogin1129 подскажите а какие технологии вы имеете ввиду? Я знаю SQL, python. А вы имеете ввиду Kafka, Hadoop Spark?
Подскажите пожалуйста, в каком софте схемы для презентации сделаны?)
Miro
в 2к 24 теперь джун должен знать все то про что тут говорят для мидла...
Хороший обзор! Подскажите, как найти первую DE работу? По знаниям jun+
Сходить на несколько десятков собесов и взять со всех фидбек
Из вашего личного опыта - насколько ЗП дата инженеров отличаются от зарплат разработчиков? Не будешь ли чувствовать, что сделал не правильный выбор, перейдя в Биг Дату?
Сейчас работаю энтерпрайз разработчиком и хочется перейти в биг дату, но немного пугает тот факт, что потолок зарплат может быть заметно ниже.
Как ваши дела? Перешли на другую специальность?
Можете ответить как в итоге решили?
В DE обычно потолки выше по зп
Зачем сравнивать яблоки и груши?
А давай теперь курсы и материалы для изучения
ООП нужно джуну знать?
боже куда я влез
Мне кажется уровень senior и middle должны быть немного по пониже. Слишком уж они высокие требования здесь
Сильно скучная профессия или интересно?
Это субъективный вопрос