Видео

Отличный курс, советую всем

Вы тут в конце говорите про парсинг. У вас не было занятия про него или вы не стали выкладывать видео? Парсинг это важно для инженера данных и стоит самому его изучить?

28 готово идем к 29.... Чет одно недопонимание и дизмораль, все всё с лету понимают и идут дальше... 85% ни чего не понял из происходящего, пойду гуглить.... Спасибо!)

5 дней мучений позади - и оно наконец работает! Распишу все трудности, с которыми столкнулась и что помогло - надеюсь, что кому-то поможет. Исходные данные: Ubuntu 22.04 CPU 1x2.2ГГц RAM 1 Гб SSD 20 Гб 1. Ошибка после "pip3 install apache-airflow[postgresql,kubernetes]==2.7.3": много текста, в частности "failed building wheel for pendulum" - решение: "pip install pendulum==2.0.3" (на счет версии не уверена, что нужна конкретно эта, но у меня сработало так) 2. Километровая ошибка после "airflow db init": в тексте было что-то про "InvalidZoneinfoFile" - решилось настройкой часового пояса через "dpkg-reconfigure tzdata" 3. После успешной установки и попытки запуска airflow sheduler и airflow webserver всё повисло. Увеличила оперативку до 2 Гб - заработало. Остальные параметры сервера не меняла. 4. Демоны тоже сразу не запустились: ошибка была про EnvironmentFile - что нет такого файла или директории. Только когда стала проверять, увидела, что у файла airflow, который изначально был без расширения, не понятно, на каком этапе появилось расширение .txt - его удалила и всё заработало как надо. + Странный факт: когда подключалась к airflow через браузер, через хром не подключился, а через яндекс-браузер сработало. Так и работает только в нем Вдыхаю, выдыхаю и иду к следующему уроку)

Никита точно оставил след в памяти)))

27 готово идем к 28. Умф два вечера просидел, больше пытался допереть что от меня требуют... ) Спасибо!

Кайфовые места! Закат на пляже особо прекрасен)❤‍🔥

На степике давно жду запуск курса "Data Engineer с нуля до junior", в программе курса есть тема "Обработка данных с использованием движка Spark", Александр, в конце видео с Алисой вы этот спарк обсуждаете?

26 готово идем к 27. huiman_type - сильно улыбнуло. С GROUP BY чет совсем коротко и не у кого вопросов не возникло... я опять из альтернативно одаренных пойду пошуршу старые впитанные, да гугл, хотя я тогда тоже чет не совсем понял его работу). Спасибо!

Ура, у меня теперь тоже есть большая таблица!) Первым делом, конечно, поиграла с индексами и посмотрела, что они действительно сокращают время выполнения запроса. Попутно плюс/минус разбираюсь, про что пишут в плане запроса. С CASE WHEN познакомилась до этого видео, пока решала задачи с pgexercises и изучала предложенные там для решения инструменты. Думала, в этом и был смысл ДЗ с упражнениями - потихоньку самостоятельно разбираться со всем, что там попадается. Зато легко сделала задание с этим синтаксисом сейчас. Пошла покорять Airflow

25 готово идем к 26! Опять отстал от темпа... вечные проблемы и болезни. Ну вперед, часа 3 придумываем таблицы, минут 10 Джойним, больше практика по созданию таблиц выходит). Спасибо!

Боже, как страшно жить 😂

С вашими познаниями бабушкам телевизоры настраивать. Спасибо за видеоо от души посмеялся.

В ДЗ какие варианты ни пробовала - кроме Hash Join другого типа не удалось получить Задачи решаю понемногу каждый день, набиваю руку. Иду к следующему уроку

Python > 3.5 Dict3 = {**Dict1, **Dict2}

Хотела тоже потренироваться на демо базе, но, похоже, мне не хватило мощностей открыть даже самую маленькую. Или что-то не так делала. На своих учебных картина получилась такая: быстрее всего действительно выполняется запрос без индекса, с индексом по дате на миллисекунды медленнее, и самый медленный вариант - с индексом по дате и условием через ::date

Статьи прочитаны. Не скажу, что полностью всё поняла, очень надеюсь, что станет яснее после следующего урока

24 готов идем к 25. Сижу смотрю, записываю и тут бац "очень старый синтаксис" вот так я делал), жалко мема с Ди Каприо указывающим пальцем не вставить сюда, в телегу скину. Спасибо, все наглядно и понятно!)

Я вернулась) Несколько раз с нуля переписала ДЗ обоими способами, поняла, как это работает. Добилась, чтобы получалось без подсказок. Параллельно решаю задачи с сайта, там как раз тоже на ROW_NUMBER() было, а заодно и на RANK(). Иду не торопясь к следующему уроку

Спасибо за видео) Привет из Питера)) Тоже за 10 лет жизни тут уже подза**ала погодка) Раньше думал покупать тут недвигу, а сейчас думаю - а начерта? С учётом всей нестабильности и "замечательных перспектив" этой "замечательной страны", как-то уже совсем не вижу смысла тут оставаться на пмж. Теперь буду стремиться жить в более интересных и приятных местах)

Александр, благодарю за курс! Вспомнил и воскресил в памяти базу по Python, буду проходить курс дальше) Желаю тебе всяческих успехов в жизни, здоровья, и всех самых благих благ)

23 готов идем к 24. Огонь, вроде все знакомо, но вот так использовать select ни разу не пробовал, да и не видел, что select вставляет данные в другую таблицу, вроде логично, но все таки не увидел бы и не узнал. Очень понравился блок транзакции, так же чет читал, но никогда не использовал... Спасибо!)

Привет с Пикабу.

22 готов идем к 23. Чет не думал, что буду так сильно путаться, делаю игру и мне надо будет туда делать бд(items, artefacts, creatures), попробовал, чет скрестить тяжко пол дня потратил в итоге дропнул. Оке думаю завтра возьму попроще, стандарт магазин, склады, покупатели, работники, ооох горя тяпнул, почти целый день создавал и дропал, путала как раз таки вот эта связь один ко многим, вообще с горем пополам чето насобирал и то думаю передропать переделать...Спасибо, очень полезные вопросы были, не надо будет лишнего гуглить)

А вот и первая трудность. Точно не собираюсь по примеру той девушки из истории о неудачах говорить, что я гуманитарий и это не мое. Есть решимость в этот раз идти до конца. Так что возьму пару-тройку дней, чтобы как следует разобраться и потренироваться - и пойду дальше

Вы лучший, привет с Пикабу 🎉

Напишу с какой проблемой я столкнулся. У меня Excel 2010 от майков, через него я редактировал файл csv как это делал Александр через Notepad++. И это было ошибкой, excel когда ты сохранял изменения нарушал как-то csv и вставить его через COPY не получалось, выпадала ошибка постоянно. Несколько часов мучений и понял в чем дело.

21 готов идем к 22. Достаточно интересно, ни разу не видел конструкций таблиц без внешнего ключа при нескольких отношений, как потом джойнить? Хотя пока изучал SQLite даже слова джойнить не понимал, до прочтения некой литературы, в sqlite было просто ИмяТаблицы.ИмяСтолбца)... Да уж много колонок наделали, я по 3-4 делал, чтоб меньше данных пихать)) СПАСИБО!

execute - мы переопределили метод базового класса, а он где-то выше запускается

-> None аннотация result, можно для проверки использовать при необходимости

* для распаковки итерируемых объектов args и kwargs - передача любого числа аргументов позиционный и именованных

Пока все понятно, это даже немного странно....

20 есть, идем к 21ому! Все интересно и понятно. Насчет serial я опять со своей колокольни, где-то читал типо ни ни, рукожопы все испортят через row id, используйте вот это вот страшное INTEGER IN GENERATED ALWAYS AS IDENTITY... Надеюсь узнать о всем подробней) Спасибо!)

Решила еще 8 задач и пока подсдулась. Пойду к следующему уроку, параллельно буду дорешивать остатки

19 готов идем к 20. Выдохнуть, вдохнуть и далее начать понимать все мной когда-то прочитанное)) Спасибо!

18 Готов идем к 19. Берем значит кувалду, монтировку и ключ на 42, идём устанавливать postgre... Да насколько тяжко все дается, 1-2 часа на домашку))6 часов ушло, переработать файл, понять как же vim работает вообще, и понять как прописать путь в cron. Я почти час изучал 7 минутное видео с cron))))) Да прибудет с нами КАРАМЕЛЬ! СПАСИБО)

Все задачи решены. Вот это было сложно и очень интересно! Тут уже не придумаешь себе задание, которое сразу знаешь, как сделать)) Особенно подзависла там, где надо было заджоинить таблицу с самой собой. Пока чем дальше, тем интереснее) Перехожу к 27 уроку

Тут конечно курс не для новичка у которого 0 бэкграунд в программировании. Так как вы рассказываете быстро, для людей которые понимают ваши слова.

Глаза прям в душу смотрят!

ДЗ готово. Всё еще понятно, интересно, получается) Иду к 26 уроку

Мда... А хорошее вы видели хоть что-то в России? Такое ощущение, что вы имеете позицию и все остальное подтягиваются под неё. Боюсь вы разочаруетесь скоро. Спасибо за Ваш курс.

Александр, жена очаровательна! Но со звуком беда (кроме закадровой музыки), в наушниках голос бьёт то в одно ухо, то в другое, местами невнятно, глухо. Посмотрите у Варламова видосы, какие микрофоны он использует... Подписался и спасибо за ваши психологические видосы.

Отличное мотивационное видео. Спасибо.

10 джоинов есть. Получились на 2, 3 и 4 таблицы, к некоторым для интереса добавляла дополнительные условия. Вот теперь стало понятно, что делать с таблицами, состоящими из кучи айдишников. Пока делала задание, в полной мере оценила, насколько важно давать логичные названия таблицам и их полям. Кстати, на практике всё оказалось намного легче, чем выглядело в уроке) Пошла к 25 уроку.

ДЗ готово. Потихоньку синтаксис стал запоминаться и входить в автоматизм. Надеюсь на выходных успеть пописать побольше запросов. Перехожу к 24 уроку

17-ый готов идем к 18. Чет я совсем медленно иду теперь... Но картошка посажена, капуста растет, можно постараться ускориться! Так значит еще одно дело назрело: надо переустановить Ubuntu 22ой версии на VirtualBox)) Как же мало времени в сутках или я такой ленивый, в комментариях там за день несколько видео пролетают, а я по-тихоньку все запишу, что и как, потом по записям пробую как получится, вроде все получается и даже вопроса не возникло о том что какая то команда не сработала!) Спасибо!)

Урок 22 готов. Запросы пописала, перехожу к 23 уроку

Добрый день. Подскажите вопрос. А если в классе Children сделать условие по возрасту, и если ребенку больше 18, то при вводе print(one_children.get_location()) выводились не имя с локацией, а к примеру "Это не ребенок." Т.е. можно ли в классе Children выполнить остановку функции get_location(self) класса Human при определенном условии.

with обыгрывает open/close, т.е. принудительно закрывать файл/подключение не придется

ДЗ готово. Делала с душой) Постаралась применить максимальное количество типов данных и дополнительных условий, рассмотренных в уроке. В итоге получилось 5 таблиц словарей и 3 таблицы фактов. Перехожу к 22 уроку