Pandas - разбор всех основных возможностей на реальном датасете
HTML-код
- Опубликовано: 18 июн 2024
- 🔥 Telegram t.me/ershov_diary
🔥 Индивидуальная программа по обучению data science под вашу цель с моей менторской поддержкой до результата:
ershov.io/dsprogram?...
Тут я рассказываю почему я создал эту программу, для кого она подходит и в чем ее преимущества:
• Video
🔥 Мой Telegram канал о Data science: t.me/ershovds
🔥 Поддержать канал: / @alexanderershov
Ссылка на код:
github.com/ershovio/youtube_t...
📖 Контакты
Instagram: / ershovio
Twitter: / ershovio
Facebook: / ershovio
LinkedIn: / ershovio
GitHub: github.com/ershovio
⏰ Таймкоды:
0:00 Введение
1:17 Создание датафрейма (DataFrame)
3:49 Экспорт датафрейма
4:38 Первичный анализ датафрейма
6:17 Одномерные данные / Series
7:18 Фильтрация по строкам (rows) и столбцам (columns)
14:43 Сортировка данных
16:20 Объединение датафреймов с помощью concat и merge
21:40 Аналитические функции (describe, mean и т.д.)
23:31 Группировка данных с помощью group by
26:12 Подсчет корреляции
26:33 Визуализация данных с помощью функции plot (matplotlib)
28:47 Изменение данных в Series и DataFrame
#ershovds
alexander ershov,александр ершов,pandas,pandas туториал,pandas для анализа данных,анализ данных,пандас,машинное обучение,аналитик данных,аналитик данных с нуля,аналитик данных профессия,pandas с нуля,pandas dataframe,pandas series,pandas series tutorial,pandas merge,pandas join,pandas group by,pandas groupby,python pandas,python pandas tutorial,pandas обучение,визуализация данных и машинное обучение:,визуализация данных,визуализация данных python
Александр, прекрасная работа! Спасибо! Всё понятно и полезно!
Отлично получилось рассказать об основных моментах четко и сжато. Супер. Еще было бы здорово выложить под видео ссылку на ноутбук с представленным материалом.
Спасибо! Всё очень понятно и наглядно, очень нравится ваш способ просто объяснять!
Благодарю Вас, Александр! Очень полезный, понятный курс!
Спасибо за краткую выжимку, довольно полезно для начинающих
Обалденное видео, просто раскрыли глаза, всё очень понятно, спасибо за ваш труд !
И кстати видос этой либы совместно с NumPy было бы очень полезно))
Спасибо огромное! пересмотрела кучу видео но только вы объясняете понятным для не экспертов языком.
Отлично прошёлся по базе. Большое спасибо!
Отличное видео, очень полезно на первых порах. Спасибо!
Очень классно видео, все просто, наглядно и без воды!
Очень хорошая работа. Всё понятно, интересно и увлекательно. Благодарю. Присоеденюсь к просьбе сделать лекцию по numpy.
Оч круто. Нужно еще пару разков прослушать ❤
Спасибо! Лучшее видео по теме библиотеки Pandas!!!!!
Отличное видео, все понятно объясняете, спасибо!!!
Самое лучшее, что есть про Pandas в российском RUclips. Спасибо вам!
Спасибо) Класс, доходчиво
Спасибо, отличный урок!
Спасибо ! Хороший ролик!
Классное видео, спасибо больше. Очень помогло.
Спасибо за видео! очень емко, но все понятно.
Отличная грамотная речь, приятно слушать
Очень круто! Добавил в закладки
Спасибо! Очень эффективное повествование!
Благодарю, отличное видео.
Спасибо, отличный материал! Интересно посмотреть от вас про numpy)
Постараюсь снять)
@@AlexanderErshov а что означает такая конструкция df[df['Age'] == (5|1)]?
Спасибо большое, очень полезное видео. Многое узнал за полчаса. Привет из Баку!
Спасибо, очень доходчиво объяснено
Реально лучшее вводное видео по пандасу! Лайк со всех моих гугловских учёток.
Отлично подан материал👍
Видео - топ! Спасибо! Для тех кто знает SQL и хочет Pandas изучить идеально подойдет.
Замечательное видео! Автор благодарю!
все просто и понятно, спасибо
Спасибо за инфу и код
Мне понравилось лаконичность, и подача. Все понятно. Можно использовать как справочник. Я сейчас прохожу курс по DC, так там на все это ушло три недели. Хотя там практики тоже много. Но видео мне будет в помощь, не раз еще пересмотрю. Автору Респект!
Не Яндекс Практикум ли? :)
Круто! Спасибо за видео!
Бро, просто имба, выручил
Нашел книги по Pandas - Б.Пасхавера, А.Груздева и Хейдта, под 1000 страниц каждая, читал, вникал и вдруг наткнулся на это 35-минутное видео с блокнотами из колаба!!! За 35 минут так охватить тему! Александр, слов нет, здорово! Спасибо!!!!!
Очень годный видос для новичков, единственное есть замечание по df.shape и df.columns. Это не функции а параметры объекта, и потом в случае классов и объектов правильнее говорить не функции а методы, хотя суть конечно одна и та же. В любом случае пожелаю вам удачи в развитии канала, с меня лайк и подписка
Благодарю! Я полный новичок в Pandas, перепечатывал код, всё получилось, разобрался, понял. Отличное идеальное изложение! 👍💯🔥
(подписка на канал +1, лайк по умолчанию)
подписка на канал +1, лайк по умолчанию
Спасибо!
Спасибо!!
спасибо!
Если у меня получится с кикстарта с этого видоса один из своих алгоритмов из Mathcad воплотить на пандах то моей благодарочке не будет предела. Для начала услышал csv, уже хорошо, с этого начинаются все мои алгоритмы)
Отличный материал!
хуичный
Очень содержательно. Только изображение лучше разворачивать на весь экран
Большое спасибо!
Не человек, а глыба! Уважение автору!
Полезное видео, спасибо
Реально, то что надо
Скоро зима, скоро зима, пароноя. Этот мчк просто находка тем кто смотрит за горизонт, для меня пока на лету, надо готовиться к зиме. У нас 10 месяцев зимы, остальное все лето.
Потрясающий материал! Я прохожу курс онлайн (не у вас), и там половина курса примерно - вот это получасовое видео =) Очень круто, увидел новые фишки (для себя), например обращение по loc и iloc, до этого их не очень понимал. Также понял, что plot - очень простой инструмент в обращении (поначалу по крайней мере). И очень наглядный материал, всё же Титаник - легенда =) НАчинаешь уже сам ковыряться в этом. Спасибо огромное!
Спасибо, у меня если что не онлайн курс, а именно индивидуальная программа с менторской поддержкой
@@AlexanderErshov , сорри, неточность.
@@AlexanderErshov поддерживаю человека, во многих моментах это редкий по понятности в ру-сегменте видос по пандас не только в плане объема, но и донесения информации.
А что за онлайн курс?
@@alexanderkoretskiy5260 Udemy, Data Science
Александр, как вы скопировали путь к файлу csv в аргумент в начале видео?
👍👍👍 + подписался!
Хороший урок! Но вопрос, а как создать новый столбец где будет писаться например возраст от 0-18 дети, 18-35 молодёжь и тд? Просто все я смотрю либо булевые значения, либо вообще никак не говорят, хотя знать интересно)
А как выводить информацию как у Вас (красивая табличка)? у меня какая-то неструктурированная ерунда на выходе
круто
Cпасибо!
А как можно изменить ряд колонн на дф или удалить их?
вы супер
если я знаю всё то что Вы рассказали в этом ролике - мой уровень Пандас можно определить как 1 из 10 или на этом этапе 0? :)
Александр, программа обучения уже не работает? Спасибо за видео
👍👍👍
@Alexander Ershov, я вижу, что среди источников есть SQL. А зачем бы я использовал pandas, когда все практически те же функции я могу использовать в самом postgreSQL? Я, кстати, не в курсе, может ли pandas парсить так же, как и pg, строки jsonb. Иными словами, поясни, пожалуйста, когда pandas нужен и когда не нужен. Спасибо за видос.
Pandas позволяет делать в том числе и визуализацию, ну а так - да многое можно сделать и в sql
Подскажите почему в pysharm гистограмма не отображается в виде картинки¿? Только данные AxesSubplot() может в ps нет такой опции?
На 5:50 разве shape и columns это функции?) Это же атрибуты класса)
да, ты прав, неправильно выразился
Всем привет.
Проблема есть, в общем данные с екселя импортирую в таблицу (oracle), при чтении (read_excel) ошибка выходит UnicodeEncodeError, конкретно ругается на казахскую букву қ.
Добавлял параметр encoding='utf-8' в read_excel и with open не помогло. Как это решить, помогите пжл?
спасибо за обзор
Спасибо! подскажите пожалуйста, как сделать так что бы в pandas отображались оригинальные числа которые я открыл с файла .csv
добавляются лишние 0 и в некоторых столбцах не на том месте точка стоит.
Вот оригинал строки: 82; 1; 40.79326147; 354064; 0.1637; 5.12; 5000000000
Вот что показывает pandas: 82 1.000000 40.793261 3.540640e+05 0.16370 1 5.120000 5.000000e+09
А если в столбце есть имя и фамилия, как можно сделать выборку только по имени? Имя идёт первым
very good nice
То что надо!Лайк) p.s. первый)
Хотел бы спросить. Если я повторяю Ваши действия в IDLE в интерактивной сессии с открытием файла по Титанику в df, а затем записываю с помощью метода to_csv, то почему-то при открытии с помощью Excel у меня каждая строка (в т. ч. заголовки) записываются в одну клетку первого столбца вместо красивых строк и заголовков. Что может быть не так?
csv файл в exel открывайте через "Данные - получить данные - из текстового файла/csv файла". это нужно сделать в новой таблице
Спасибо, попробую
А что за браузер такой? Как-то прикольно выглядит юпитер
а как он так jupyter настроил, мб вкурсе кто как включить меню слева, а курс реально лучший просто слов нету, как все понятно.
Шикарно
Извините, а эта библиотека нужна для дата инженера или другая?
Просто все видео о том, что эта библиотека используется для аналитики и нигде не видел, чтобы говорили о том, что она используется для инженерии данных
пилите ышшо, в рунете слишком мало подобного!
ДД. помогите плз, что-то я запнулся в самом начале, не смог прочитать с Excel.
пишу так
df=pd.read_csv('C://Users/locadm/Desktop/sber.csv')
но выходит ошибка. не могу разораться как нужно указывать путь к файлу Excel чтоб его открыть?
надо слэши поменять на обратные слэши
Александр Вы на высоте!, может подскажете ( Ваше мнение авторитетно), с помощью какой программы создать активный дашборд? Мы работаем в сфере экологии и нам никто не может объяснить!
Можете посмотреть это www.tableau.com/learn/get-started/dashboards
Можно узнать, а почему не power bi?
А что это за среда разработки? Кажется удобной.
вряд ли вопрос ещё актуален, но отвечу для тех, кого заинтересует в комментариях
среда разработки называется Jupyter Notebook
Крутой контент ващпе 😃😃😃👍👍👍👍👍👍👍👍👍👍👍👍👍👍
Тысяча лайков
Народ pandas установлен но выводит ошибку import pandas as pd
ModuleNotFoundError: No module named 'pandas'
у кого такая же проблемы была? питон стоит версии 3.9
Возможно не на тот Python установлен модуль.
pip freeze покажет вам все установленные модули
Попробуйте pip3 install pandas
3:20, необязательно, можно не дописывать .from_dict
пользователи Титаника одобряют
Пожалуйста, прочитайте, что такое функция, чтобы каждую язву функцией не обзывать.
хммм. .notna() удобно. Решал иначе данную фильтрацию.
Зачем нужен pandas если есть. Excel?
зачем нужен excel если есть pandas ?)
@@AlexanderErshov не знаю, вот хотел узнать
А как в этой же задаче решить следующее:
1)Подсчитать долю выживших среди тех, у кого было несколько кают.
2)Найти выжившую девушку в возрасте от 18 до 25 (включительно) у которой был самый дешевый билет.
Никак не могу допереть.
Забыл, что она должна выжить. Правильно будет так:
df[(df['Survived']==1) & (df['Sex']=='female') & ((df['Age']>=18) & (df['Age']
Все отлично. Но я бы увеличил масштаб написания кода для слабовидящих людей. То что самое важное - происходит на площади 1 кв. см. самого экрана. Если бы не звук, закрыл бы видос.
Настройте zoom экрана через специальные возможности и будет вам счастье. Сможете любой квадратный сантиметр растягивать на пол-экрана и не быть ограниченным в потреблении контента
как скачивать ноутбук с github? если сохранить по ссылке, то при открытии в JN выдает ошибку.
Клонировать себе весь проект
@@AlexanderErshov как это сделать? подскажи пожалуйста, обычный csv даже скачать не получается, точнее открыть потом у себя на компе
@@rz799 git clone github.com/ershovio/youtube_tutorials.git
зачем дергается картинка то ? чтобы раздражать ? не буду смотреть сразу
Лайфхак: на скорости 1,5 тоже всё понятно :)
В избранное.
Невозможно слушать… местечковые объяснения, «каннект»… пока-пока
Код не работает. Пишет Error tokenizing data... Expected 1 fields ..... и.т.д
Почему df.groupby('Sex')['Age'].plot(kind='kde') и sns.displot(data=df, x='Age', kind='kde', hue='Sex') выдают разные графики?
Потому что при отрисовке у них разные стандартные параметры пропускной способности (Погуглите как присваивать вручную и поиграйте со значениями.
"будем мёгджить ", не проше говрить "объеденять"