Лекция 3. Иерархический кластерный анализ
HTML-код
- Опубликовано: 30 сен 2024
- compscicenter.ru/
Иерархический кластерный анализ. Кластер, расстояния между объектами, расстояния между кластерами. Алгоритм построения дендрограммы. Каменистая осыпь/локоть. Стандартизация данных. Типичные ошибки при подготовке данных. Интрепретация результатов.
Лекция №3 в курсе "Анализ данных на Python в примерах и задачах. Часть 1" (весна 2018).
Преподаватель курса: Вадим Леонардович Аббакумов
Прекрасная лекция, спасибо!!
Спасибо за лекции. И отдельное спасибо за ваше чувство юмора))) я давно так даже при просмотре развлекательного контента не смеялась.
Все правильно лектор говорит, но как то заумно. Объяснить иерарх кластеризацию можно не так заумно
Огромное спасибо за лекции, стало гораздо понятнее, как реализовывать сам процесс кластеризации
Очень интересно и подача материала супер! Наткнулся перед спринтом по ML, спасибо вам большое)
Вадим Леонардович, спасибо!
Вопрос о приложении знаний, полученных на курсе.
Почему кто-то обращается к Вам с задачами кластеризации и анализа данных? Я имею в виду именно формат анализа данных на аутсорсе. Почему кому-то выгодно поручить такую задачу как проект на стороне, а не нанять аналитика данных в штат? Как такие проекты находить?
Если у компании нет постоянного потока задач, если компания только начинает применять методы анализа данных. Проекты можно находить на сайтах для фрилансеров. но есть много стратегий...
@@Vadim_Abbakumov пользуясь случаем, хочу вам сказать, что вы потрясающий. Спасибо вам большое за эти лекции. Почти 2 года назад смотрел вас. Ваши лекции очень мне помогли тогда :)
Доброго времени суток. Постараюсь писать под каждым видео то, что можно бы сделать лучше + еще список вопросов, которые не понял. Буду благодарен, если ответите на них! Может кому-то и пригодится.
Спасибо за лекцию!
1. Обычно переменную(характеристику, признак и т. д.) называют целевой переменной. 5:00 Результирующая классно звучит.
Мне кажется вам будет интересно посмотреть как обычно представляют свои решения, выборки и прочее datascientist'ы. Вот неплохой канал с отличным выступающим лектором С. Семёнов. ruclips.net/video/tZhkw40gDkE/видео.html&ab_channel=ODSAIRu
2. Пожалуйста выкладывайте материалы лекций, презентации под видео. Не думаю, что кто-то будет их использовать.
3. Пожалуйста не прокручивайте так быстро слайды, хотелось бы прочитать(да, я прочитал, остановив видео), но так было бы культурней? Не знаю.
4. Кажется на 7:47 - это не другие задачи класификации, а методы классификации выборок. Возможно я ошибаюсь.
5. Обычно каждому объекту соответствует d(общее количество. можете в python написать для любого датасета следуюшее и поймете DataFrame.shape -> (2000, 10). L=2000(количество объектов в выборке, строк), d = 10(количество признаков, классов)) признаков(классов). В итоге получается d мерное пространство признаков. х1..хn тоже верно, оно обозначает каждый признак по отдельности, например x1 - age и т.д.
6. Из прошлых уроков. Не надо писать дополнительно len(data), в методе shape уже отражено количество строк с объектами в DataFrame
7. Если в ячейке вы планируете вывести только одну переменную, то писать print не нужно
Пример: dataFrame.shape равнозначно print(dataFrame.shape)
8. Лучше не показывать мышкой(мы ее не видим, либо включите мышку на видео(с этим помогает бесплатный OBS)) или покрасьте точки. Еще 1 слайд и картинка.
9. Расстояние Хэмминга есть в разделе Data Science NLP, но я не помню конкретного названия. Думаю стоит добавить его на слайд(ссылка, чтобы студенты посмотрели)
10. Забавно на 14:40 на сегодня все :0
11. Пожалуйста, проговаривайте, то что у вас спрашивают.
Вопросы:
1. Получается, что если большое одно значение, которое мы получаем в Евклидовом расстоянии(корень) делает наше значение непохожим, то лучше оставить этот метод? Иначе использовать Манхеттен?
ваши слова: "большое значение в вашей задаче делает объекты непохожими или нет, оно терпимо. Если уже делает, то лучше Евклидово, если нет, то лучше Манхеттен"
2. Что такое среднее попарных? возможно я не так услышал название на 32:20
3. Как вы посчитали расстояние между кластерами для дендограммы? брали по оси х и у, считая гипотенузу?
Спасибо за Ваши замечания. Сейчас записывается очередная версия курса, советы очень нужны. Буду отвечать фрагментами, не хватает времени.
Вопрос 1 Да, если большое различие хоть по одной координате делает объекты различными, то Евклидово расстояние предпочтительнее, чем Манхэттен. Если не делает, то предпочтительнее Манхэттен
Вопрос 2. Среднее попарных расстояний обсуждалось на 22:30
На 32:20 говорилось, что расстояние между кластерами, состоящими из одной точки каждый не зависит от выбора расстояний между кластерами...
Вопрос 3. Нет. Считал все то же среднее попарных расстояний, но расстояние между точками - манхэттен. Никаких гипотенуз.
Получается, что нормализация - это синоним стандартизации (или более общее название этой процедуры)? судя по комментариям в ноутбуке с примерами?
У меня нормализация - деление на стандартное отклонение,
без вычитания среднего. Как нормализация вектора.
Если с вычитанием среднего, то стандартизация. В каких-то текстах иначе.
Да, бардак. Мы не можем даже договориться,
диаграмма рассеивания или диаграмма рассеяния...
Спасибо огромное! Идеальная подача материала.
Спасибо
Здравствуйте!
1:12:25 - "Книжка Гордона "Кластерный анализ"...
Можно полное посылание на эту книгу? Спасибо.
Gordon Classification 2nd Edition 1999
Большое спасибо!
Вопрос про интерпретацию результатов. Расскажите, пожалуйста, как интерпретировали результаты в задаче превращения 100 000 сайтов в 400 групп? Вряд ли все 400 групп кто-то смотрел глазами и давал им названия вроде "Группа сайтов любителей Питона".
Никак, интерпретация не была целью, мы знали, что невозможно работать с 100000 сайтов, поэтому нас устроила бы и неинтрпретируемая кластеризация. Тем не менее после каждого обновления кластеризации кто-то глазами просматривал состав кластеров. Получалось довольно много разумных кластеров.
@@Vadim_Abbakumov Здравствуйте! Не знаю, читаете ли вы еще комментарии под этим видео, но если да, то не могли бы Вы мне помочь с функцией LoadFromCSV в с++. Это аналог функции read_csv в питоне. Вызываю ее строго в соответствии с документацией, но почему-то не считывает файл
Здравствуйте!
Скажите, пожалуйста, права я, когда считаю ООП (обьектно - ориентированное программирование), и кластеризацию синонимичными понятиями, а точнее способами анализа данных?
Спасибо огромное за лекции!
Нет, не правы. Только для человека, который считает, что все в мире ООП (или что все суть кластеризация). ООП это методология программирования, может использоваться, когда данных нет.
К лекции для студентов надо готовиться. Так лекции читать нежелательно.