Обработка больших данных при помощи Apache Spark, часть 1

Moscow Data Science Junior Meetup, 10 июня 2017.
Выступает Виталий Худобахшов (Одноклассники).
Apache Spark сегодня одна из самых популярных технологий обработки больших данных - в первую очередь за счёт очень удобного API, который близок к обычному функциональному стилю программирования на Scala. Виталий расскажет, что такое Spark и как с ним работать. Рассмотрит некоторые паттерны использования Spark. И, конечно, расскажет, что такое большие данные с практической точки зрения. В качестве основных примеров разберёт, как определить пол и возраст пользователя в социальной сети, если он указан с ошибкой. На этих примерах станет понятно, что можно узнать просто с помощью правильной обработки данных, даже не используя машинное обучение.
Календарь событий: team.vk.compan...
VK Team - это миллион возможностей проявить себя. Мы делаем современные и быстрые интернет-сервисы, доступные каждому. На этом канале делимся опытом компании VK, рассказываем о технологиях, наших образовательных проектах и жизни команды.
😎 Сообщество ВКонтакте: vkteam
👨‍🎓 VK Образование: education.vk.c...
🏆 Чемпионаты: cups.online/
👨‍💻 Карьера в VK: team.vk.company/

[@elenach4800]

Невероятно круто! За 1 лекцию объяснить начинающему разрабу как закодить рекомендации. Глаза загораются)

[@azamatk4302]

Все, что нужно знать про Spark: хорошо сочетается с R, что можно переехать в богатый город за границей.

[@TheK1KoS]

в Европе/США спарк популярен?

[@AskoLd1ee]

Виталий, вы очень долго рассказываете, очень много приседаний перед тем, как вы скажете одну фразу, в которой заключается смысл, из-за этого теряется фокусировка и внимание рассеивается, вас становится тяжело слушать и воспринимать, тяжело.

[@honguyen934]

Мне очень полезно было послушать Вашу лекцию. Спасибо!

[@paantya]

Как можно нормально загуглить инструменты для анализа более чем 1 Тб данных?
помогите пожалуйста, никогда не слышал об этих технологиях и не получается корректно их найти.

[@tankostream]

такой себе доклад) больше касается упоминания, и не очень хорошего пояснения, каких-то функциональных методов, которые в принципе-то отношения к спарку не имеют,
и очень большого количества этакой болтологии.

[@ruslankrivoshein]

15 лет преподавания)

[@maximtarasov4111]

Слабый доклад, примеры очень туманно объясняются

[@Юрий-б2ф4з]

Как много воды