Авито. Рекомендации

А вы задумывались, как устроены рекомендации в Авито, и есть ли у бесконечности предел? Что общего между пользователем и товаром, можно ли их сравнивать? Что за Collab, Item2Vec, CatBoost, Redis и User2Vec? Кто такой Портосик?
На эти и другие вопросы мы постарались ответить в этом видео.
В далёком 2015 году главная страница Авито навсегда изменилась. На смену тогда уже привычной карте России пришла бесконечная лента персональных рекомендаций. Во главе с Василием Лексиным был создан юнит Recommendations. Перед инженерами стояли амбициозные цели, которые требовали использования передовых технологий и принятия смелых решений.
Машинное обучение сегодня для нас с вами обыденность. ML-модели используются повсеместно, от самых известных, которые умеют создавать картины или описывать предметы, до узконаправленных и спрятанных «под капотом» привычных нам сервисов, которыми мы пользуемся ежедневно.
Но на старте сервиса Рекомендаций ML-модели не умели делать практически ничего из этого. Результаты их работы были далеки от идеала, поэтому инженерам из новообразованного юнита предстояло создать сервис Рекомендаций с нуля.
00:00 | Начало
00:52 | Что из себя представляют рекомендаци?
03:39 | Как рекомендации стали центральной частью Авито
04:27 | История сервиса
06:21 | Как сформировался юнит Recommendations
08:00 | Главный вызов
09:53 | Как изменилась главная страница Авито
10:19 | Техническое устройство Рекомендаций
12:53 | ML-модели
14:43 | Хранение данных
17:47 | Архитектура Рекомендаций
21:48 | Базовые модели Рекомендаций
26:38 | Catboost, ранжирование и Representation
29:28 | Работа Авито Рекомендаций с самого начала
31:17 | История кота Портосика
35:40 | Финал
Статьи по теме на Хабре:
Как и почему перешли с Python на Go: clc.to/9VnV_A
Разработка - всё? Действительно ли нас всех заменят роботы: clc.to/bjLxkA
Как data science Авито Доставке помогал: clc.to/mEHJsw
Как мы используем item2vec для рекомендаций похожих товаров: clc.to/gjF6Hw
Молчание вентиляторов. Google Colab, Javascript и TensorflowJS: clc.to/fYum0w
Использование faiss для поиска по многомерным пространствам: clc.to/dHf0qg
Простое руководство по дистилляции BERT: clc.to/N70EwA
AvitoTech - это команда инженеров Авито. Подпишитесь на наш канал, соцсети и блоги, чтобы узнавать больше о технологиях Авито 👇🏻
ВК: avitotech
Телеграм: t.me/avitotech
Хабр: habr.com/ru/company/avito
Медиум (eng): / avitotech
Гитхаб: github.com/avito-tech
Сайт: avito.tech

[@dmitryhd]

С момента записи видео количество товаров подросло и достигло почти 200 миллионов)

[@tuku_mann]

Лайк за то, что помогли лучше понять техническую часть рекомендаций

[@olesyakostrykina581]

Классное видео! Браво!

[@jne1000000]

потрясающе полезное видео, спасибо

[@nanoberzerk]

Годно

[@TheMMgo]

ставьте лайк за Портосика!

[@user-ip3bt5ht7z]

Прикрытие умными словами нововведений по удорожанию услуг авито

[@NaturalUral]

Видео классное, но объяснять программисты не умеют. С трудом подбирают русские слова, еле рот открывают, слова жуют, половина слов жаргонизмов... Пришлось воспользоваться кратким пересказом Яндекс GPT. Вы такими темпами скоро на питоне будете разговаривать)))

[@NikitaParusnik]

Столько умных слов: ML модели, векторные пространства, архитектура рекомендаций и т.д. А по факту система сначала взяла плату за объявление, а потом это объявление удалило и деньги не вернули. А потом авито заблокировало мой профиль без объяснения причин и без возможности восстановления. И это не только у меня, но и у многих моих знакомых. Я несколько лет формировал свой профиль продавца: делал все, чтобы каждый покупатель остался довольным. А авито вот так просто в один день взяло и обрушило всю мою многолетнюю репутацию. Ваши ML модели не помогают, а разрушают жизни людей.

[@AvitoTech]

Здравствуйте! Напишите, пожалуйста, на почту нашим коллегам, они постараются разобраться, что произошло: [e-mail]