Отличный доклад, спасибо большое! Поиск по эмбедиингам имеется в виду "классический" подход в котором есть условный Берт/Резнет, дальше мы набираем какое-то кол-во кандидатов и уже потом начинаем делать ранжирование внутри этих кандидатов?
qdrant просто хорошо работает. Создан специально под эту задачу. Поддерживает из коробки кластеризацию. Faiss - слышал, что неточно работает. У меня почти нет опыт аработы с ним. Еще знаю несколько случаев, когда от faiss в пользу квадранта отказываются в других командах. pg_vector медленный и не поддерживает кластеризацию.
@@kuliev.vitaly На одной из прошлых работ еще была попытка прикрутить эластик для данной задачи, так как начиная с какой-то версии он (эластик) так же поддерживает данную операцию. Однако, кол-во векторов там было явно не такое же как в WB.
Круто, приятно смотреть, что канал развивается, давайте, успехов вам в развитии! Полезные темы продвигаете!
Ооо Топ видео. Спасибо интересно. С удовольствием посмотрим!!)
Отличный доклад, спасибо большое! Поиск по эмбедиингам имеется в виду "классический" подход в котором есть условный Берт/Резнет, дальше мы набираем какое-то кол-во кандидатов и уже потом начинаем делать ранжирование внутри этих кандидатов?
Да.
И еще один вопрос, а почему был выбран именно Qdrant, а не например FAISS или может быть просто надстройка вида PG vector?
qdrant просто хорошо работает. Создан специально под эту задачу. Поддерживает из коробки кластеризацию. Faiss - слышал, что неточно работает. У меня почти нет опыт аработы с ним. Еще знаю несколько случаев, когда от faiss в пользу квадранта отказываются в других командах.
pg_vector медленный и не поддерживает кластеризацию.
@@kuliev.vitaly На одной из прошлых работ еще была попытка прикрутить эластик для данной задачи, так как начиная с какой-то версии он (эластик) так же поддерживает данную операцию. Однако, кол-во векторов там было явно не такое же как в WB.
Спасибо за доклад! Не думал в таком ключе про LLM в ecom'е
Вижу Виталия, ставлю лайк! Спасибо!
топ-контент, спасибо 👍
Виталий, а какая модель используется для эмбеддингов?
dino v2 small
distilrubert
all-mini-lm-v2
Эти модели используются для эмбедингов. Дообучены на задачу разделения товаров.
LLM ки конечно норм в этом деле
Почему интересно используете qwen, а не llama в продакшене?
Qwen 2.5 метрики показывает выше.
Надо 96гб видеокарты чтоб нормально работала qwen 2.5? Для маленькой фирмы.
qwen 2.5 72b с квантизацией awq запускается на одной карте A100 с 80gb памяти.
@@kuliev.vitaly а на 4х картах по 24гб, к примеру 4090, не запустить?
слабенько же.. ну rag.. на лангчейне? квен через олламу? я на домашнем писи такое собрать могу..