Был вопрос про квантование для типичного пользовательского железа(CPU). Для этого подходит фреймвок от intel openvino. В нем есть встроенный WEB интерфейс(workbench) служащий для оценки производительности и выполнения квантизации. В целом перевод в int8 позволяет получить 2-4x по производительности. Опробовать на простых нейросетях возможно буквально за пол часа выполнив установку с DockerHub.
Спасибо норм
Был вопрос про квантование для типичного пользовательского железа(CPU). Для этого подходит фреймвок от intel openvino. В нем есть встроенный WEB интерфейс(workbench) служащий для оценки производительности и выполнения квантизации. В целом перевод в int8 позволяет получить 2-4x по производительности.
Опробовать на простых нейросетях возможно буквально за пол часа выполнив установку с DockerHub.
Непонятно.
Бывает братан
какой-то очевидный доклад, кажется спикер не угадал с аудиторией
Кажется квантование не сильно популярная вещь. Я с интересом послушал