Тимур Кадыров,Лаборатория Нейронаук. Ускоряем расчет признаков на коротком датасете для HFT на бирже
HTML-код
- Опубликовано: 14 апр 2022
- Для работы HFT необходимы очень маленькие задержки. Поэтому при внедрении ML модели нужно учитывать ограничения на время расчёта признаков. Есть много докладов и статей на тему ускорения расчётов на pandas. Сюда можно отнести и pandarallel, и dask, и polars. Ребята из Intel даже рассказывали на прошлом PyCon-е про modin. Все эти инструменты работают при больших объемах данных. Но что делать, если количество строк меньше 1000 или даже 100? В данном докладе хочу осветить несколько тем:
Почему так важна низкая задержка при hft
Какие возможны оптимизации для снижения количества расчетов
Numpy Structured arrays как замена Pandas DataFrame
Вспоминаем математику и ещё немного сокращаем количество операций.
Спасибо было приятно послушать умных людей
Елки. Чеченский программист. Это редкость небывалая. Как цыганский профессор математики
как-то с ними связь есть?