Наивное обучение с подкреплением. Оцениваем аналог Q для почасовиков фьючерсов Газпрома

Поделиться
HTML-код
  • Опубликовано: 19 ноя 2024

Комментарии • 9

  • @Slang740
    @Slang740 2 месяца назад +1

    здравствуйте, увлекаюсь подобными исследованиями, было бы очень интересно пообщаться в формате, отличном от комментариев ютуба

  • @itsokt0cry
    @itsokt0cry 3 месяца назад +1

    здравствуйте, спасибо за видео
    вот какой вопрос, все эти алгоритмы отталкиваются от предыдущей информации на графике и только от неё?
    просто как вам идея, что график и информация в нем не более чем метка, как y_train, так как y_train может быть x_train одновременно, даже спустя время, я к тому что, не важно какой мы тех анализ проводим, сколько инструментов подключаем, информация на графике не более чем результат работы другой информации, а нейросети, по сути, это обобщающие вещи, которые делают выводы на информации по средством алгоритма обратного распространения ошибок, который и отталкивается от y_train
    что я поделаю, Ваши подходы применять на другую информацию, а предсказания Ваших моделей сопоставлять с информацией на графике и выставить допустимый разброс итоговой информации (предсказаний по отношению к реальности), тогда алгоритмам или нейросети будет от чего отталкиваться
    а насчёт информации на графике, там можно ограничиться банальными треугольниками и линиями сопротивления, ведь линии сопротивления это общепринятая информация для тех анализа и расчитана строго на людей которые и отталкиваются от этих линий сопротивления
    надеюсь не запутанно написал, но тупо ориентироваться по графику, чтобы угадывать этот же график, никаким алгоритмом не добиться успеха

    • @Pythoncode-daily
      @Pythoncode-daily  3 месяца назад +1

      Извините, что долго не отвечал - не был у компа. В одной из книг прочитал, что методы обучения с подкреплением не стоит применять для задач прогнозирования. Для этих целей больше подходят именно обычные методы машинного обучения. И тот же LTCM это достаточно хорошо делает если горизонт прогнозирования 1 день. Именно для них свойственнен синтаксис на основе меток и разделенение дата сетов на тренировочные и тестовые выборки.
      Обучение с подкреплением решает несколько иные задачи. Оно больше не о прогнозах, а о поведенческих аспектах. В идеале оно должно помогать агенту формировать политику в любых обстоятельствах, включая совсем новые состояния среды.
      Естественно я даже близко не подобрался к таким сложным задачам. Скорее я подзапутался с многообразием подходов к оптимизации решения таких задач и мне явно не хватает компетенции двигаться дальше. Но это нормально! Один человек не может сходу освоить идеи, которые тысячи других людей воплощали годами.

    • @itsokt0cry
      @itsokt0cry 3 месяца назад +1

      @@Pythoncode-daily спасибо что уделяете внимание комментариям, ничего страшного, что ответа нет долго, а насчёт тысячи людей, желаю Вам как можно больше взаимодействовать с LLM (чатами) потому что они концентрируют тысячи ученых в своей голове, которые готовы 24/7 помогать Вам или мне или тому кто это читает и не засмеяться с «глупых» вопросов
      они говорили, что с интернетом у обычного человека возможностей больше чем у кого либо 100 лет назад, но с чатами, у нас еще больше возможностей чем у людей 10 лет назад
      что то я ударился в демагогию.
      а насчёт LTSM и прогнозирования, все же привязка не должна быть на обучении в графиках, графики это строго информация y_train и не более
      иначе бы люди данным давно смогли бы предсказывать погоду

    • @Pythoncode-daily
      @Pythoncode-daily  3 месяца назад +1

      Любое прогнозирование имеет исключительно вероятностный характер. Поэтому ставить сверхзадач в нем не стоит. В практическом смысле оценка вероятностного пространства с вероятностью 2/3 удача , 1/3 неудача при равном по модулю матожиданием является долгосрочно выгодным и комфортным. Ни в коем случае не считаю свой опыт значимым, но чем больше я знакомлюсь с LLM , тем больше ценю книги реальных людей. В книгах реальных авторов есть индивидуальный опыт и специфический взгляд на ту или иную проблематику. Конечно не хватает книг написанных( а не переведенных с английского) на русском. Например, мне очень нравится Александр Алфимцев: Мультиагентное обучение с подкреплением или Глубокое обучение. Погружение в мир нейронных сетей С. Николенко с соавторами. В части LLM я прибегаю к генераторам кода, хотя они нацелены на то, чтобы превращать знания в звонкую монету, а это не тот процесс, который мне импонирует.

    • @itsokt0cry
      @itsokt0cry 3 месяца назад +1

      @@Pythoncode-daily прекрасные книги, тоже делаю акцент на книги и только, книжка обучение с подкреплением, как раз изучаю её, вы прекрасный автор, желаю Вам успехов, на попроще ютуба!
      и 2/3 это великолепный результат, я считаю что и >50% будь то 50.01% тоже результат, при должных ресурсах
      высокочастотный трейдинг этому доказательство

    • @Pythoncode-daily
      @Pythoncode-daily  3 месяца назад +1

      Большое спасибо! 50.01% очень тяжело психологически. Человек воспринимает 2 рубля прибыли столь же интенсивно, как 1 рубль убытка. Поэтому чтобы сберечь психику важно иметь профит фактор 2 и выше. Опять же серийность - даже красное в казино может выпадать до 16-20 раз подряд, но очень сложно продолжить эксплуатировать такую торговую систему и не разориться, столкнувшись с такой серией убытков. Поэтому лучше смотреть не только на прибыль и шансы, но и беречь себя. Деньги ресурс не исчерпаемый, а наш мозг может пострадать. Его в первую очередь и стоит беречь.
      И еще - не влюбляйтесь в эту деятельность - мне это очень дорогого стоило и очень сложно потом соскочить с этой иглы. Поэтому для меня сейчас это скорее исследования, чем заработки.
      Всего Вам доброго!