Enabling Cost-Efficient LLM Serving with Ray Serve

Поделиться
HTML-код
  • Опубликовано: 25 ноя 2024

Комментарии • 4

  • @elephantum
    @elephantum 4 месяца назад +4

    It should be noted, that since this talk, Anyscale deprecated Ray LLM and now recommend vLLM

    • @_nitingoyal_
      @_nitingoyal_ 24 дня назад

      vLLM requires Ray Serve to provide distributed inference.

  • @yukewang3164
    @yukewang3164 8 месяцев назад +3

    awesome talk, with useful insights!

  • @MrEmbrance
    @MrEmbrance 3 месяца назад

    no thanks