Inferencja modele LLM: Mniej kosztów, więcej mocy

Поделиться
HTML-код
  • Опубликовано: 13 янв 2025

Комментарии • 15

  • @PB1XYZ
    @PB1XYZ 15 дней назад

    Wspaniały ! Dziękuję !

  • @kaktusik3414
    @kaktusik3414 17 дней назад +1

    Fajne

  • @wojciechm521
    @wojciechm521 3 месяца назад +3

    Świetny odcinek👍

    • @DataWorkshop
      @DataWorkshop  3 месяца назад +1

      Dziękuję Wojtek, miło to słyszeć :)
      @wojciechm521

  • @arseniybrazhnyk648
    @arseniybrazhnyk648 3 месяца назад

    Dziękuję za odcinek, jak zawsze 10/10!) Czy mógłbyś nagrać film o transformerach oraz innych architekturach które potencjalnie mogą być wykorzystywane w przyszłości?

    • @DataWorkshop
      @DataWorkshop  3 месяца назад

      Dziękuję za wysoką ocenę, to mnie bardzo motywuję :)
      Co do transformerów, to już bardziej techniczny temat i format podcastu nie zawsze sprawdza się. Na to mam osobny kurs NLP, gdzie krok po kroku tłumaczę temat, zaczynając od kontekstu jak do tego doszło, bo to jest pewna ewolucja i to pomaga lepiej zrozumieć.
      Kurs NLP: tinyurl.com/4wzfzbdb
      Tu jest wprowadzenie do tego modułu: ruclips.net/video/hOknubzlMPY/видео.html

    • @arseniybrazhnyk648
      @arseniybrazhnyk648 2 месяца назад

      @@DataWorkshop Dziękuję, już oglądam!)

  • @radekm8981
    @radekm8981 2 месяца назад

    !😊

  • @paweswierblewski1505
    @paweswierblewski1505 3 месяца назад +1

    Czy taki runpod, vast, lambda czy inne nadają się na produkcję?

    • @DataWorkshop
      @DataWorkshop  3 месяца назад +1

      Produkcja ma różne wymagania, ale co najmniej warto rozważyć te opcje. Zwykle jestem dość sceptyczny wobec różnych rzeczy, ale w tym przypadku nie odrzucam ich domyślnie. :)

    • @jakubzboina7246
      @jakubzboina7246 3 месяца назад +1

      Comtegra GPU Cloud nadaje się na produkcje :D

    • @paweswierblewski1505
      @paweswierblewski1505 3 месяца назад

      @@DataWorkshop Dzięki! A doprecyzowując, przede wszystkim chodzi o stabilność i dostępność.

    • @DataWorkshop
      @DataWorkshop  3 месяца назад +2

      @@paweswierblewski1505 na runpod gwarantuję dwie dziewiątki uptime (99.99%)
      Też co fajne mają różne regiony (w tym EU, i faktycznie są tam też GPU, niż tylko nazwa regionu) + secure cloud.
      Z mojego doświadczenie, jak potrzebuję GPU to szybko je dostaję tam.
      Zostawię jeszcze tego linka: www.runpod.io/compliance
      Z minusem w runpod, to np. teraz nie mają H200 i w górę. Natomiast H100 też często jest właśnie tym co trzeba, biorąc pod uwagę za jaką cenę oferują.

    • @paweswierblewski1505
      @paweswierblewski1505 3 месяца назад

      @@jakubzboina7246 A jaki jest pricing?