Docker + Ollama + FastAPI

Поделиться
HTML-код
  • Опубликовано: 22 янв 2025

Комментарии • 15

  • @NAzeexxlayka
    @NAzeexxlayka 6 месяцев назад +1

    interesante, que tipo de funcionalidades backend se puede lograr con esta ia?

    • @JeysonOrozcoH
      @JeysonOrozcoH 6 месяцев назад +2

      Yo creo que se puede usar como api para conectar un servicio para que sea administrado por ia ejemplo un chat

    • @davidbu8248
      @davidbu8248  6 месяцев назад

      Hola espero estén bien si en efecto cualquier servicio que involucre cómo actor a un LLM de los disponibles podría ser casos de uso cómo Chatbot, RAG entre otras posibilidades

    • @alejandromachado6145
      @alejandromachado6145 6 месяцев назад

      @@davidbu8248 se puede integrar un sistema de recomendación con un llm ?

  • @cristianricharte2228
    @cristianricharte2228 3 месяца назад

    Interesante! Como puedes poner un ollama despues del fine tuning?

  • @merendamattia
    @merendamattia 3 месяца назад +1

    does this method use the CPU or the GPU?

    • @davidbu8248
      @davidbu8248  3 месяца назад

      Currently this version runs on CPU, but can be adapted for GPU-enabled machines

  • @carlos19989
    @carlos19989 6 месяцев назад +1

    Buen video gracias

    • @davidbu8248
      @davidbu8248  6 месяцев назад

      De nada Carlos espero te sirva

  • @guillermovc
    @guillermovc 4 месяца назад +1

    Has podido hacer la respuesta en streaming?, me funciona cuando utilizo virtualenviroment pero no con docker, tengo una arquitectura muy similar, FastAPI y Streamlit

    • @davidbu8248
      @davidbu8248  4 месяца назад

      Hola Guillermo. Buen punto en streaming no lo he probado con docker pero podría hacer un video acerca del tema

  • @martinvasconcelo3418
    @martinvasconcelo3418 6 месяцев назад +1

    🚀

  • @antonioyt7719
    @antonioyt7719 6 месяцев назад +1

    me suscribo

  • @Aaron7k
    @Aaron7k 6 месяцев назад +1

    :O