Tengo ollama en mi Linux, con 16G de ram funciona medianamente bien en velocidad. Es genial tener una propia IA en casa. Aunque el cpu suele irse al 100 cuando está respondiendo a una pregunta.
Muy buen video. Siguiendo los pasos pude replicar la instalación de Gemma 2B. Además de aprender a instalar las herramientas aprendí que mi equipo está corto para estos usos y me impresionó las habilidades de cómputo que deben tener los grandes para que todas las personas puedan acceder a estos modelos a través de la nube
para terminar te doy las gracias, eso de combinar modelos el resultado es muy bueno, acabo de hacer un aplicativo complejo en cuestion de minutos, en realidad esto cambia el panorama
@@Angel-gc1zp por ahora tengo el de como comunicarse via API, voy a hacer uno de como entrenarlo mediante RAG de forma que no tenga tantas alucinaciones ya que el modelo si tiende a alucinar
no he instalado la interface grafica aun pero lo otro ha funcionado y es relativamente facil de instalar y probar, le pregunte de react con redux y respondio bien, le pregunte de unity y codigos de ejemplo y fue buenas las respuestas, este modelo promete mucho falta ver si uno lo puede entrenar asi sea por medio de langchain
como dato adicional esto tienen un potencial muy alto
3 месяца назад+1
Hola, instale bien Ollama y luego open web ui , pero luego de correr localhost:3000 y abrir la interfaz gráfica, no me carga ningun modelo . Ya cargué vía "ollama run mistral" el modelo Mistral pero aun asi no lo reconoce. Además reinicié docker para poder aplicar cambios, pero no tengo resultados. Alguna idea de lo que puede estar sucediendo? Gracias.
He buscado como cargar un archivo a ollama para poder extraer información de él pero no he encontrado. Igual he buscado tambien algo parecido a "functions" pero tampoco hay. Para iniciar con algo privado en casa ollama es mas que suficiente
Podes hacer proyecto de nextjs más completos . No solo CRUD . UN PROYECTO MAS COMOETO COMO PAGINA DE INGORMACION CON RUTAS DIMAMICAS O ECOMERCE o un gestor de turnos
Coonsulta a ver si no estoy equivocado.... Podria tener el modelo con un promt y documentos propios y que reponda solo consultas de esos documentos??? Gracias a quien pueda ayudar con la repuesta....🥃🥃🥃
Hola Fazt, en tu anterior video sobre implementar Llama 3:8b en visual studio code mencionaste que esta IA utilizaba la GPU para poder correr... Pero a la hora de aplicarlo me di cuenta que utiliza mas el CPU y la memoria RAM mas que la misma GPU Sera por una mala configuracion?? O es por que nativamente ya funciona con el CPU y la RAM??
A diferencia de Chat GPT, Ollama no tiene problemas con la ética y demás? Ya que muchas veces toca replantear la pregunta a Chat GPT por lo limitado que está en cuanto a ciertas automatizaciones y demás.
Excelente video, te ganaste un suscriptor. Muchas gracias. Solo un par de dudas por favor, si no es molestia. Luego de instalar Ollama, un software de protección de mi máquina me envío un mensaje que un software posiblemente mal intencionado intentó cambiar mi DNS. ¿Es normal ese comportamiento de Ollama? y la 2da. ¿cómo hago para utilice GPU AMD en vez del CPU? Muy agradecido. ☺
Hola, se ve muy interesante, cuáles son los requerimientos mínimos de ram para ejecutarlo en local? necesita GPU? por favor considera un video de portátiles recomendados para ejecutar estas aplicaciones de inteligencia artificial que van saliendo en el mercado.
hola y muchas gracias por el tutorial, esto me evita pagar el servicio de chatgpt hehe, sabes tengo 2 GPUS y cuando corre Ollama, consume recursos de las 2 gpus, me gustaria limitarla a una sola GPU, donde puedo configurar esto?, saludos
Pudieras hacer un tutorial de como correrlo en cloud? Tengo una cuenta en Lightning studio AI y logro correr todo pero no me aparece ningun modelo cuando lo intento seleccionar :/
Es otra opcion, pero hay algunos que quieren mantener el modelo ejecutando en su maquina para que pueda funcionar sin internet, o pueden cargar cuqluier dato sin sensura.
Hola Jose, el tema con esos LLM es que requieren mucho hardware de momento. Te dejo un enlace donde detallo los requerimientos: ruclips.net/video/pZGm-FTFa9w/видео.html
bueno me autorespondo ajjajaja porque le pregunte al modelo y me responde esto Excelente pregunta! Como modelo de lenguaje basado en inteligencia artificial, mi capacidad para entender y responder preguntas depende del tamaño del contexto en que se encuentra la conversación. En mi caso, mi contexto tiene un límite aproximado de 2048 caracteres (alrededor de 350-400 palabras). Esto significa que puedo procesar y responder a preguntas que contienen hasta ese número de caracteres sin problemas. Si la pregunta o respuesta supera este límite, puede ocurrir que mi capacidad para entender y responder se vea afectada. En estos casos, es posible que no pueda proporcionar una respuesta completa o correcta. Sin embargo, es importante destacar que mi contexto es dinámico y puede adaptarse a las necesidades de la conversación en tiempo real. Si es necesario, puedo procesar información adicional para responder a preguntas más complejas o largas. En resumen, mi límite de contexto es aproximadamente de 2048 caracteres, pero mi capacidad para adaptarme a las necesidades de la conversación sigue siendo una fuerza muy potente!
como puedo acceder al servicio por medio de mi ip, es decir que desde otra pc pueda enviar la pregunta al asistente por medio del metodo POST, localhost:11434/api/chat, funciona bien, pero si desde postman remoto en mi misma red, me dice connection refused (192.168.1.2:11434/api/chat)... ya se esta ejecutando el comando ollama serve
![Testing out OLLAMA - Your own ChatGPT locally! [ENGLISH SUBTITLES]](http://i.ytimg.com/vi/OmLKfDoAfyM/mqdefault.jpg)
Te las mandaste Fatz.
Con ansias de que salga el autocomplete, ahi si que la va romper ollama.
Parecido a copilot o amazon whisper? si es así, va a ser bestial
Tengo ollama en mi Linux, con 16G de ram funciona medianamente bien en velocidad. Es genial tener una propia IA en casa. Aunque el cpu suele irse al 100 cuando está respondiendo a una pregunta.
usas gpu para la generación de respuestas?
@@antonioaragones2891 no, solo cpu
@@antonioaragones2891 si usa la GPU
Phi-3 que salió recién está bueno, no tengo gpu en la laptop y va bastante bien
@@antonioaragones2891 no, solo cpu
Muy buen video. Siguiendo los pasos pude replicar la instalación de Gemma 2B. Además de aprender a instalar las herramientas aprendí que mi equipo está corto para estos usos y me impresionó las habilidades de cómputo que deben tener los grandes para que todas las personas puedan acceder a estos modelos a través de la nube
por la interfaz parece que tambien se puede usar audio, buen video
para terminar te doy las gracias, eso de combinar modelos el resultado es muy bueno, acabo de hacer un aplicativo complejo en cuestion de minutos, en realidad esto cambia el panorama
Un aplicativo que hace uso de esto ? O realizaste un aplicativo con ayuda de varios modelos?
@@alejandrojlaeo llama3 con mistral y hoy le estoy haciendo ya la parte grafica
Manda tuto🥹
@@Angel-gc1zp por ahora tengo el de como comunicarse via API, voy a hacer uno de como entrenarlo mediante RAG de forma que no tenga tantas alucinaciones ya que el modelo si tiende a alucinar
por otro lado tu canal siempre me ayuda mucho.
¡Gracias!
Fazt podrías hacer un vídeo más a profundidad y dónde expliques cómo usar los modelos con el GPU?? y otras configuraciones
Gracias por el video :D
no he instalado la interface grafica aun pero lo otro ha funcionado y es relativamente facil de instalar y probar, le pregunte de react con redux y respondio bien, le pregunte de unity y codigos de ejemplo y fue buenas las respuestas, este modelo promete mucho falta ver si uno lo puede entrenar asi sea por medio de langchain
como dato adicional esto tienen un potencial muy alto
Hola, instale bien Ollama y luego open web ui , pero luego de correr localhost:3000 y abrir la interfaz gráfica, no me carga ningun modelo . Ya cargué vía "ollama run mistral" el modelo Mistral pero aun asi no lo reconoce. Además reinicié docker para poder aplicar cambios, pero no tengo resultados. Alguna idea de lo que puede estar sucediendo? Gracias.
me paso lo mismo, lo solucionaste?
es la primera vez que veo tu canal, muchas gracias por este gran tutorial y me gustaría saber como tienes el terminal de esa forma xd
Hola, podrias indicar caracteristicas minimas de hardware para un funcionamiento aceptable?
Hola, funciona el texto a voz?
no corre en cuda nvidia
Consulta, puede hacer que conteste con tu propia base de datos?
He buscado como cargar un archivo a ollama para poder extraer información de él pero no he encontrado. Igual he buscado tambien algo parecido a "functions" pero tampoco hay. Para iniciar con algo privado en casa ollama es mas que suficiente
Genial hermano, acabo de seguir tu ejemplo y funciono 100%
Podes hacer proyecto de nextjs más completos . No solo CRUD . UN PROYECTO MAS COMOETO COMO PAGINA DE INGORMACION CON RUTAS DIMAMICAS O ECOMERCE o un gestor de turnos
Hola, te recomiendo el curso de @fernandoherrera, vale 10 dólares. Pero tiene lo que pides.
Pagaria por eso...
Tienes que pagar
@@Ross17 ya soy premium. Si es por mi pago más por ese servicio
@@lucianocosta4062 no me referia a este canal, me refiero a que esos cursos puedes tomarlos en otras plataformas
a mi no me sirve dice que cuando lo descargo se habre una terminal a mi no me abre
A mí me da curiosidad si se pueden hacer cosas alocadas con Ollama de manera interna.
Buen video hermano pero se podrá instalar todo eso en un dispositivo móvil o hacer una app?
Coonsulta a ver si no estoy equivocado.... Podria tener el modelo con un promt y documentos propios y que reponda solo consultas de esos documentos??? Gracias a quien pueda ayudar con la repuesta....🥃🥃🥃
Hola Fazt, en tu anterior video sobre implementar Llama 3:8b en visual studio code mencionaste que esta IA utilizaba la GPU para poder correr... Pero a la hora de aplicarlo me di cuenta que utiliza mas el CPU y la memoria RAM mas que la misma GPU
Sera por una mala configuracion?? O es por que nativamente ya funciona con el CPU y la RAM??
A diferencia de Chat GPT, Ollama no tiene problemas con la ética y demás? Ya que muchas veces toca replantear la pregunta a Chat GPT por lo limitado que está en cuanto a ciertas automatizaciones y demás.
Yo tengo un problema, el open WebUi no me reconoce ninguno de los modelos descargados, ¿Que puedo hacer en esos casos?
Excelente video, te ganaste un suscriptor. Muchas gracias. Solo un par de dudas por favor, si no es molestia. Luego de instalar Ollama, un software de protección de mi máquina me envío un mensaje que un software posiblemente mal intencionado intentó cambiar mi DNS. ¿Es normal ese comportamiento de Ollama? y la 2da. ¿cómo hago para utilice GPU AMD en vez del CPU? Muy agradecido. ☺
Tienes que instalar Ollama pero para ROCm y tener en la maquina ROCm instalado tambien
Gracias muy util
Hola, como puedo obtener el dataset generado desde el archivo PDF que he subido? Muchas gracias, un subscriptor más.
Damn Fazt, la velocidad de bajada que tienes JAJAJAJA a mí me tomo 10 min descargar el modelo de Llama3 con mis humildes 11mb/s.
Otro!!! Genial 😅
Que hardware se recomienda para éstoe modelo de lenguaje ?
Hola Fatz podrías subir una implementación de Atlas Search y Vector Search de MongoDB, saludos : )
Hola, se ve muy interesante, cuáles son los requerimientos mínimos de ram para ejecutarlo en local? necesita GPU? por favor considera un video de portátiles recomendados para ejecutar estas aplicaciones de inteligencia artificial que van saliendo en el mercado.
X2 no requiere GPU?
Que placa de video se recomienda?
hola y muchas gracias por el tutorial, esto me evita pagar el servicio de chatgpt hehe, sabes tengo 2 GPUS y cuando corre Ollama, consume recursos de las 2 gpus, me gustaria limitarla a una sola GPU, donde puedo configurar esto?, saludos
Pudieras hacer un tutorial de como correrlo en cloud? Tengo una cuenta en Lightning studio AI y logro correr todo pero no me aparece ningun modelo cuando lo intento seleccionar :/
supongo que puedo montarlo en mi propio servidor cierto? y tenerlo en la web
bravo me gusta
Se puede crear un api local que consulte llama3?
teoricamente si, yo estoy tratando de hacer eso tambien para poder mas bien desplegar esto en una instancia de aws
@@inteligenciafutura si lo logras o sabes cómo hacerlo ....seria un golazo!!! Avisa si se puede llegar a realizarse....por favor saludos 🥃🥃🥃
@@arielass11 ya descubrí como hacerlo mañana hago un vídeo del proceso
@@inteligenciafutura genial!!! Muchas gracias por la info ...me paso por el Canal....🥃🥃🥃
@@inteligenciafutura genial! Yo también estaré pendiente del video que crack
consume cpu o gpu? 😮 xq tengo una gpu desocupads para armar algun juguete 😂❤
Fazt hay otra alternativa para descargar ollama y llama3 8b , soy de Cuba y no tengo a la descarga por el powershell ni al sitio en general de ollama
Utilizar una vpn no te serviría?
Usa VPN colega
@@rhengo5550 si la descarga fuera desde el navegador si , pero no es el caso
Saludos
pregunta, para que quisiera descargarlo si ya hay hugging face ?
Es otra opcion, pero hay algunos que quieren mantener el modelo ejecutando en su maquina para que pueda funcionar sin internet, o pueden cargar cuqluier dato sin sensura.
@@FaztCode gracias, tienes por cierto discord o alguna comunidad de programadores o de IAs ?
me va muy lento, que puedo hacer
Hola Jose, el tema con esos LLM es que requieren mucho hardware de momento. Te dejo un enlace donde detallo los requerimientos: ruclips.net/video/pZGm-FTFa9w/видео.html
@@FaztCode muchas gracias
y en el contexto y en los tokens tiene algun limite?
bueno me autorespondo ajjajaja porque le pregunte al modelo y me responde esto Excelente pregunta!
Como modelo de lenguaje basado en inteligencia artificial, mi capacidad para entender y responder preguntas
depende del tamaño del contexto en que se encuentra la conversación.
En mi caso, mi contexto tiene un límite aproximado de 2048 caracteres (alrededor de 350-400 palabras). Esto
significa que puedo procesar y responder a preguntas que contienen hasta ese número de caracteres sin problemas.
Si la pregunta o respuesta supera este límite, puede ocurrir que mi capacidad para entender y responder se vea
afectada. En estos casos, es posible que no pueda proporcionar una respuesta completa o correcta.
Sin embargo, es importante destacar que mi contexto es dinámico y puede adaptarse a las necesidades de la
conversación en tiempo real. Si es necesario, puedo procesar información adicional para responder a preguntas más
complejas o largas.
En resumen, mi límite de contexto es aproximadamente de 2048 caracteres, pero mi capacidad para adaptarme a las
necesidades de la conversación sigue siendo una fuerza muy potente!
Genial! ¿como se puede instalar esa terminal que tienes?
aqui hay un tutorial: ruclips.net/video/d9y0l7yY404/видео.html
espera, la inteligencia artificial es portatil? He aqui la evidencia.
✨👌😎😎😎👍✨
como puedo acceder al servicio por medio de mi ip, es decir que desde otra pc pueda enviar la pregunta al asistente por medio del metodo POST, localhost:11434/api/chat, funciona bien, pero si desde postman remoto en mi misma red, me dice connection refused (192.168.1.2:11434/api/chat)... ya se esta ejecutando el comando ollama serve