muy bueno este video! por favor mas de esto!!! Espero que pronto mejore el RAG, me serviria para que usemos varias personas en un equipo, para el trabajo diario.
Grande, como siempre! Llevo tiempo probando estos modelos desde que nos enseñaste en los primeros videos y me he dado cuenta que son un churro, te aburres en seguida. Me quedo con gpt4 de pago, les da mil vueltas. Simplemte no hay color. Pero me encanta, a ver si siguen mejorando y algun dia pueden tener uso local
Según las tareas, algunos de estos modelos pueden funcionar decentemente, pero ninguno es tan flexible ahora mismo como GPT-4. No se si has tenido oportunidad de probar los nuevos modelos grandes con pesos abiertos como Command R+ de Cohere, Llama 3 70B o los Mixtral de 8x7B o 8x22B. ¡Muchas novedades!
Lo primero, gracias por el mini-tuto :) Ahora ya está disponible el nuevo modelo, Llama 3.1, e incluso el de tamaño 8b, es bastante competente. Ya no es tan "tonto" como los anteriores ejecutados en local. Por otro lado, la interfaz web para interactuar con el modelo, ahora se llama "Open WebUI" en lugar de "Ollama WebUI". PD: para arrancar el "Open WebUI" veo que era necesario instalar Docker... y madre mía lo pesado que es y cómo ralentiza el equipo :(
🔥🔥Como los hago para montarlo en un PC en la casa y que se conecten por intranet otros 4 usuarios? Para eso quisiera aprender a usarlo y lo pondría en una Orange Pi 5. Usaría Mixtral 7B. Luego quiero aprender a hacerle Fine Tuning, por ejemplo con codificación C para placas Arduino y ESP32.
Amigo ya salió el modelo QWEN de Alibaba y la ventaja principal es la eficacia tanto en ingles como en multi-idiomas, sería bueno probarlo y en que hardware sencillo y humilde desplegarlo! Espero pronto ese video, sería genial
Gracias por la sugerencia. Justo esta semana he estado probando Yi y tengo ganas de probar QWen (y su variante Smaug) para ver que tal se comportan en español. Lo único que no me acaba de convencer de Qwen es la licencia, que tiene algunas clausulas poco colaborativas.
Hola Freddy, por defecto cuando instalas Ollama te crea una servidor que escucha en el puerto 11434 y que es compatible con la API de OpenAI. En este video explico el proceso en detalle: ruclips.net/video/vY-28djh334/видео.html Espero que te resulte muy útil.
Gracia por tu aportes, estoy utilizando ollama con AnythingLLM, espero puedas comentar acerca de como utilizar en conjuto , por el momento estoy usado mis documento en PDF y realizar consulta .. saludos
El video es muy educativo. Encuentro algunas diferencias en el interfaz pero supongo que serán cambios que se vayan produciendo mientras pulen la UI. Open WebUI Version v1.0.0-alpha.100 Ollama Version 0.1.25 Por otra parte, no he logrado cargar el modelo "Solar" aunque he cargado "based dolphin mixtral" y "llava" sin problemas.
Buenas, por estudio voy a desarrollar un chatbot tutor lenguaje EPL, que modelo de ollama me recomienda usar, sera alimentado con documentacion especifica y ejercicios
Gran aporte mi estimado. Quiero hacerte una pregunta, al estar funcionando en local, como podría llevar eso a un servidor? y que servicios recomendarías? Estoy aprendiendo sobre esto y pues soy relativamente nuevo en IA
Tengo una duda, por que cuando le doy clic a "view logs" no se abre una pantalla negra como a ti, solo me abre una carpeta con archivos de bloc, que programa debo usar o que debo hacer para que esto no ocurra?
Posiblemente habrán actualizado el servidor Ollama. En la versión original sólo tenían un fichero de log y las versiones más nuevas ofrecen varios. Si haces doble click en los ficheros, podrás abrirlos con tu editor de texto favorito. Espero que te resulte útil!
Hola! Un video genial, puedes cambiar la carpeta de instalación de los modelos añadiendo la variable de entorno OLLAMA_MODELS. Asi los puedes instalar y usar desde D://, E:// o el que quieras. Un saludo
hola, he seguido los pasos pero no me aparece el modelo cuando despliego dentro de Ollama WebUI, tampoco me deja descargar modelos desde Models. Me da error LiteLLM: Invalid config passed in y ademas la interfaz no me sale igual.
Hola Aitor, si, esto es equivalente a LM Studio con dos diferencias notables: tiene incluida la opción de consultar tus documentos y guardar tus prompts. Y por otra parte te permite tener el servidor y el cliente en equipos distintos, así que puede usar el mismo Ollama distinta gente o equipos con menos potencia.
¿Qué antivirus estás utilizando? Dado que el instalador levanta un servicio con un puerto siempre activo, quizás está siendo detectado como virus erróneamente
*EL USO MAS COMUN Q SE LE PUEDE DAR ESTANDO SIN INTERNET EN LOCAL, ES DE UNA **#ENSICLOPEDIA** Q RESPONDA TODO TIPO DE PREGUNTAS, Y OTRA SERIA DE ASISTENTE, Y OTRA SERA DE TRADUCOR Q TRADUSCA TODO EL TEXTO Q UNO LE ESCRIBA Y ESPERO Q MUY PRONTO LE AGREGEN LA FUNCION DE GENERAR IMAGENES DIRECTAMENTE YA Q DICEN Q SI LO HARAN EN UN FUTURO MUY CERCANO*
Estos modelos se han entrenado con parte del contenido de Wikipedia, así que es capaz de producir resultados similares. Ciertamente se podría emplear para acceder a documentos locales y producir nuevos contenidos relacionados. Para la parte de generaciónd de imagenes y texto integrados, puedes probar soluciones como LocalAI.
Me parece que este es el mejor: 💥ollama run sammcj/smaug:72b-q4_k_m (consume mucha máquina , dicen que el que le puede plantar cara ChatGPT 3.5) también descargue: 👀 ollama run sammcj/smaug-mixtral-v0.1:70b-q3_k_m (lentísimo) 👎ollama run Mistral (no sirve 💩)
Un gran descubrimiento el Ollama Web UI, César. A ver si lo acaban de pulir, pero está interesante.
Las últimas versiones están funcionando genial. Parte de las cosas que no funcionaban en este video, están ya resueltas y mejoradas.
muy bueno este video! por favor mas de esto!!! Espero que pronto mejore el RAG, me serviria para que usemos varias personas en un equipo, para el trabajo diario.
Gracias por la idea! Los últimos videos que he creado responden precisamente a esta cuestión!
Excelente video como siempre... sin desperdicios 👏🏻👏🏻👏🏻
Configuración puntual y precisa gran ayuda para el funcionamiento de mi ordenador portátil
Daniel, me alegra mucho que te resulte útil. Gracias por comentar!
Hola! He probado a darle un PDF a Solar y me lo ha resumido bien. En mi caso ha funcionado.
Solar es un fenómenos de modelo!
Grande, como siempre! Llevo tiempo probando estos modelos desde que nos enseñaste en los primeros videos y me he dado cuenta que son un churro, te aburres en seguida.
Me quedo con gpt4 de pago, les da mil vueltas. Simplemte no hay color.
Pero me encanta, a ver si siguen mejorando y algun dia pueden tener uso local
Según las tareas, algunos de estos modelos pueden funcionar decentemente, pero ninguno es tan flexible ahora mismo como GPT-4.
No se si has tenido oportunidad de probar los nuevos modelos grandes con pesos abiertos como Command R+ de Cohere, Llama 3 70B o los Mixtral de 8x7B o 8x22B. ¡Muchas novedades!
Lo primero, gracias por el mini-tuto :)
Ahora ya está disponible el nuevo modelo, Llama 3.1, e incluso el de tamaño 8b, es bastante competente. Ya no es tan "tonto" como los anteriores ejecutados en local.
Por otro lado, la interfaz web para interactuar con el modelo, ahora se llama "Open WebUI" en lugar de "Ollama WebUI".
PD: para arrancar el "Open WebUI" veo que era necesario instalar Docker... y madre mía lo pesado que es y cómo ralentiza el equipo :(
Buen trabajo. Simple y didáctico. El WebUI un gran descubrimiento.
¡El ritmo al que añaden nuevas funcionalidades al proyecto es increible!
Muy buen tutorial!! como se hace para cargar modelos gguf en ollama en windows?
Compadre muchas felicidades por el contenido!!
Me alegra mucho que te resulten útiles todos estos contenidos nuevos!
🔥🔥Como los hago para montarlo en un PC en la casa y que se conecten por intranet otros 4 usuarios?
Para eso quisiera aprender a usarlo y lo pondría en una Orange Pi 5.
Usaría Mixtral 7B.
Luego quiero aprender a hacerle Fine Tuning, por ejemplo con codificación C para placas Arduino y ESP32.
Excelente video, enormemente útil. Muchas gracias!!!
Gracias por comentar Jose!
Amigo ya salió el modelo QWEN de Alibaba y la ventaja principal es la eficacia tanto en ingles como en multi-idiomas, sería bueno probarlo y en que hardware sencillo y humilde desplegarlo! Espero pronto ese video, sería genial
Gracias por la sugerencia. Justo esta semana he estado probando Yi y tengo ganas de probar QWen (y su variante Smaug) para ver que tal se comportan en español.
Lo único que no me acaba de convencer de Qwen es la licencia, que tiene algunas clausulas poco colaborativas.
Al final ganara el que mejor use el RAG. Eso es lo que al final le da utilidad.
Excelente video gracias. Algún tutorial para hacer el despliegue en un servidor y consultar vía API?
Hola Freddy, por defecto cuando instalas Ollama te crea una servidor que escucha en el puerto 11434 y que es compatible con la API de OpenAI.
En este video explico el proceso en detalle: ruclips.net/video/vY-28djh334/видео.html
Espero que te resulte muy útil.
Gracia por tu aportes, estoy utilizando ollama con AnythingLLM, espero puedas comentar acerca de como utilizar en conjuto , por el momento estoy usado mis documento en PDF y realizar consulta .. saludos
Gracias por las recomendaciones. Me están llegando muchos comentarios positivos acerca de AnythingLLM así que... ¡tocará probarlo!
El video es muy educativo. Encuentro algunas diferencias en el interfaz pero supongo que serán cambios que se vayan produciendo mientras pulen la UI.
Open WebUI Version
v1.0.0-alpha.100
Ollama Version
0.1.25
Por otra parte, no he logrado cargar el modelo "Solar" aunque he cargado "based dolphin mixtral" y "llava" sin problemas.
Cambiaron el nombre del proyecto 90 minutos después de publicar el video jajaja menuda suerte la mía!
Para más información: github.com/open-webui/open-webui/pull/777 :)
Bueno a @LaHoraMaker , que todo sea eso en la vida. ;-D
Buenas, por estudio voy a desarrollar un chatbot tutor lenguaje EPL, que modelo de ollama me recomienda usar, sera alimentado con documentacion especifica y ejercicios
Gran aporte mi estimado.
Quiero hacerte una pregunta, al estar funcionando en local, como podría llevar eso a un servidor? y que servicios recomendarías?
Estoy aprendiendo sobre esto y pues soy relativamente nuevo en IA
Tengo una duda, por que cuando le doy clic a "view logs" no se abre una pantalla negra como a ti, solo me abre una carpeta con archivos de bloc, que programa debo usar o que debo hacer para que esto no ocurra?
Posiblemente habrán actualizado el servidor Ollama. En la versión original sólo tenían un fichero de log y las versiones más nuevas ofrecen varios. Si haces doble click en los ficheros, podrás abrirlos con tu editor de texto favorito. Espero que te resulte útil!
Hola! Un video genial, puedes cambiar la carpeta de instalación de los modelos añadiendo la variable de entorno OLLAMA_MODELS. Asi los puedes instalar y usar desde D://, E:// o el que quieras.
Un saludo
Gracias por compartir esta opción de configuración!
buenas, y como se hace para actualizar Ollama?
En Windows, tan sólo hay que descargarse el nuevo ejecutable y hacer doble click. Con esto actualizas el binario y ...¡listo!
hola, he seguido los pasos pero no me aparece el modelo cuando despliego dentro de Ollama WebUI, tampoco me deja descargar modelos desde Models. Me da error LiteLLM: Invalid config passed in y ademas la interfaz no me sale igual.
Lo que pasa es que algunos PDF vienen protegido, y no permite copiar o pegar, o tiene un certificado. Por lo cual no puede modificar el sistema.
En ese caso puedes hacer captura de pantalla desde el sistema operativo y pasar la imagen al modelo de visión :)
Esto podría ser equivalente a LM Studio, ¿verdad?
Hola Aitor, si, esto es equivalente a LM Studio con dos diferencias notables: tiene incluida la opción de consultar tus documentos y guardar tus prompts. Y por otra parte te permite tener el servidor y el cliente en equipos distintos, así que puede usar el mismo Ollama distinta gente o equipos con menos potencia.
Buen aporte!
¡Gracias por comentar!
Genio!! muy buenos videos.
la interfaz ha cambiado, hace falta actualizar este tutorial
tengo una pregunto bro esta censurado he notado que no escriben sobre temas políticos o de guerra donde los gringos son los malos jejeje
Niceee
Enjoyyyy!
Me dice que tiene virus
¿Qué antivirus estás utilizando? Dado que el instalador levanta un servicio con un puerto siempre activo, quizás está siendo detectado como virus erróneamente
Puede ser que sea falso virus, uso el Windows defender de Windows 11.
*EL USO MAS COMUN Q SE LE PUEDE DAR ESTANDO SIN INTERNET EN LOCAL, ES DE UNA **#ENSICLOPEDIA** Q RESPONDA TODO TIPO DE PREGUNTAS, Y OTRA SERIA DE ASISTENTE, Y OTRA SERA DE TRADUCOR Q TRADUSCA TODO EL TEXTO Q UNO LE ESCRIBA Y ESPERO Q MUY PRONTO LE AGREGEN LA FUNCION DE GENERAR IMAGENES DIRECTAMENTE YA Q DICEN Q SI LO HARAN EN UN FUTURO MUY CERCANO*
Estos modelos se han entrenado con parte del contenido de Wikipedia, así que es capaz de producir resultados similares. Ciertamente se podría emplear para acceder a documentos locales y producir nuevos contenidos relacionados. Para la parte de generaciónd de imagenes y texto integrados, puedes probar soluciones como LocalAI.
Me parece que este es el mejor:
💥ollama run sammcj/smaug:72b-q4_k_m (consume mucha máquina , dicen que el que le puede plantar cara ChatGPT 3.5)
también descargue:
👀 ollama run sammcj/smaug-mixtral-v0.1:70b-q3_k_m (lentísimo)
👎ollama run Mistral (no sirve 💩)
Excelente video!
Gracias por tu comentario Dario.
Excelente Vídeo!