Pequeño detalle, dependiendo el modelo también se le puede hablar en español! Yo lo hice en inglés mas que nada por costumbre, pero prueben en español que funciona 👍
Excelente! ya jugando con el chiche. Gracias por mostrar lo importante: qué hace, cómo lo instalo, cómo lo uso, cómo lo pruebo. Lo que realmente valoro de tus contenidos es que ayuda a pensar en cómo acercarme a las tecnologías: por dónde comenzar, qué buscar, cómo conectar con otras tecnologías que hay (ej aquí con docker) y disparar ideas para investigar y armar cosas. Y lo que más me gusta de todo: lenguaje sencillo y directo. Eso lo hace tan accesible y motiva a querer probarlo y aprender más para construir cosas. Gracias nuevamente por compartir y ser generoso con tus conocimientos!
Hola Pelao.. felicitaciones! Genial el poder lograr re entrenar un modelo de estos con nuestra propia biblioteca de documentos. Sobre todo para evitar que esta información sea enviada a modelos de compañías como Microsoft o Google que podrían usar la información que se les comparte para el reentrenamiento de sus modelos. Súper si esto fuese lograble de una manera tan sencilla como lo expusiste acá.
Que buen video Pelado, creo que esta linea de contenido seguira creciendo, gracias por compartir ;) Podrias sacarte una segunda parte revisar el fine-tuning
Buenisimo pelado ... gracias como siempre. 🇺🇾 Pd. 1 buena la data de usarlo en Spanish directo Pd. 2 Ojota con Luggi que tiene la mala costumbre de manotear cosas
Excelente video pelado! Sabes si se le puede alimentar con informacion para que te ayude? quiero darle la documentacion de algunos frameworks que uso y me de consejos para usarlos mejor
Lo que he visto que se utiliza, por ejemplo en aplicaciones para preguntarle a documentos, es que tú guardas toda la información de la documentación en una base de datos por vectores, haces tu consulta a la base de datos, por ejemplo una pregunta relacionada con la p de JavaScript, le devuelves todos esos vectores que te dio la base de datos a tu modelo y le dices "oye, de acuerdo a la siguiente información responde a la pregunta del usuario", le pasas toda la información que obtuviste de la base de datos y te debería de responder conforme a lo que estaba en la base de datos función ma
probe ollama usando llama2 pero hablando en español, responde muy bein pero existen modelos mejores: busca "CliBrAIn llama2", CliBrAIn tiene modelos en español. Como instalarlos para que funcionen con ollama es algo que vere en otro momento.
@@Andrew-fw5zq son 2 cpus en una placa china dual x99 los refrigero por aire con 2 disipadores snowman de 6 pipes de cobre, también chinos de Aliexpress
Hoy montamos Ollama en Kubernetes (AKS) con una compañera de trabajo. Y levantó bien, pudimos hacer preguntas a travez de Json (Port-Forward mediante) porque no tiene UI. Deberías hacerte un video de como montarlo en K8s y como ponerle una interfaz allí tambien.
Estaría interesantísimo si se puede hacer un ModelFile que por ejemplo lea los archivos de codigo de un proyecto. Para hacer como un mentor de código !
Se le puede conctar con una DB de un sistema X, por ejemplo CRM y que me diga quienes fueron los ultimos 10 clientes o qué cliente es el que mas gastó? O con una base de un Back Office y que me diga cuántas facturas de proveedores se me vencen este mes?
Buenas, mi servidor corre con ZimaOs, por lo que no puedo correr el comando para descargar los modelos, cómo los puedo descargar se manera manual para despus guardarlo en el directorio al que pertenecen?
Desde el punto de vista “seguridad informática“ Hay alguna forma de saber si toda la data que le damos al modelo solo persista en local y que por atrás no se esté usando para entrenar otro modelos?
Pelado, excelente video! Tengo la duda de cuál es el grado de seguridad si uso Ollama para trabajar con mis archivos confidenciales. Es Ollama apto para hacer uso de mi propia AI con informacion confidencial y que dicha informacion solo forme parte de mi historial y no que la suba a la nube de la AI?? Gracias
Estos modelos se pueden entrenar con algun PDF o alguna fuente determinada? me gustaria que solo respondiera sobre la informacion que hay en un archivo. Buen video.
Hay alguna forma de hacer que las instrucciones queden en un color distinto al de las respuestas? ( o usando los codigos de color de bash por ejemplo?) Saludos!
Buenas! Primer video tuyo que veo. Me interesé por Ollama. Queria saber si puedo usar Ollama para mi propio negocio. Soy desarrollador, y tengo conocimiento tecnico en programación. Quería saber si puedo entrenar a Ollama con el conocimiento de mi negocio, y así ofrecerlo como parte de mis servicios web (por ejemplo, en un e-commerce). Gracias!
Es muy interesante, podrías explicar como podríamos crear una interfaz personalizada para usar Ollama? Enos años 90 había una IA que sintetizaba voz en español, tenía un rostro humano que reaccionaba emocionalmente a los contextos, una interfaz retro futurista muy atractiva y recordaba nuestras conversaciones... todo pesaba sólo 720K y se cargaba desde un Floppy en Amiga 500 (1MB de Ram 7,4MHZ CPU) Se llamaba "Alan uno" por si quieres ejecutarlo en un emulador de Amiga Me gustaría aprender a hacer algo parecido con la potencia de Llama
Hola discula puede que suene tonto preguntar pero estas apis tienene restriciones o politicas ejemplo chatgpt tiene algunos temeas los cuales no lo habla de manera habierta oh en temas de seguridad tiene restricciones como la de generar script o malware etc
Buen video ! No me quedo claro el tema del consumo de ram... que pasaria si tengo una pc que tiene 8 de ram, y simultaneamente tengo abierto cosas pesadas como el android studio, postman, 2 procesos simultaneos, y el buscaminas... Como reaccionaria la pc?
Buen video. Estaría bueno complementar con los consumos de wattage al usar ollama, he estado investigando y no he encontrado alguien que lo haya hecho y sacado costos para tenerlo 24/7 😢
tengo un error Error response from daemon: error while creating mount source path con el docker compose que proporcionaste :( pero ya instale tambien Ollama en una MAC Help Sensei
Mi bro, una consulta, como podemos modificar el reponse de esa api que levanta ollama ? o es uno predeterminado como tal ?
Год назад
Solo por curiosidad preguntale utilizando Mistral o Llama2 en que mundiales participo Maradona. En ambos modelos de movida te dice que Argentina no gano el mundial de 1986.
Igual lo ha dicho en el vídeo, pero me pregunto si se puede uno montar un servidor local al que se le hagan llamadas desde otro ordenador. Si es así igual se puede usar para tener un asistente de creación y corrección de código en local sin tener que pagar por ap de chatgpt. Si estoy diciendo alguna chorrada corríjanme.
yo baje un modelo el instalador bajo pero luego a la hora de descargar me aparecio peticion invalida cored dumper o algo asi no se a q se deve,bueno tengo un dinosaurio de 4 g i procesador 1.5
Tengo una duda, tengo una Mac con chip M2 y 24GB de ram, si ejecuto el modelo de manera local con ollama funciona super rápido, pero si lo ejecuto con docker, se comporta super lento, tarda minutos en responder. Use el mismo docker-compose que está en github. Alguien tiene alguna idea de qué peude estar pasando? También ya verifiqué los recursos asignados a la máquina virutal de docker y los puse al tope.
Y estos modelos custom se pueden usar también en el chatbot-ollama? O aún no hay soporte para eso, al menos el custom que cree no me aparece en la lista de la interfaz visual, solo los modelos que instale.
Probe el modelo codellama con docker pero va muy muy lento, tarda muchisimo en generar la respuesta. tengo un i7 11 generación, 16gb de ram. Como sistema operativa estoy usando archlinux. sera que estoy haciendo algo mal. jeje.. 🙃
Es porque cuando lo tienes en docker este no usa la totalidad de recursos de tu sistema. Fíjate en la config de docker para ver que restricciones de uso de máquina tiene tu docker. Ajústalo y verás que va mejor.
Siempre que envio algo en el front me da el error: Application error: a client-side exception has occurred (see the browser console for more information).
En docker se siente que no corre al 100%, se demora bastante. Mi pc: Procesador 12th Gen Intel(R) Core(TM) i7-12700KF, 3610 Mhz, 12 procesadores principales, 20 procesadores lógicos Memoria física instalada (RAM) 64,0 GB Placa de video GTX 3080
buenisimo el video! Podrias explicar como integrarlo con mi propia data? para que le pueda dar mis apuntes por ejemplo, la IA internalice toda esa info, y me provea las respuesta pero desde mi data cuando le realice una pregunta. Gracias y aguanten los pelados!
Pequeño detalle, dependiendo el modelo también se le puede hablar en español! Yo lo hice en inglés mas que nada por costumbre, pero prueben en español que funciona 👍
Interesante
Excelente video bro..
Justo lo iba a preguntar jaja excelente 👍
y pa kubernetes? puedo meter esto en kube>?
a mi me funcionó perfectamente hablandole en español, me entendio todo 👌
Aquí los likes para una segunda parte haciendo fine tunning del modelo
Necesitooo
Excelente! ya jugando con el chiche. Gracias por mostrar lo importante: qué hace, cómo lo instalo, cómo lo uso, cómo lo pruebo. Lo que realmente valoro de tus contenidos es que ayuda a pensar en cómo acercarme a las tecnologías: por dónde comenzar, qué buscar, cómo conectar con otras tecnologías que hay (ej aquí con docker) y disparar ideas para investigar y armar cosas. Y lo que más me gusta de todo: lenguaje sencillo y directo. Eso lo hace tan accesible y motiva a querer probarlo y aprender más para construir cosas. Gracias nuevamente por compartir y ser generoso con tus conocimientos!
Wow Pelado, estaba investigando justo ayer como montar OLLAMA, este vídeo me va a venir genial! Vaya crack
Exelente video!! Donde encuentro documentación o la forma de entrenar estos modelos para personalizarlos aun más?
Eso sería muy util realmente.
Like y reply para ver si @PeladoNerd hace caso a este comentario.
@PeladoNerd
queremos entrenar (no Gym :) sino la AI
Hola Pelao.. felicitaciones! Genial el poder lograr re entrenar un modelo de estos con nuestra propia biblioteca de documentos. Sobre todo para evitar que esta información sea enviada a modelos de compañías como Microsoft o Google que podrían usar la información que se les comparte para el reentrenamiento de sus modelos. Súper si esto fuese lograble de una manera tan sencilla como lo expusiste acá.
pregunte esto mas arriba, tenes algún link como para entrenar el modelo, así con mi propia biblioteca. Te agradecería
como lograste entrenar el modelo con tus propios documentos?
Muchísimas gracias, no conocía el proyecto. Genial el vídeo. Los pelaos dominarán el mundo sí o sí
Buenísimo, muchas gracias ❤
Lo voy a instalar en Debian que me encanta.
Que buen video Pelado, creo que esta linea de contenido seguira creciendo, gracias por compartir ;)
Podrias sacarte una segunda parte revisar el fine-tuning
excelente aporte!! estaba buscando algo así con su propia API, muchas gracias!
Grande Pelado... algo nuevo para jugar en el homelab... genial los conocimientos que brindas
Buenisimo pelado ... gracias como siempre. 🇺🇾
Pd. 1 buena la data de usarlo en Spanish directo
Pd. 2 Ojota con Luggi que tiene la mala costumbre de manotear cosas
Wao Pelado , realmente gracias ya estoy aprendiendo mas acerca de ollama, alternativas y posibles usos
Excelente video pelado!
Sabes si se le puede alimentar con informacion para que te ayude? quiero darle la documentacion de algunos frameworks que uso y me de consejos para usarlos mejor
Lo que he visto que se utiliza, por ejemplo en aplicaciones para preguntarle a documentos, es que tú guardas toda la información de la documentación en una base de datos por vectores, haces tu consulta a la base de datos, por ejemplo una pregunta relacionada con la p de JavaScript, le devuelves todos esos vectores que te dio la base de datos a tu modelo y le dices "oye, de acuerdo a la siguiente información responde a la pregunta del usuario", le pasas toda la información que obtuviste de la base de datos y te debería de responder conforme a lo que estaba en la base de datos función ma
Excelente tu video y tu explicación. Muchas Gracias.
Muy bueno, lo instalaré para jugar un poco
Fantástico pelado, gracias por acercar estos recursos!!
Hermoso la sencillez, pero revienta la PC, se necesita mucho computo, y eso que utilizaste llama2, pero no la opción de 70B, que pesa 39 GB....
Gracias pela querido, muchísimas gracias.
2 preguntas
Es posible usarlo en español?
Es posible eliminar las restricciones y pedirle cosas que chatgpt no contestaría?
probe ollama usando llama2 pero hablando en español, responde muy bein pero existen modelos mejores: busca "CliBrAIn llama2", CliBrAIn tiene modelos en español. Como instalarlos para que funcionen con ollama es algo que vere en otro momento.
@@Andrew-fw5zq tengo mi dual Xeon chino con 36 núcleos 72 hilos y 128Gb de ram, una 3060 de 12Gb
Algo podré hacer supongo
@@Andrew-fw5zq son 2 cpus en una placa china dual x99 los refrigero por aire con 2 disipadores snowman de 6 pipes de cobre, también chinos de Aliexpress
@@CarlosPedroContrerasPues sí pero tampoco es para tanto en el ámbito de las IA's 😂
@@CarlosPedroContreras te contestan bien y te haces el picanta. Que pancho sos.
Hoy montamos Ollama en Kubernetes (AKS) con una compañera de trabajo. Y levantó bien, pudimos hacer preguntas a travez de Json (Port-Forward mediante) porque no tiene UI. Deberías hacerte un video de como montarlo en K8s y como ponerle una interfaz allí tambien.
Gracias, muy util, puedo montar UN Modelo de estos para hacer analitica de una Empresa? No hay fuga de datos como saberlo? Y ya hay otro mas potente?
Tremendo esto Pablo! A analizarlo y hacer PoCs!!!!
Estaría interesantísimo si se puede hacer un ModelFile que por ejemplo lea los archivos de codigo de un proyecto. Para hacer como un mentor de código !
buen video pelado!
una pregunta out of context, que marca son tus remeras?
saludos
Hola, ¿como hacer fine tuning a Mixtral 7B? Y usar en Olama?
Recomiendo revisrar langchain y base de datos vectoriales
Gracias por este video. Se podrán entrenar o se usan ya como vienen?
Gran video, muy interesante 🤔. Sigue así crack.
Se le puede conctar con una DB de un sistema X, por ejemplo CRM y que me diga quienes fueron los ultimos 10 clientes o qué cliente es el que mas gastó? O con una base de un Back Office y que me diga cuántas facturas de proveedores se me vencen este mes?
mucho peso para eso
Buenas, mi servidor corre con ZimaOs, por lo que no puedo correr el comando para descargar los modelos, cómo los puedo descargar se manera manual para despus guardarlo en el directorio al que pertenecen?
Se ve impresionante!, espero la version de Windows para poderlo usar con GPU, excelente contenido
Aparte de la RAM hace falta una potente tarjeta gráfica y que pcu mínimo necesita ?
Desde el punto de vista “seguridad informática“ Hay alguna forma de saber si toda la data que le damos al modelo solo persista en local y que por atrás no se esté usando para entrenar otro modelos?
!!!Excelente video, una consulta se podria montar ese docker y correr el servicio en Openshift?
Buenisimo tu video, consegui hacerlo funcionar y ahora si quisiera añadirle un certificado ssl, que lineas tengo que añadir al .yml?
¡Gracias pelado!
¡Súper bueno el vídeo y el contenido! ❤❤❤❤✨✨✨👏👏👏🇵🇾🇵🇾
Este modelo off line tem alguma restrição de políticas. pois trabalho com nicho adulto e tenho muita dificuldade para trabalhar.
Pelado, excelente video! Tengo la duda de cuál es el grado de seguridad si uso Ollama para trabajar con mis archivos confidenciales. Es Ollama apto para hacer uso de mi propia AI con informacion confidencial y que dicha informacion solo forme parte de mi historial y no que la suba a la nube de la AI?? Gracias
Estos modelos se pueden entrenar con algun PDF o alguna fuente determinada? me gustaria que solo respondiera sobre la informacion que hay en un archivo.
Buen video.
Creo que para eso necesitas utilizar algo como LlamaIndex
Yo también tengo la misma duda. Si sabes algo avísame 😅
Buen video 👏👏
Tengo una duda. ¿Los modelos solamente funcionan si el input está en inglés?
nel, ya lo dijeron
@@ericalvarezbaltierr justo el mensaje de abajo lo pone el 🤦🏻♂️
Hay alguna forma de hacer que las instrucciones queden en un color distinto al de las respuestas? ( o usando los codigos de color de bash por ejemplo?) Saludos!
Pregunta, cómo se puede tunear o reajustar el modelo hacia algo específico?
Esa IA se podría conectar con stable Diffusion, para automatizar la generación de imágenes?
Que gran video, una consulta: alguien me puede decir que extension es el Modelfile? por favor
Buenas! Primer video tuyo que veo. Me interesé por Ollama. Queria saber si puedo usar Ollama para mi propio negocio. Soy desarrollador, y tengo conocimiento tecnico en programación. Quería saber si puedo entrenar a Ollama con el conocimiento de mi negocio, y así ofrecerlo como parte de mis servicios web (por ejemplo, en un e-commerce). Gracias!
Es muy interesante, podrías explicar como podríamos crear una interfaz personalizada para usar Ollama?
Enos años 90 había una IA que sintetizaba voz en español, tenía un rostro humano que reaccionaba emocionalmente a los contextos, una interfaz retro futurista muy atractiva y recordaba nuestras conversaciones... todo pesaba sólo 720K y se cargaba desde un Floppy en Amiga 500 (1MB de Ram 7,4MHZ CPU)
Se llamaba "Alan uno" por si quieres ejecutarlo en un emulador de Amiga
Me gustaría aprender a hacer algo parecido con la potencia de Llama
Hola discula puede que suene tonto preguntar pero estas apis tienene restriciones o politicas ejemplo chatgpt tiene algunos temeas los cuales no lo habla de manera habierta oh en temas de seguridad tiene restricciones como la de generar script o malware etc
Como va llama para preguntas serias sobre programación, librerías etc?
pregunta como se lleva con la etica por que por ejemplo a chatGPT el de openAI hay cosas que le pregunto y por etica no me las puede responder !!!!
Gracias por compartir amigo, una consulta se necesita de una GPU para hacer la inferencia?
Porque ese mistral solo pesa 4GB? Veo en su pág oficial que pesa mas de 20GB
Hola me gusto tu video, tengo una pregunta entonces haci como haces en el video, que el modelo simula ser mario puede ser cualquier personaje?
Si claro, lo que quieras
esto ya se hizo en el canal de twitch de eldpit!!!!
Buen video !
No me quedo claro el tema del consumo de ram... que pasaria si tengo una pc que tiene 8 de ram, y simultaneamente tengo abierto cosas pesadas como el android studio, postman, 2 procesos simultaneos, y el buscaminas... Como reaccionaria la pc?
que buen vídeo, podrías hacer un vídeo de migraciones de sistemas que ya están muriendo como proxmox o algo parecido
Como siempre pela Impecable
Buen video. Estaría bueno complementar con los consumos de wattage al usar ollama, he estado investigando y no he encontrado alguien que lo haya hecho y sacado costos para tenerlo 24/7 😢
tengo un error Error response from daemon: error while creating mount source path con el docker compose que proporcionaste :( pero ya instale tambien Ollama en una MAC Help Sensei
tiene API requets? necesito hacer peticiones para un proyecto
No man que te paso estas re flaco, felicitaciones por el update de facha
O sea, es lo mismo que LM Studio?
Faltou mostrar se ele responde em outros idiomas. Se perguntar em Português ele irá entender, ele faz traduções?
Si el modelo tiene ese idioma, si. Debería andar en portugués
@@PeladoNerd É bom saber, mas qual a configuração mínima do Pc?
jajajaja no mms pelado si nintendo ve esto te va a caer la ley, excelente video gracias pelado
Mi bro, una consulta, como podemos modificar el reponse de esa api que levanta ollama ? o es uno predeterminado como tal ?
Solo por curiosidad preguntale utilizando Mistral o Llama2 en que mundiales participo Maradona. En ambos modelos de movida te dice que Argentina no gano el mundial de 1986.
Realmente no piensa. Es un sistema estadístico por proximidad de palabras relacionadas unas con otras.
Igual lo ha dicho en el vídeo, pero me pregunto si se puede uno montar un servidor local al que se le hagan llamadas desde otro ordenador. Si es así igual se puede usar para tener un asistente de creación y corrección de código en local sin tener que pagar por ap de chatgpt. Si estoy diciendo alguna chorrada corríjanme.
podes probar con el modelo de codellama
Muy valioso este video!
yo baje un modelo el instalador bajo pero luego a la hora de descargar me aparecio peticion invalida cored dumper o algo asi no se a q se deve,bueno tengo un dinosaurio de 4 g i procesador 1.5
Se puede configurar para que use la GPU de NVIDIA, o solo funciona con la CPU??
Habria alguna manera de vincular la base de datos para que responde en relacion a eso
Tienes q entrenarlo. Aquí están usándolo con modelos previamente entrenados.
Tengo una duda, tengo una Mac con chip M2 y 24GB de ram, si ejecuto el modelo de manera local con ollama funciona super rápido, pero si lo ejecuto con docker, se comporta super lento, tarda minutos en responder. Use el mismo docker-compose que está en github. Alguien tiene alguna idea de qué peude estar pasando? También ya verifiqué los recursos asignados a la máquina virutal de docker y los puse al tope.
Se podría correr la misma demo con docker o K8s en una GPU? Se supone que es lo que hace OpenAI en su backend, no?
Me gustó bastante, será que se puede entrenar con nuestros datos ?
Pelado, te tiro un desafío: Hacete un video de como montar un clúster kubernetes en 2 o mas raspberry y que corran modelos ollama.
Al grano !!
excelente bro
se necesita estar conectado a internet para que funcione?
entiendo que el modelo incluye los datos, pero se puede ingest nuevos datos?
Y estos modelos custom se pueden usar también en el chatbot-ollama? O aún no hay soporte para eso, al menos el custom que cree no me aparece en la lista de la interfaz visual, solo los modelos que instale.
"Tengo el cooler bastante liviano". Sin comentarios
Pela, que onda con las licencias? Puedo usarlo para una app con fines de lucro?
excelente video, cuando quieres varios modelos, requieres varios volumenes?
no es necesario ejecutar el comando "ollama serve" para que funcione? y como hiciste para que te responda con emojis? Saludos!
Lo probé y ollama es potente
Probe el modelo codellama con docker pero va muy muy lento, tarda muchisimo en generar la respuesta. tengo un i7 11 generación, 16gb de ram. Como sistema operativa estoy usando archlinux. sera que estoy haciendo algo mal. jeje.. 🙃
Es porque cuando lo tienes en docker este no usa la totalidad de recursos de tu sistema. Fíjate en la config de docker para ver que restricciones de uso de máquina tiene tu docker. Ajústalo y verás que va mejor.
me mata el final de tus videos!
la gran pregunta, tiene su propia api?
Acabas de convertirte en mi nuevo dios...
Gracias pelado!
Por cierto una pregunta, se podria correr un juego en un docker? xD
Siempre que envio algo en el front me da el error:
Application error: a client-side exception has occurred (see the browser console for more information).
Te falta correr el pull del modelo, al no tener ninguno, te encuentras con este error
Que crack, será que esta explosión de LLM impacta mucho el área de SRE? Además de chatbots? 🤔
En docker se siente que no corre al 100%, se demora bastante.
Mi pc:
Procesador 12th Gen Intel(R) Core(TM) i7-12700KF, 3610 Mhz, 12 procesadores principales, 20 procesadores lógicos
Memoria física instalada (RAM) 64,0 GB
Placa de video GTX 3080
Los modelos también hablan español Pelade!
buenisimo el video! Podrias explicar como integrarlo con mi propia data? para que le pueda dar mis apuntes por ejemplo, la IA internalice toda esa info, y me provea las respuesta pero desde mi data cuando le realice una pregunta. Gracias y aguanten los pelados!
me encantas pelau nerd 😉
Por cierto para que os funcione sin la GPU , necesitais que la CPU soporte AVX si no no pirula , yo en mis xeon x5660 negativo
Gracias por el dato! En mi pequeño ryzen puedo ejecutarlo!
@@josebecerra7719 ryzen para estas cosas es la ostia debido a su mayor cantidad de cache L3
Tremendo video!
se puede para servidores Linux?
hola, podrias hacer un cursito de Podman?
Dale es gracioso el chiste de los átomos.