Sería genial ver un tutorial sobre cómo crear un RAG utilizando un modelo de código abierto. Esta herramienta parece ser una excelente opción para llevar a cabo ese proyecto. ¡Espero verlo pronto en tu canal!
Muy interesante. Gracias por compartir. Me llama la atención lo limitado de los LLMs que permite, pero el interface personalmente me parece agradable e intuitivo. Coincido con el comentario anterios, a ver como permiten creare un RAG. Saludos y gracias.
Se le pueden añadir mas modelos manualmente siempre que los tengas descargados. En realidad el motor de inferencia que usa soporta casi todos los modelos en formato GGUF. Además tiene capacidad de transformar modelos en formato GH y soporta los de formato TensorRT a través de la extensión que lleva instalada por defecto.
Sí pueden subirse archivos, en modo experimentación (en configuración) y luego activas en la página del chat la opción "retrieval". Yo tengo un equipo antiguo y a las 2 preguntas se "cala", pero la primera sí me funcionaba
muy buena herramienta, se ve que tiene gran potencial y un buen desarrollo por atras! estaría interesante saber si los parametros que permite modificar son los mismos para todos los diferentes LLMs que permite y admite. Excelente contenido, gracias.
Tengo un problema, soy un obrero y quiero meterme en esto. Lo que significa que no soy muy inteligente... descargue un modelo le puse un hola y sigo esperando la respuesta. aparte ser ve que tienes cultura y sabes de idiomas yo no. ¿Cómo puedo hacer para que hable en español? gracias por tuto.
Sí pueden subirse archivos, en modo experimentación (en configuración) y luego activas en la página del chat la opción "retrieval". Yo tengo un equipo antiguo y a las 2 preguntas se "cala", pero la primera sí me funcionaba
Acabo de probar la herramientas, instalo el modelo "Mistral 7B Q4", lo selecciono. Entonces le pregunto con que modelo estoy hablando y me dice que XYZ, y tras una larga conversación afirma no tener ninguna relación con Mistral. ¿Que me he perdido? :S
Eso es perfectamente normal, la mayoría de modelos open source no tienen información sobre si mismos en los datos de entrenamiento y no saben que modelo son a no ser que se lo pongas en el system prompt. Igual echas de menos el system prompt personalizado que traen otros modelos cuando los instalas en un un framework que tiene "preset" específico de cada modelo. Prueba a borrar toda referencia al modelo en el system prompt del preset, recarga el modelo y pregúntale que modelo es, veras como tampoco lo sabe.
@@paelnever Ya, pero le pregunte por si se trataba de eso de que pais era su empresa, y me dijo que EEUU, y Mistral es frances, además el no dice no saber que es, sino que asegura ser un modelo llamado XYZ.
@@elmegapeluco De nuevo, solo se puede basar en los datos de entrenamiento y si en su entrenamiento no hay nada que le permita contestar se inventa la respuesta exactamente igual que hacen todos los modelos transformer. Si quieres que se comporte igual que va en otros motores de inferencia ponle el system prompt igual y ya esta.
La pregunta donde todos mueren. Hace el RAG? Seguramente no. Entonces no servirá de mucho, todos esos modelos open source no sirven sin RAG... Mucha gente va desilusionada de la IA porque no se le explica la firme..
Sí pueden subirse archivos, en modo experimentación (en configuración) y luego activas en la página del chat la opción "retrieval". Yo tengo un equipo antiguo y a las 2 preguntas se "cala", pero la primera sí me funcionaba.
Sería genial ver un tutorial sobre cómo crear un RAG utilizando un modelo de código abierto. Esta herramienta parece ser una excelente opción para llevar a cabo ese proyecto. ¡Espero verlo pronto en tu canal!
y como siempre buen contenido
gracias por comentar ;)
Alguien me puede decir cómo le pongo libros? Por ejemplo texto plano... Gracias
@@luffydmonkey765porfavor
Alguien me puede decir cómo ponerle libros de texto plano.
Muy interesante. Gracias por compartir. Me llama la atención lo limitado de los LLMs que permite, pero el interface personalmente me parece agradable e intuitivo. Coincido con el comentario anterios, a ver como permiten creare un RAG. Saludos y gracias.
esta claro que con lm studio o ollama tienes más opciones de LLM, jan ai esta todavía en desarrollo y seguro que pronto añaden más modelos
Se le pueden añadir mas modelos manualmente siempre que los tengas descargados. En realidad el motor de inferencia que usa soporta casi todos los modelos en formato GGUF. Además tiene capacidad de transformar modelos en formato GH y soporta los de formato TensorRT a través de la extensión que lleva instalada por defecto.
Sí pueden subirse archivos, en modo experimentación (en configuración) y luego activas en la página del chat la opción "retrieval". Yo tengo un equipo antiguo y a las 2 preguntas se "cala", pero la primera sí me funcionaba
muy buena herramienta, se ve que tiene gran potencial y un buen desarrollo por atras! estaría interesante saber si los parametros que permite modificar son los mismos para todos los diferentes LLMs que permite y admite. Excelente contenido, gracias.
Gracias por tus aportes, un abrazo.
Tengo un problema, soy un obrero y quiero meterme en esto. Lo que significa que no soy muy inteligente... descargue un modelo le puse un hola y sigo esperando la respuesta. aparte ser ve que tienes cultura y sabes de idiomas yo no. ¿Cómo puedo hacer para que hable en español? gracias por tuto.
cual es el mejor para documentos?
Puede funcionar en solo CPU?
Puede leer pdfs o tienes alguno que se ejecute en local y lea PDF? 🤔
tengo pendiente hacer un video que permita hacer eso
Sí pueden subirse archivos, en modo experimentación (en configuración) y luego activas en la página del chat la opción "retrieval". Yo tengo un equipo antiguo y a las 2 preguntas se "cala", pero la primera sí me funcionaba
Acabo de probar la herramientas, instalo el modelo "Mistral 7B Q4", lo selecciono. Entonces le pregunto con que modelo estoy hablando y me dice que XYZ, y tras una larga conversación afirma no tener ninguna relación con Mistral. ¿Que me he perdido? :S
que raro, luego hago la misma prueba a ver que ocurre si veo algo raro te digo
Eso es perfectamente normal, la mayoría de modelos open source no tienen información sobre si mismos en los datos de entrenamiento y no saben que modelo son a no ser que se lo pongas en el system prompt. Igual echas de menos el system prompt personalizado que traen otros modelos cuando los instalas en un un framework que tiene "preset" específico de cada modelo. Prueba a borrar toda referencia al modelo en el system prompt del preset, recarga el modelo y pregúntale que modelo es, veras como tampoco lo sabe.
@@paelnever Ya, pero le pregunte por si se trataba de eso de que pais era su empresa, y me dijo que EEUU, y Mistral es frances, además el no dice no saber que es, sino que asegura ser un modelo llamado XYZ.
@@elmegapeluco De nuevo, solo se puede basar en los datos de entrenamiento y si en su entrenamiento no hay nada que le permita contestar se inventa la respuesta exactamente igual que hacen todos los modelos transformer. Si quieres que se comporte igual que va en otros motores de inferencia ponle el system prompt igual y ya esta.
@@paelnever e se nós colocarmos dentro dela via RAG ou através de ajustamento fino?Afinal se é opensource todo código está disponível.
Esta para linux?
Si
La pregunta donde todos mueren.
Hace el RAG? Seguramente no.
Entonces no servirá de mucho, todos esos modelos open source no sirven sin RAG...
Mucha gente va desilusionada de la IA porque no se le explica la firme..
Sí pueden subirse archivos, en modo experimentación (en configuración) y luego activas en la página del chat la opción "retrieval". Yo tengo un equipo antiguo y a las 2 preguntas se "cala", pero la primera sí me funcionaba.
no se me activan los modelos que descargo!