Это видео недоступно.
Сожалеем об этом.
Limpia y prepara webs y PDF para tus LLM - Dos formas sencillas de convertirlos en Markdown
HTML-код
- Опубликовано: 2 авг 2024
- En este video os mostraré cómo poder limpiar el contenido de una web o un pdf, convirtiendolo a formato markdown para que pueda ser ingestado de forma más sencilla en vuestros sistemas LLM, RAG, etc.
Estaremos mostrando el servicio/API Reader de Jina.ai y Marker.
Repositorios:
- Reader Jina: github.com/jina-ai/reader
- Marker: github.com/VikParuchuri/marker
¿Tienes algún caso de uso interesante en el que necesites limpiar datos de webs o PDFs? ¿Qué otras herramientas estas usando?
Estoy probando RAGFLOW y tengo pendiente R2R
Muchas gracias!! apenas estaba llegando a los pdf.. ahorita estaba trabajando con archivos de excel. Estoy desarrollando un evaluado de trabajos para mis clases.. Normalmente mis alumnos me mandan muchos archivos que no cumplen con los requisitos o esta vacíos...asi que estoy usando api para que chequen los trabajos y les de un auto evaluación y me pueda yo concentrar en revisar y dar retroalimentación
¡Excelente! Como siempre, gracias y en deuda por compartir tu conocimiento libremente. Igualmente, cadena de favores: ACTIVA. Todo vuelve!
Saludos desde Argentina.
Impecable Cesar, marker lo uso y anda muy bien, en varios casos mejor que PyPdf2, a jina no lo conocia, gracias por tus aportes
Por fin vuelves maestro! Cuánto te eché de menos!
Creo que este tema del preprocesamiento de los input , por ejemplo para los RAG, es de enorme importancia, pero en cambio poco se difunde a pesar que da para muchos videos o tutoriales. Además existe mucha innovación, pues se incorporan las IA para que asistan al preprocesamiento. Me parece muy acertado el esfuerzo del autor, de este tema hay muy poco en el internet.
Excelentísimo Cesar, mil mil gracias por todo su aporte, tanto ahira en inteligencia artificial, como igual lo eres en anteriores oportunidades con oos Makers,
Cesar cuando nos regalas un video para enteenar un llms como Biomistral en el area medica, ya que este se dice que es el mejor hasta el momento en medicina, pero no hemos podido hacerlo trabajar en español y seria magnífico alimentarlo con PDFs, con esta última herramienta que describes en el video.
Un gran gran abrazo y felicitaciones por tu enorme entrega🙏
Quiero, desarrollar un asistente, que me ayude gestionar mi pequeña granja avicola ecológica.
Datos veterinarios, legales, productivos, bienestar animal, bioseguridad, trazabilidad,...
De momento aprendiendo, gracias a ti 🎉🎉🎉😊
Tan interesante como siempre César. Hace poco vi otra herramienta parecida: Dhravya Markdowner. Tiene servicio en web también
Alguien me puede explicar cómo este canal no está en lo más alto entre buscando cobre y encontre diamante/gran trabajo señor /
Una ves obtenido ese archivo como lo ingresamos de la manera más fácil en nuestro llm en local, perdón pero mis conocimientos sobre el tema son limitados si me baje y use el llmStudio con algún modelo como llama 3 y phi3 pero hasta ahí...