Cual es la configuración del PC en el que hiciste todos estos trabajos con IA ? Se que mencionas los 16VRam de Nvidia, pero quiero saber más de que equipo / config tener para trabajar con cierta comodidad.
Me uno a la pregunta del compañero johan adres costa ortiz, hace falta una buena máquina para poder instalar llm studio, podrías hablar de eso en un video?, tengo un macbook pro intel y me dice que no puedo, estoy pensando en comprarme un mac mini con m2, sería suficiente para trabajar cómodamente con IA's locales?
Usaré "whisper X" para transcribir este vídeo, luego Llama 3.1 70b para resumir los puntos más importantes para presentarle a mi jefe y compre ese portátil.😅
🙋♀ SUGERENCIA DE VÍDEO PRÁCTICO INTERESANTE: Molaría un vídeo sobre hardware, y evaluar cuál sería el equipo mínimo/medio/top para usar AI en local.¿Qué tal una colaboración con algún youtuber de los que enseñan a montar PCs y esas cosas?
yo tengo una rtx 3070 sirve para muchas cosas, Llama 3.1 el modelo mediano lo corre, pero para otros modelos mas potentes hay que irse a una con mas VRam porque esta solo tiene 8Gb... Procesador tengo un ryzen 5 3600, lo quiero cambiar por un ryzen 9 5900 pero con este para la mayoría de casos no tengo problemas. Ram tengo 32GB, con 16gb puede ser suficiente, pero con este extra le puedo ceder a la GPU 16gb de RAM compartida para algunos casos, eso sí, recurrir a ese método ralentiza mas de 10 veces la generación de respuestas. En resumen, yo creo que lo mínimo es una 3060 porque tiene 12gb de VRAM aunque sacrifiques rendimiento comparado con otras gamas mayores, las puedes conseguir por 200€ de segunda mano, o si tienes más dinero una 4060Ti de 16Gb, que están por 450€ nuevas.
@@juanjavierballesteroslozan8794 el tema es que la 3060 tiene 12GB de Vram y la 4060 8gb de Vram. Si quieres de la serie 4000 te tienes que ir a la 4070 mínimo, o la 4060Ti de 16gb de Vram, con cuidado porque hay otra version con 8gb de Vram. Pero vamos si quieres algo barato, por 200-250€ tienes la 3060Ti 12gb en wallapop.. Ahora si te puedes gastar 450€ y comprarte la 4060Ti de 16gb vas ya bien preparado
@@juanjavierballesteroslozan8794 el tema es que la 3060 tiene 12GB de Vram y la 4060 8gb de Vram. Si quieres de la serie 4000 te tienes que ir a la 4070 mínimo, o la 4060Ti de 16gb de Vram, con cuidado porque hay otra version con 8gb de Vram. Pero vamos si quieres algo barato, por 200-250€ tienes la 3060Ti 12gb en wallapop, pero si te puedes permitir 450€ comprate la 4060Ti de 16gb de Vram, u otra superior
Carlos, te has salido con este contenido. Estoy acostumbrado a leer papers y tutoriales, y te aseguro que es la primera vez que veo un tema así tan comprimido y claro
La mía puede hacer algunas cosas, pero el consumo electrico es excesivo para mi consumo habitual Ojo, eso es haciendo escalado e interpolacion de videos
Pero se trata de una 4090 de portátil. Si cuentas con otra gráfica pero de escritorio seguro algunos modelos anteriores pueden tener mejor esa función y optimización
Hay modelos que pueden correr en máquinas normales, yo tengo un notebook algo decente pero con gráfica intel con memoria compartida, por lo que es un asco para la IA, pero aún puedo probar algunos modelos muy livianos usando la CPU.
Nos limita la gran en la rapidez de carga de datos y porterior respuesta del modelo. Ejecute un modelo llm en una Gto 1650 no recuerdo cuál era. Pero nada mal la verdad no eran más de 6gb sip.
CARLOS GRACIAS POR TU TRABAJO!! Te comento que el contenido que suelo consumir de divulgación científica es en su mayoría en inglés. Pero no he encontrado ningún divulgador en inglés que sepa destilar la información como tú lo haces. Muchísimas gracias por tu trabajo.
*EXCELENTE GRACIAS!!* Hay tres aspectos interesantes que sería maravilloso que hicieras un vídeo con lo que sabes: *1.* Utilizar Obsidian como única fuente contextual. *2.* Automatizar flujos de trabajo en forma ágil "del uso o interacción con la AI con herramientas de productos de salida, en mí caso, por ejemplo, las apps de Microsoft Office. *3.* El entrenamiento de un clon o gemelo digital de mí mismo en base a mí reconocimiento y almacenamiento, en dos o tres meses de adaptación y de allí en adelante, para lograr: *3.a.* Mayor eficiencia de foco. *3.b.* Mí representación en reuniones de Teams (previamente acordado), mientras yo estoy en otra reunión; y luego cerrar, supervisadamente por mi, la reunión (un paso previo al meta verso.) *3.c.* Que me ayude a mejorar mí interacción con otros humanos y también me guíe, en función de mis skills y potencial, a mejorar (1ro) la eficiencia en la interacción IA (2do) skill que yo, humano, puedo mejorar aprovechando el gradiente que más me convenga.
@@charli1984 Pronto te lo vendemos... Claro, es allí donde se empiezan a empalmar el Metaverso y la AI. En Arg. ya empezamos esta semana a trabajar fuerte en la evaluación de sacar un laboratorio para ello en una empresa. Lo que va a ocurrir es que el precio del profesional por hora se va a ir a pique. Pero sí; tuvimos una reunión de directores y vamos viendo de empezar a invertir en el desarrollo, junto con Windows, que es nuestro aliado global, en productos comerciales que nos permitan acercarnos a ello. Abrazo. Obviamente no puedo decirte más, pero seremos en uno o dos años proveedores de esos servicios, si tenemos éxito. Abrazo grande!!
@@fblua bro es muy interesante lo que planteas pudiste encontrar mas informacion o me gustaria mantenerme mas informado de lo que dices tienes algun grupo de discord o wsp donde particpen en conversaciones asi?
@@eze6000 Hola gracia por tu interés. Te cuento. Hoy ya estamos trabajando en ello. El proyecto lo soporta una empresa multinacional de consultoría (Accounting Consulting y Management Consulting, como pilares de imagen hacia el esterio aunque brinda otros servicios "satélites" como soluciones en IT, Investigación, fraude, disputas, negociaciones, etc. No es una de las cuatro grandes pero se encuentran entre las 10 mas grandes del mundo) Esta empresa cuenta con un área con significativa capacidad IT I+D. Entonces lamentablemente no puedo darte detalles. Igualmente esto ya lo tienen en la cabeza Mark Zuckerberg para empalmarlo con el Metaverso (para la realidad virtual aumentada y clonación de múltiples gemelos digitales); detrás de esto también está Microsoft y Google; pero esto recién empalma en 2029/2030 y la adopción se toma 2 años. Es decir que esto estará disponible, mucho más evolucionados los elementos del enorme ecosistema de partes de este modelo funcional final. En 2034 los precios de los servicios profesionales del conocimiento caerán drásticamente a menos de un 5% del valor horario del profesional experto de casi cualquier rama que hace todo el universo de los negocios globales. (Yo soy Ingeniero, pero que le vamos a hacer.) Mencionado todo te darás cuenta que se trata de una carrera de alto riesgo pero de alto beneficio al que logré una solución eficaz, eficiente, de una parte de todo ello, y lo venda a las tres ITs que mencioné. En definitiva no puedo brindarte detalles pero si insistes, puedo darte generalidades que pueden resultarte útiles sin violar yo la confidencialidad de mis contratos pero ayudando a construir la sociedad IT open source. Saludos Fernando.
Sigo insistiendo lo dicho en otros videos, la información de este canal es oro puro para los entusiastas de la IA. Impresionante todo lo que actualmente tenemos al alcance los usuarios domésticos y las miles de posibilidades que esto ofrece.
👍 un video buenísimo, solo hecho en falta un ejemplo de como descargar y conectar en local unas de esas IAs para programar en VSCode, porque estoy buscando una alternativa a supermaven, copilot, etc. pero que aproveche mi GPU y no requiera internet. 😅 Igual se que si no lo tengo andando es por pura flojera mía jajajaja, luego me pongo a investigar bien como hacerlo que seguro se puede usando algo como LM Studio + CodeGPT o similar (aunque CodeGPT no me termina de convencer).
Vaya vaya! Esta brutal tu video. Ya sabia sobre algunas IA, actualmente estoy usando stable diffusion con automatic1111 y es muy interesante que estas herramientas esten al alcance del publico. Siempre es mejor ejecutar IA en local por todo el tema de la privacidad y sin depender de largas esperas, yo estoy generando al rededor de 15 imagenes en menos de 3 min con una rtx 4060ti y para el precio que tiene el hardware actualmente la verdad es un precio bastante bueno y al alcance de todos para sumarse a la IA. Un saludo 👋🏻
Me parece uno de los videos más interesantes y al grano que he visto en mucho tiempo. Herramientas que realmente parecen útiles y bien explicado. Mañana me tengo que montar el pc que me he comprado para usar con IA generativa y los instalaré sin duda.
Yo creo que la tiza pa pos dedarrolladores de software sería poder hacer como que escanee toda la carpeta del proyecto. Que ya tenga en contexto todo. La estructura de carpetas y el codigo. Tambien el historial de versiones, los cambios que has echo. (Esto ultimo en particular, el historial de cambios seria la tiza porque asi ella va a aprender, como que tiene una linea temporal de la evolución del codigo). Una ia que sea entrenads con proyectos realies. Con su evolución atracez de las iteraciones, pues aprenderia mejor que con todo eso de pensar como un humano. No tratemos de atar el potencial de la ia a los limites humanos sometiendola a "la forma del razonamiento humano", cuando ella puede hacerlo, por sus características, de uan forma mas optima ( usando los historiales de git y la evolución del proyecto, del codigo en el tiempo).
Excelente y super valiosa informacion, se agradece. Igual dentro de lo posible pudieras entregar info de cual seria los hardware minimos para correr en forma decente y en local estos modelos. A lo mejor ya lo mencionaste en algun otro video soy nuevo en este lugar y en el tema😊😊
@dotcsv Gracias por todos estos videos y el currazo que te pegas para presentarlo de manera tan didáctica y entretenida! Me encantaría otro video de este estilo explicando como hacer fine tuning de un modelo en local! 🙏
Yo uso Ollama + Dify (para los LLMs) cosa fina y si eres desarrollador XD porque no tiene 24 GB de Vram? la 3090 ya tenia 24. Nvidia deberia espavilar y hacer graficas con Vram ampliable como la si fuera una placa base que se puede ampliar la RAM. Buen video DOT viva el opensource y el self hosting!
Gracias, valiosas herramientas que hay que conocer. Por mi parte, al ser ingeniero de software prefiero Ollama porque aunque es más difícil de configurar me ofrece mucha más versatilidad. Y en cuanto a difussion estoy probando Krita que hasta ahora me a parecido muy interesante y es completamente open source
Tengo un pc muy modesto, voy a probar estas herramienta a ver que tanto se puede hacer (se que no es lo optimo) pero por probar. Gracias muy útil éste video.
Excelente contenido de muchisimo valor, felicitaciones y muchas gracias por compartirlo, esto va a permitir que mas personas se acerquen a la IA con mas tranquilidad y seguridad.
Es grandioso como la IA poco a poco se vuelve mas accesible pero seria mejor que poco a poco se volviera mas accesible para gente con GPUs mas modestas, lastimosamente se requiere bastante musculo de computo para las tareas que se mencionan en el video, obvio de que se puede ejecutar todo esto en pcs con componentes mas modestos se puede, pero obviamente usando modelos mas pequeños y menos precisos. Espero que a futuro la optimizacion llegue al nivel en el que podamos ejecutar esta clase de modelos de forma no solo fluida en cualquier tipo de maquina sino tambien llevarlos de forma portatil y optima incluso en nuestros dispositivos moviles.
Felicitaciones Carlos! Eres un excelente divulgador. Eres el Carl Sagan de la inteligencia artificial! Gracias a ti al fin estoy comprendiendo un poquito de toda esta maraña cada vez mas unextrincable..
Yo tengo un sobremesa con una RTX 4090, un portátil con una RTX 4090 , en este caso un Legion de Lenovo y un M3 de Apple. Sin lugar a dudas la RTX 4090 de escritorio es la auténtica bestia, pero para portátil, casi casi que prefiero el M3 de Apple, al final tienes 96GB de RAM disponibles para el procesamiento en Metal como si fuera memoria de la gráfica y puedes cargar modelos gigantes que van "razonablemente" rápido, y desde luego mucho más rápidos que en la 4090 portátil. La diferencia está en si cargas modelos "pequeños" de 10 Gb, entonces seguramente compense utilizar en cualquier caso cualquiera de las 4090, con la diferencia de que el M3 es mucho más silencioso, pesa menos y no suelta un metro cúbico de aire caliente por segundo :p
Me encanta cuando muestras demos en local porque abre un mundo de posibilidades al conectar esa api con el modelo que quieres, y conectarlo con tu web o bot para automatizar cositas. Wao La IA ya no es el futuro, es el ahora! 😌. Te ganaste un like 👍🏻 y un suscriptor 😊
Gracias, Carlos. Muy interesante tu muestra visual de productos ya disponibles. Queda en los humanos un factor muy importante: la ética. La IA es una herramienta ultra poderosa que evolucionará a algo que ni podemos sospechar. Saludos desde Lima.
Que buen video! mucha gracias y felicitaciones Carlos! Eres lo más! :) Una cosa que me gustaría comentar es que estoy usando el modelo de llama 3.1 de 70B en una MacBook Pro con 128GB de RAM y funciona muy bien. También lo he probado en una Mac Studio con 192GB y 76 GPU. El LM Studio usa como base la version Metal de llama.cpp y en ambos casos funciona increíblemente bie. Mas aun mejor en la Mac Studio, ya que tiene más GPUs que la MacBook Pro. No entiendo porque no hay casi ninguna referencia en la web del uso de llama 70B con Mac "Metal" en lugar de CUDA y poco y nada en RUclips. Creo que seria interesante hacer un video de esto, pues se trata de opciones muy eficientes en costo/performance comparados con NVIDIA/CUDA.
Hola Carlos, genial, pero creo que debías hablar también por Ollama porque permite muchas de las cosas que comentas y también la interacción con estos modelos con código fuente. De todas formas el video es muy importante para aprender como usar los LLM desdes nuestros ordenadores. Per
Seria genial ver un video sobre las tarjetas precisamente, llevo varios meses probando muchisimo los modelos que se dejan instalar, tenia una GeForce 4060 y empezo a molestar y me di cuenta que los modelos someten la tarjeta a demasiado estres... siempre al 100% y con temperaturas brutales.... entonces el tema general no es tan sencillo como descargar instalar y a darle caña! el equipo va a sufrir y bastante por los requisitos de los modelos de IA asi que es algo sobre lo que debemos aprender tambiem... saludos!!
Excelente material, como siempre. Sí cabe destacar que el consumo energético de una laptop con la tarjeta de video activa es muy alto y la batería durará bastante poco. En un dispositivo que esté conectado a corriente será óptimo, y también lo sería si se pudiera hostear en un server para una red local. Estas herramientas permiten ejecutar en un server local y proveer servicio a una red pequeña? (ejemplo: 3 usuarios en paralelo)
Muy buena, como siempre Crack, me gusta q estimules los valores de privacidad y autonomía de nosotros los usuarios y q no dependamos de las grandes empresas q escondes sus interés detrás de una desinteresada ganas de ayudar al mundo; por consiguiente tengo una pregunta, crees tu q alguno de estos modelos tenga la capacidad de crear algo así como los GPTs de ChatGPT o alguna forma de hacer algo parecido pero con IA ? Pues supongo q si los hacen habría alguna manera de poderlos exportar y hacerlos independientes del modelo, es decir, q pueda hacer algo como un elaborador de guiones para videos de RUclips on-line, colocarlo en una Web sin la necesidad de la API q me cuesta dinero, además de la autonomía y privacidad, y si lo hay que nos nutrieras con tanta sabiduría. Gracias
Excelente contenido :D me va ayudar muchísimo, ya estuve probando llama 3 y las respuestas son rápidas. Equipo: R5 3600 RX6600 RAM 16GB SSD 120GB toca probar + modelos :D pero por ahora cumple con lo que necesitaba
Месяц назад
Por mucho el mejor video de herramientas de IA que he visto este mes. Muy agradecido por la información!🎉
Si tanto lo sabe Nvidia que se deje de mamadas y empiece a meter VRAM acorde a las necesidades de IA. Que saque versiones de sus RTX especiales para IA. Por ejemplo, podria sacar una version RTX 5060 con el chip un poco recortado en cuanto a potencia grafica pero con el doble de VRAM.
hace pocos dias compre una tarjeta grafica 4080 super y comence a ver videos sobre ella, algo de eso me dirigio a tus videos y canal y sin lugar a duda es de los mejores contenidos sobre IA que he encontrado, estoy muy agradecido por tu contenido y estoy seguro que con estos tutoriales y gracias a tu canal, le podre sacar todo el provecho posible a mi nueva grafica, te puedo pedir un favor... soy productor audiovisual y fotografo, pero tengo poco tiempo para crear un cortometraje y no se como musicalizarlo, tu me púedes por favor, enseñar si con la IA puedo ayudarme en este aspecto? un abrazo desde Colombia.
Me encantó el video Está increíble Pero te tengo una idea para un video Qué puede que te guste No se jaj, Qué tal si pudieras hacer un video mostrando las mejores inteligencias artificiales para distintas cosas: por ejemplo utilizar chatGPT para describir textos o libros ya que es la mejor para ello o utilizar Leonardo IA para sacar imágenes Yo sé que son ejemplos bobos pero sirven para explicar mi idea jaja, Pero bueno La idea es Mostrar las mejores inteligencias artificiales (Sí se pueden gratis) para hacer distintas tareas o cosas como dije anteriormente jaj Aunque creo que ese video quedaría mejor en el Canal del laboratorio, Aunque no sé Ahí te dejo la idea y Muchas gracias por leer esto y por darme tanto conocimiento de la Inteligencia artificial y sus novedades.
Desde que te sigo (inicios de Chat GPT) creo que este es el video mas rupturista a nivel personal de todos. Estoy constantemente dando pausa e instalando en mi humilde ordenador con GPU 4060 pinokio y todo lo que veo que esté a mi alcance. Gracias.
Podrías hablar del consumo energético que supone correr IA en local? Es decir, medir el consumo computacional en Watios cuando se realizan cargas de IA en la GPU. Lo digo porque es interesante conocer cuánto cuesta la IA en términos energéticos, al igual que en términos térmicos si emana calor ya que podríamos necesitar climatizar la habitación y por ende aumentar watios al costo. Gracias, muy interesante el vídeo
Buenas. Me encanta tu contenido, te sigo en todos los videos. Consulto, seguro sabrán por acá, tengo el siguiente error cuando instalé Invoke (ENOENT: no such file or directory, stat 'F:\pinokio\api\invoke.git\{{input.event[0]}}') alguna solución? Gracias!!
@@Franlh lo solucioné reinstalando y reiniciando la pc después de su instalación. Quizá también sirvió que tengo instalado llama 3.1 8B y se instalaron varios paquetes. No se mucho del tema.
Gracias por compartir tus conocomientos, me esta auudando mucho para aprender algo sobre IA. Precisamente este video me va ayudar en un proyecto para el que necesito procesar muchos documentos pdf con informacion tecnica. Tal vez te interesaria colaborar, me preguntaba si puedo contactarte e informarte sobre el proyecto a ver si te interesa.
muchas gracias por el video @dotcsv en el mundo hay mucho contenido de AI pero en ingles y tu canal es una gran contribución a la comunidad hispanoparlante
Interesante, pero que sucede con quienes no tenemos gpu de alta gama? Sería un punto negativo de hacerlo de forma local? Muchas gracias, estupendo video
Gracias muy buen vídeo, es justo lo que necito una ia local entrenada con mi data empresarial, solo una pregunta, como hago para recibir un laptop de pruebas de nvidia 😂
Hola carlos ,muy intructivos los videos . Una inquietud que tengo, que targeta grafica puedo usar menor que la 4090 para ia ,? Muchisimas gracias por tus videos bien esplicados.?
🔴 ¡No dejéis de suscribios y compartir el vídeo para ayudar al canal a llegar al 1.000.000 DE SUBS!
EXcelente
Cual es la configuración del PC en el que hiciste todos estos trabajos con IA ?
Se que mencionas los 16VRam de Nvidia, pero quiero saber más de que equipo / config tener para trabajar con cierta comodidad.
gracias, necesitaba IAs para mi PC 🥰
Me uno a la pregunta del compañero johan adres costa ortiz, hace falta una buena máquina para poder instalar llm studio, podrías hablar de eso en un video?, tengo un macbook pro intel y me dice que no puedo, estoy pensando en comprarme un mac mini con m2, sería suficiente para trabajar cómodamente con IA's locales?
Usaré "whisper X" para transcribir este vídeo, luego Llama 3.1 70b para resumir los puntos más importantes para presentarle a mi jefe y compre ese portátil.😅
jojo...! bien por esa! 🤣
Hazlo con ChatGPT y ya 😅
@@segundosdeciencia yo también quiero ese portátil 😂👌❗
@@johanandresacostaortiz444 cuanto valeeee
Copy-paste a la transcription y te ahorras la parte de whisper 😅
🙋♀ SUGERENCIA DE VÍDEO PRÁCTICO INTERESANTE:
Molaría un vídeo sobre hardware, y evaluar cuál sería el equipo mínimo/medio/top para usar AI en local.¿Qué tal una colaboración con algún youtuber de los que enseñan a montar PCs y esas cosas?
yo tengo una rtx 3070 sirve para muchas cosas, Llama 3.1 el modelo mediano lo corre, pero para otros modelos mas potentes hay que irse a una con mas VRam porque esta solo tiene 8Gb...
Procesador tengo un ryzen 5 3600, lo quiero cambiar por un ryzen 9 5900 pero con este para la mayoría de casos no tengo problemas. Ram tengo 32GB, con 16gb puede ser suficiente, pero con este extra le puedo ceder a la GPU 16gb de RAM compartida para algunos casos, eso sí, recurrir a ese método ralentiza mas de 10 veces la generación de respuestas.
En resumen, yo creo que lo mínimo es una 3060 porque tiene 12gb de VRAM aunque sacrifiques rendimiento comparado con otras gamas mayores, las puedes conseguir por 200€ de segunda mano, o si tienes más dinero una 4060Ti de 16Gb, que están por 450€ nuevas.
@@CarlosNavarroCab y por la generación, no es mejor una 4060?, vi que no hay mucha diferencia de precio
@@juanjavierballesteroslozan8794 el tema es que la 3060 tiene 12GB de Vram y la 4060 8gb de Vram. Si quieres de la serie 4000 te tienes que ir a la 4070 mínimo, o la 4060Ti de 16gb de Vram, con cuidado porque hay otra version con 8gb de Vram. Pero vamos si quieres algo barato, por 200-250€ tienes la 3060Ti 12gb en wallapop..
Ahora si te puedes gastar 450€ y comprarte la 4060Ti de 16gb vas ya bien preparado
@@juanjavierballesteroslozan8794 el tema es que la 3060 tiene 12GB de Vram y la 4060 8gb de Vram.
Si quieres de la serie 4000 te tienes que ir a la 4070 mínimo, o la 4060Ti de 16gb de Vram, con cuidado porque hay otra version con 8gb de Vram.
Pero vamos si quieres algo barato, por 200-250€ tienes la 3060Ti 12gb en wallapop, pero si te puedes permitir 450€ comprate la 4060Ti de 16gb de Vram, u otra superior
Lo que estaría mucho mejor, es que pueda hacer un detallar cuanto consumo de hardware conlleva cada modelo y sus alternativas.
Carlos, te has salido con este contenido. Estoy acostumbrado a leer papers y tutoriales, y te aseguro que es la primera vez que veo un tema así tan comprimido y claro
¡Gracias, Carlos! Mi modesto PC jamás podrá ejecutar nada de eso... Pero sigue siendo un placer informarse contigo
La mía puede hacer algunas cosas, pero el consumo electrico es excesivo para mi consumo habitual
Ojo, eso es haciendo escalado e interpolacion de videos
Te acompaño en tu dolor 😅
En linea con Hugin chat.
@@Lebenslangerschicksalsschatz.Yo acabo de dejar sin luz a mi barrio.
X2
Resumen:
1. LM studio
2. Anything LLM
3. Pinokio
4. Invoke
Gracias
Héroe. Muchas gracias
Dado que solo el 1% de la gente tiene una 4090, me gustaría que probaras estos sistemas en máquinas normales, gracias.
Pero se trata de una 4090 de portátil. Si cuentas con otra gráfica pero de escritorio seguro algunos modelos anteriores pueden tener mejor esa función y optimización
La gracia es que es un vídeo patrocinado por Nvidia
Ojalá Carlos sacara un vídeo comparando rendimiento de distintos equipos para orientar a los usuarios a hacer una buena inversión y no gastar de más
Hay modelos que pueden correr en máquinas normales, yo tengo un notebook algo decente pero con gráfica intel con memoria compartida, por lo que es un asco para la IA, pero aún puedo probar algunos modelos muy livianos usando la CPU.
Nos limita la gran en la rapidez de carga de datos y porterior respuesta del modelo. Ejecute un modelo llm en una Gto 1650 no recuerdo cuál era. Pero nada mal la verdad no eran más de 6gb sip.
CARLOS GRACIAS POR TU TRABAJO!! Te comento que el contenido que suelo consumir de divulgación científica es en su mayoría en inglés. Pero no he encontrado ningún divulgador en inglés que sepa destilar la información como tú lo haces. Muchísimas gracias por tu trabajo.
Es muy bien guía, además me alegra que existan gente que tenga canales que aportan.
Qué canales en inglés aconsejarías para estar al día con las nuevas IAs?
*EXCELENTE GRACIAS!!*
Hay tres aspectos interesantes que sería maravilloso que hicieras un vídeo con lo que sabes:
*1.* Utilizar Obsidian como única fuente contextual.
*2.* Automatizar flujos de trabajo en forma ágil "del uso o interacción con la AI con herramientas de productos de salida, en mí caso, por ejemplo, las apps de Microsoft Office.
*3.* El entrenamiento de un clon o gemelo digital de mí mismo en base a mí reconocimiento y almacenamiento, en dos o tres meses de adaptación y de allí en adelante, para lograr:
*3.a.* Mayor eficiencia de foco.
*3.b.* Mí representación en reuniones de Teams (previamente acordado), mientras yo estoy en otra reunión; y luego cerrar, supervisadamente por mi, la reunión (un paso previo al meta verso.)
*3.c.* Que me ayude a mejorar mí interacción con otros humanos y también me guíe, en función de mis skills y potencial, a mejorar (1ro) la eficiencia en la interacción IA (2do) skill que yo, humano, puedo mejorar aprovechando el gradiente que más me convenga.
Ummm, una IA que clone mi comportamiento para asistir en mi nombre a las reuniones… ¿dónde hay que pagar?
@@charli1984 Pronto te lo vendemos...
Claro, es allí donde se empiezan a empalmar el Metaverso y la AI.
En Arg. ya empezamos esta semana a trabajar fuerte en la evaluación de sacar un laboratorio para ello en una empresa. Lo que va a ocurrir es que el precio del profesional por hora se va a ir a pique.
Pero sí; tuvimos una reunión de directores y vamos viendo de empezar a invertir en el desarrollo, junto con Windows, que es nuestro aliado global, en productos comerciales que nos permitan acercarnos a ello.
Abrazo. Obviamente no puedo decirte más, pero seremos en uno o dos años proveedores de esos servicios, si tenemos éxito.
Abrazo grande!!
@@fblua bro es muy interesante lo que planteas pudiste encontrar mas informacion o me gustaria mantenerme mas informado de lo que dices tienes algun grupo de discord o wsp donde particpen en conversaciones asi?
@@eze6000 Hola gracia por tu interés.
Te cuento. Hoy ya estamos trabajando en ello. El proyecto lo soporta una empresa multinacional de consultoría (Accounting Consulting y Management Consulting, como pilares de imagen hacia el esterio aunque brinda otros servicios "satélites" como soluciones en IT, Investigación, fraude, disputas, negociaciones, etc. No es una de las cuatro grandes pero se encuentran entre las 10 mas grandes del mundo)
Esta empresa cuenta con un área con significativa capacidad IT I+D.
Entonces lamentablemente no puedo darte detalles.
Igualmente esto ya lo tienen en la cabeza Mark Zuckerberg para empalmarlo con el Metaverso (para la realidad virtual aumentada y clonación de múltiples gemelos digitales); detrás de esto también está Microsoft y Google; pero esto recién empalma en 2029/2030 y la adopción se toma 2 años. Es decir que esto estará disponible, mucho más evolucionados los elementos del enorme ecosistema de partes de este modelo funcional final. En 2034 los precios de los servicios profesionales del conocimiento caerán drásticamente a menos de un 5% del valor horario del profesional experto de casi cualquier rama que hace todo el universo de los negocios globales. (Yo soy Ingeniero, pero que le vamos a hacer.)
Mencionado todo te darás cuenta que se trata de una carrera de alto riesgo pero de alto beneficio al que logré una solución eficaz, eficiente, de una parte de todo ello, y lo venda a las tres ITs que mencioné.
En definitiva no puedo brindarte detalles pero si insistes, puedo darte generalidades que pueden resultarte útiles sin violar yo la confidencialidad de mis contratos pero ayudando a construir la sociedad IT open source.
Saludos Fernando.
0:47 el mejor chiste malo que escuché en mi vida 🤣🤣🤣
Sigo insistiendo lo dicho en otros videos, la información de este canal es oro puro para los entusiastas de la IA. Impresionante todo lo que actualmente tenemos al alcance los usuarios domésticos y las miles de posibilidades que esto ofrece.
es el mejor canal que he encontrado en mi idioma
Que buena intro del micrófono 🎤 🎤 10 de 10 jejeje
lo vi 10 veces xD, me dejó loco
👍 un video buenísimo, solo hecho en falta un ejemplo de como descargar y conectar en local unas de esas IAs para programar en VSCode, porque estoy buscando una alternativa a supermaven, copilot, etc. pero que aproveche mi GPU y no requiera internet.
😅 Igual se que si no lo tengo andando es por pura flojera mía jajajaja, luego me pongo a investigar bien como hacerlo que seguro se puede usando algo como LM Studio + CodeGPT o similar (aunque CodeGPT no me termina de convencer).
Uff ojalá
Vaya vaya! Esta brutal tu video. Ya sabia sobre algunas IA, actualmente estoy usando stable diffusion con automatic1111 y es muy interesante que estas herramientas esten al alcance del publico. Siempre es mejor ejecutar IA en local por todo el tema de la privacidad y sin depender de largas esperas, yo estoy generando al rededor de 15 imagenes en menos de 3 min con una rtx 4060ti y para el precio que tiene el hardware actualmente la verdad es un precio bastante bueno y al alcance de todos para sumarse a la IA. Un saludo 👋🏻
Me parece uno de los videos más interesantes y al grano que he visto en mucho tiempo. Herramientas que realmente parecen útiles y bien explicado. Mañana me tengo que montar el pc que me he comprado para usar con IA generativa y los instalaré sin duda.
Yo creo que la tiza pa pos dedarrolladores de software sería poder hacer como que escanee toda la carpeta del proyecto. Que ya tenga en contexto todo. La estructura de carpetas y el codigo. Tambien el historial de versiones, los cambios que has echo. (Esto ultimo en particular, el historial de cambios seria la tiza porque asi ella va a aprender, como que tiene una linea temporal de la evolución del codigo).
Una ia que sea entrenads con proyectos realies. Con su evolución atracez de las iteraciones, pues aprenderia mejor que con todo eso de pensar como un humano.
No tratemos de atar el potencial de la ia a los limites humanos sometiendola a "la forma del razonamiento humano", cuando ella puede hacerlo, por sus características, de uan forma mas optima ( usando los historiales de git y la evolución del proyecto, del codigo en el tiempo).
Muy bueno la demostración!!! Nuevo suscriptor!!! Toda una maravilla esas herramietas!!!
Carlos, estaría interesante un tutorial de como entrenar tu propio modelo transformer en local🤓
Excelente y super valiosa informacion, se agradece. Igual dentro de lo posible pudieras entregar info de cual seria los hardware minimos para correr en forma decente y en local estos modelos. A lo mejor ya lo mencionaste en algun otro video soy nuevo en este lugar y en el tema😊😊
0:47 Imbatible, me has dado el dia :DDD
@dotcsv Gracias por todos estos videos y el currazo que te pegas para presentarlo de manera tan didáctica y entretenida! Me encantaría otro video de este estilo explicando como hacer fine tuning de un modelo en local! 🙏
Una segunda parte please. Mas sobre arquitectura RAG y como usarla con bases de datos relacionales. Gracias
La mejor transmisión hasta hoy... gracias por tan valiosa información...
Yo uso Ollama + Dify (para los LLMs) cosa fina y si eres desarrollador XD porque no tiene 24 GB de Vram? la 3090 ya tenia 24. Nvidia deberia espavilar y hacer graficas con Vram ampliable como la si fuera una placa base que se puede ampliar la RAM. Buen video DOT viva el opensource y el self hosting!
Gracias, valiosas herramientas que hay que conocer.
Por mi parte, al ser ingeniero de software prefiero Ollama porque aunque es más difícil de configurar me ofrece mucha más versatilidad.
Y en cuanto a difussion estoy probando Krita que hasta ahora me a parecido muy interesante y es completamente open source
Que bueno que es ver tanta actividad de parte del gran Carlos!!!
Tengo un pc muy modesto, voy a probar estas herramienta a ver que tanto se puede hacer (se que no es lo optimo) pero por probar. Gracias muy útil éste video.
Que tal te fue y que recursos tienes tu maquina, saludos.
@@eddiemachado2621 Aun no lo prueba solo instale pinokio y mi maquina tiene un intel i7 con 8 de ram y una nvidia 950m
Yo sufri en instalar algunos programas hace unos años, leyendo documentación y aquí allá, como automatizan todo, dios los bendiga a los programadores
Excelente contenido de muchisimo valor, felicitaciones y muchas gracias por compartirlo, esto va a permitir que mas personas se acerquen a la IA con mas tranquilidad y seguridad.
Es grandioso como la IA poco a poco se vuelve mas accesible pero seria mejor que poco a poco se volviera mas accesible para gente con GPUs mas modestas, lastimosamente se requiere bastante musculo de computo para las tareas que se mencionan en el video, obvio de que se puede ejecutar todo esto en pcs con componentes mas modestos se puede, pero obviamente usando modelos mas pequeños y menos precisos.
Espero que a futuro la optimizacion llegue al nivel en el que podamos ejecutar esta clase de modelos de forma no solo fluida en cualquier tipo de maquina sino tambien llevarlos de forma portatil y optima incluso en nuestros dispositivos moviles.
Solamente el chiste de "NVIADO" ya vale el like😅
Felicitaciones Carlos! Eres un excelente divulgador. Eres el Carl Sagan de la inteligencia artificial! Gracias a ti al fin estoy comprendiendo un poquito de toda esta maraña cada vez mas unextrincable..
Exelente video, primero debo empeñar algunas cosas ya así va estar de chill para ejecutar
Yo tengo un sobremesa con una RTX 4090, un portátil con una RTX 4090 , en este caso un Legion de Lenovo y un M3 de Apple.
Sin lugar a dudas la RTX 4090 de escritorio es la auténtica bestia, pero para portátil, casi casi que prefiero el M3 de Apple, al final tienes 96GB de RAM disponibles para el procesamiento en Metal como si fuera memoria de la gráfica y puedes cargar modelos gigantes que van "razonablemente" rápido, y desde luego mucho más rápidos que en la 4090 portátil.
La diferencia está en si cargas modelos "pequeños" de 10 Gb, entonces seguramente compense utilizar en cualquier caso cualquiera de las 4090, con la diferencia de que el M3 es mucho más silencioso, pesa menos y no suelta un metro cúbico de aire caliente por segundo :p
Gracias! Es lo que necesitaba, te amamos!
Funcionó perfecto en el Apple Silicon M3 Pro
Yo casi me miro tus videos como un estreno de star wars
Impresionante Carlos. Desde la produccion al contenido. Te mereces mucho mucho éxito!
fantástico, gracias por difundir
PINOKIO ESTA MORTAL!!!! YA LE HE METIDO MANO Y ME ENCANTO!!!! MUCHAS GRACIAS COMO SIEMPRE POR ESTAS PAPITAS!!!!!!!!! Saludos de un Chileno en Suecia!
Me encanta cuando muestras demos en local porque abre un mundo de posibilidades al conectar esa api con el modelo que quieres, y conectarlo con tu web o bot para automatizar cositas. Wao La IA ya no es el futuro, es el ahora! 😌.
Te ganaste un like 👍🏻 y un suscriptor 😊
Tus vídeos no solo me ayudan muchísimo, sino que me rompen la cabeza!!. Sus un crack más!👌👍👌
LM Studio es una herrramienta hermosa!!
Gracias, Carlos. Muy interesante tu muestra visual de productos ya disponibles. Queda en los humanos un factor muy importante: la ética.
La IA es una herramienta ultra poderosa que evolucionará a algo que ni podemos sospechar.
Saludos desde Lima.
Que buen video! mucha gracias y felicitaciones Carlos! Eres lo más! :) Una cosa que me gustaría comentar es que estoy usando el modelo de llama 3.1 de 70B en una MacBook Pro con 128GB de RAM y funciona muy bien. También lo he probado en una Mac Studio con 192GB y 76 GPU. El LM Studio usa como base la version Metal de llama.cpp y en ambos casos funciona increíblemente bie. Mas aun mejor en la Mac Studio, ya que tiene más GPUs que la MacBook Pro. No entiendo porque no hay casi ninguna referencia en la web del uso de llama 70B con Mac "Metal" en lugar de CUDA y poco y nada en RUclips. Creo que seria interesante hacer un video de esto, pues se trata de opciones muy eficientes en costo/performance comparados con NVIDIA/CUDA.
Limpiando mi RAM para poder ocupar herramientas así, que hace tiempo tenía ganas de desarrollar. Gracias por los datos. 😊
Y ese micrófono al inicio lo movió la IA estoy seguro
99% seguro que fue segmentado con Sam de meta
Super util el video, gracias! 🙏 Me partí con el chiste! Gracias por tu labor divulgativa de la IA. Saludos de otro canarión.🙌
Hola Carlos, genial, pero creo que debías hablar también por Ollama porque permite muchas de las cosas que comentas y también la interacción con estos modelos con código fuente. De todas formas el video es muy importante para aprender como usar los LLM desdes nuestros ordenadores. Per
Seria genial ver un video sobre las tarjetas precisamente, llevo varios meses probando muchisimo los modelos que se dejan instalar, tenia una GeForce 4060 y empezo a molestar y me di cuenta que los modelos someten la tarjeta a demasiado estres... siempre al 100% y con temperaturas brutales.... entonces el tema general no es tan sencillo como descargar instalar y a darle caña! el equipo va a sufrir y bastante por los requisitos de los modelos de IA asi que es algo sobre lo que debemos aprender tambiem... saludos!!
Saludos desde Costa Rica
videazo pedazo de info man. muchas gracias
Gracias, Carlos. Excelente contenido de muchísimo valor y muchas gracias por compartirlo
Excelente video!!! Muchas gracias por tu gran esfuerzo para compartir de forma sumamente didáctica y fácil de entender! Saludos desde México!
14:20 espero que razer haga las mejores bisagras porque madre mía le dio como a pandereta de evangélico
Puedes preparar un video o comentario sobre el último paper del equipo multion con su agent q? Yo creo que es un gran hito
Excelente material, como siempre.
Sí cabe destacar que el consumo energético de una laptop con la tarjeta de video activa es muy alto y la batería durará bastante poco.
En un dispositivo que esté conectado a corriente será óptimo, y también lo sería si se pudiera hostear en un server para una red local.
Estas herramientas permiten ejecutar en un server local y proveer servicio a una red pequeña? (ejemplo: 3 usuarios en paralelo)
Cada vez que lanzas ese note al aire, se me sale el corazón...
Muy buena, como siempre Crack, me gusta q estimules los valores de privacidad y autonomía de nosotros los usuarios y q no dependamos de las grandes empresas q escondes sus interés detrás de una desinteresada ganas de ayudar al mundo; por consiguiente tengo una pregunta, crees tu q alguno de estos modelos tenga la capacidad de crear algo así como los GPTs de ChatGPT o alguna forma de hacer algo parecido pero con IA ? Pues supongo q si los hacen habría alguna manera de poderlos exportar y hacerlos independientes del modelo, es decir, q pueda hacer algo como un elaborador de guiones para videos de RUclips on-line, colocarlo en una Web sin la necesidad de la API q me cuesta dinero, además de la autonomía y privacidad, y si lo hay que nos nutrieras con tanta sabiduría. Gracias
¡Increíble! Ahora solo falta que estas herramientas sean tan fáciles de usar como lo prometen. 🙈
Eres un un dios lo sabas? joder que brutal.
Excelente contenido :D me va ayudar muchísimo, ya estuve probando llama 3 y las respuestas son rápidas.
Equipo:
R5 3600
RX6600
RAM 16GB
SSD 120GB
toca probar + modelos :D pero por ahora cumple con lo que necesitaba
Por mucho el mejor video de herramientas de IA que he visto este mes. Muy agradecido por la información!🎉
Excelente contenido, gracias y felicidades. !!
Saludos desde RD
Excelente video Carlos ! Muchas gracias.
Gracias por esta guía... lo más atractivo es que ayuda a explorar en tu propio equipo
Ests herramientas van a revolucionar el mundo profesional
Llevaba meses esperando este video! Gracias.
como puedo entrenar llama 3.1 con mis datos, para ejecutarlo localmente, alguna herramienta local?
Si tanto lo sabe Nvidia que se deje de mamadas y empiece a meter VRAM acorde a las necesidades de IA. Que saque versiones de sus RTX especiales para IA. Por ejemplo, podria sacar una version RTX 5060 con el chip un poco recortado en cuanto a potencia grafica pero con el doble de VRAM.
Claro, como lo saben, van a sacar la 5090 con 8gb de vram, para que si quieres usar ia te tengas que ir a otra más cara
Muchas gracias, me ha servido de mucho.
Un saludo!
hace pocos dias compre una tarjeta grafica 4080 super y comence a ver videos sobre ella, algo de eso me dirigio a tus videos y canal y sin lugar a duda es de los mejores contenidos sobre IA que he encontrado, estoy muy agradecido por tu contenido y estoy seguro que con estos tutoriales y gracias a tu canal, le podre sacar todo el provecho posible a mi nueva grafica, te puedo pedir un favor... soy productor audiovisual y fotografo, pero tengo poco tiempo para crear un cortometraje y no se como musicalizarlo, tu me púedes por favor, enseñar si con la IA puedo ayudarme en este aspecto? un abrazo desde Colombia.
muy buenos tus videos de lo mejor... algun sofware con interface para entrenar mis propios modelo de voz?
Excelente como siempre!!! La verdad muy útil funciona extraordinariamente bien
Wow, súper útil este video 👌🏽
Me encantó el video Está increíble
Pero te tengo una idea para un video Qué puede que te guste No se jaj, Qué tal si pudieras hacer un video mostrando las mejores inteligencias artificiales para distintas cosas: por ejemplo utilizar chatGPT para describir textos o libros ya que es la mejor para ello o utilizar Leonardo IA para sacar imágenes Yo sé que son ejemplos bobos pero sirven para explicar mi idea jaja, Pero bueno La idea es Mostrar las mejores inteligencias artificiales (Sí se pueden gratis) para hacer distintas tareas o cosas como dije anteriormente jaj Aunque creo que ese video quedaría mejor en el Canal del laboratorio, Aunque no sé Ahí te dejo la idea y Muchas gracias por leer esto y por darme tanto conocimiento de la Inteligencia artificial y sus novedades.
Gracias, muy buen video !!
Excelente video!!!
Gracias!!!
Desde que te sigo (inicios de Chat GPT) creo que este es el video mas rupturista a nivel personal de todos. Estoy constantemente dando pausa e instalando en mi humilde ordenador con GPU 4060 pinokio y todo lo que veo que esté a mi alcance. Gracias.
Muchas gracias por compartir todo ese conocimiento con nosotros. De verdad, no hay palabras suficientes para agradecer tal nivel de contenido.
Podrías hablar del consumo energético que supone correr IA en local?
Es decir, medir el consumo computacional en Watios cuando se realizan cargas de IA en la GPU.
Lo digo porque es interesante conocer cuánto cuesta la IA en términos energéticos, al igual que en términos térmicos si emana calor ya que podríamos necesitar climatizar la habitación y por ende aumentar watios al costo.
Gracias, muy interesante el vídeo
Gracias por el video! Estoy deseando empezar a probar
Y con LM Studio se podría tener/hacer webscraping para obtener diferentes artículos noticiosos, por ejemplo?
Buenas. Me encanta tu contenido, te sigo en todos los videos. Consulto, seguro sabrán por acá, tengo el siguiente error cuando instalé Invoke (ENOENT: no such file or directory, stat 'F:\pinokio\api\invoke.git\{{input.event[0]}}') alguna solución? Gracias!!
Yo tengo el mismo problema!
@@Franlh lo solucioné reinstalando y reiniciando la pc después de su instalación. Quizá también sirvió que tengo instalado llama 3.1 8B y se instalaron varios paquetes. No se mucho del tema.
@@josegastoncirvini1444 Gracias amigo! Instalé el Llama 3.1 y ahora sí funcionó 😎
pues ya estoy saturando el disco duro con cositas nuevas. Gracias, chico. Esto es una fantasía!
Gracias por este tutorial!
Gracias por compartir tus conocomientos, me esta auudando mucho para aprender algo sobre IA. Precisamente este video me va ayudar en un proyecto para el que necesito procesar muchos documentos pdf con informacion tecnica. Tal vez te interesaria colaborar, me preguntaba si puedo contactarte e informarte sobre el proyecto a ver si te interesa.
impecable cada explicación. Gracias por compartir toda esta valiosa info
Buenísimo gracias por la info, saludos desde Chile.
TREMENDO! Genial, muchas gracias!
muchas gracias por el video @dotcsv en el mundo hay mucho contenido de AI pero en ingles y tu canal es una gran contribución a la comunidad hispanoparlante
Muchas gracias bro!!! Me encanto lo del chatear con los pdf.
te detecta documentos en inglés?
Interesante, pero que sucede con quienes no tenemos gpu de alta gama? Sería un punto negativo de hacerlo de forma local? Muchas gracias, estupendo video
Excelente tutorial Carlos!!!!
En cualquier tarjeta de video se puede hacer? En alguna gtx pero de anteriores versiones?
Brutal vídeo, gracias!
se pueden usar 2 gpus para aumentar la ram disponible para los modelos?? por ejemplo, si tengo dos 4090?
Para mi, el vídeo más importante del año. Gracias!
Gracias muy buen vídeo, es justo lo que necito una ia local entrenada con mi data empresarial, solo una pregunta, como hago para recibir un laptop de pruebas de nvidia 😂
Hola carlos ,muy intructivos los videos .
Una inquietud que tengo, que targeta grafica puedo usar menor que la 4090 para ia ,? Muchisimas gracias por tus videos bien esplicados.?