Requisitos de Hardware GPU: VRAM: Para el modelo llama3 8b, se recomienda tener al menos 5.6 GB de VRAM. Si optas por el modelo llama3 8b-instruct-fp16, necesitarás alrededor de 15.6 GB de VRAM. CPU: Se sugiere un procesador moderno, como un Intel de 10ª generación o AMD Ryzen 4 o superior, para asegurar un rendimiento adecuado. Memoria RAM: Un mínimo de 16 GB de RAM es necesario para ejecutar los modelos de manera eficiente. Tener menos RAM puede resultar en un rendimiento lento. Almacenamiento: Dependiendo de cuántos modelos desees instalar, necesitarás espacio en disco. Por ejemplo, la interfaz web ocupa alrededor de 2 GB, y cada modelo puede ocupar entre 50 GB a más de 100 GB, dependiendo del tamaño del modelo. Sistema Operativo: Ollama es compatible con sistemas como Windows, macOS y Linux, así que asegúrate de tener uno de estos sistemas operativos instalado. Con este hardware adecuado, podrás ejecutar Ollama y sus modelos de manera efectiva en tu máquina local.
Excelente video man! Oiga! no habia mirado el numerito de los me gusta y las vistas! Como ha crecido el canal eh? recuerdo cuando era el unico que comentaba :P :D Grande Fatz! siga educandonos, por favor! EDIT: no que lama 3 acaba de salir? y usted ya nos está enseñando a usarlo?... lo siento, lo olvidaba... FAZT Code :D
Es exelente. Sabes si podria instalarlo en mi proyecto para hacer un chat bot de whatsapp usando mis datos y evitando pagar la api de openIa? Gracias por tu aporte. siempre aprendo en tu canal
Grande fazt, podrías subir un vídeo de cómo conectar node con el modelo y así poder interactuar con el directamente desde el código y usarlo en proyectos? Por favor sería de gran utilidad.
Fazt, saludos y agradecimientos por tus valiosos aportes. Tengo una consulta sobre el rendimiento de la computadora. ¿Cuál es más eficiente en términos de código: usar el editor Cursor o la extensión en Visual Studio Code? Además, ¿cuál de estas opciones consume menos recursos y afecta menos el rendimiento de mi equipo?
No me funciona ,pongo consultas en el chat pero solo sale la tipica ruedecita girando en el cartel del modelo llama3:8b al lado del simbolo de home....
Gracias! Estaba en esto de hace tiempo pero había un par de cosas que no me funcionaban. Que bien que la semana que viene den autocompletado. Llama3 va mejor incluso que codegemma para código no? mola que con una 1070 que tiene unos 8vram, si configuro windows a procesar en "económico" no se calienta a 82grados como cuando lo pongo en alto rendimiento. Un poco más lento pero más vida pal pc que esta viejito aunque aguanta :)
Justo iba a preguntar eso jaja parece que estoy friendo huevos en el cpu, ni con los juegos pasa de 70 °C y no vi ningún comando que limite el uso de recursos o algo
tengo problemas al descargar la extensión, simplemente se queda en blanco, no puedo ver nada de la extensión, ya intente deshabilitarla, reinicar el vsc y hasta reiniciar el pc y nada
baje todo lo que dijiste, llama 3, codellama, mistral y variossss...pero al ejecutarlo osea al usarlo en vscode va lentísimo. mi laptop asus core i9 con 32Gb de ram. y en todo es muy rápida, nose si la IA consume todo y no seria viable. no quiero ni pensar como seria con una laptop de menos especificaciones.
Buenas, gracias por la herramienta muy buena, yo tenia la duda de si al igual que github copilot, que depura el código y no lo almacena en sus servidores. En resumen si nuestro código no se hace publico utilizando esta herramienta. Saludos.
Hola Fazt... Tengo una duda, cuando termina el instalador de Ollama, no se ejecuta la terminal para instalar el modelo Llama3 ¿Existe una forma manual para ejecutar dicha terminal?
Excelente compa, tengo una pregunta tu que sabes más, si tú dices que llama3 fue entrenado con la información del 2022, y por eso no te muestra las nuevas características de react o cualquier otro framework, la pregunta es como puedes actualizar el modelo ? Se puede ir a Github y descargar las últimas versiones y cargarlas en el modelo y con eso podríamos tener actualizado el modelo ? O es más complicado que eso?
Muchas gracias, a mi no me funciona, me imagino que puede ser por el tema de la exigencia a la tarjeta grafica. El CodeGpt esta genial, pero solo permite 5 preguntas en las demas IA
Al utilizar Llama 3 mi CPU hace todo el proceso y mi GPU no hace nada, haciendo que sea lento y las respuestas dilatan en cargar, alguna sugerencia porfavor para utilice mi GPU, tengo una GTX 1650
Existen dos variantes: Llama 3 8B, si tienes un sistema con recursos limitados y Llama 3 70B, mientras cuente con un rendimiento excepcional, pero con mayores demandas de hardware. Aquí están los detalles sobre estos modelos y los requisitos de hardware para ejecutarlos localmente: 1. Llama 3 8B: - Requisitos mínimos de hardware: + RAM: Al menos 16 GB + GPU: Una GPU potente con al menos 8 GB de VRAM, preferiblemente GPU NVIDIA con soporte CUDA + Disco Duro: 4 GB 2. Llama 3 70B: - Requisitos mínimos de hardware: + RAM: 64 GB o más + GPU: Una GPU potente con al menos 8 GB de VRAM, preferiblemente GPU NVIDIA con soporte CUDA + Disco Duro: 20 GB
no pues, chatgpt es la interfaz, solo existe una, lo que se puede conectar es a los modelos de openai como gpt 4, para eso necesitas el api key, pero no es gratis te cobran por token dependiendo de que modelos elijas te sale mas barato o caro
hola :D me sale esto v3.5.120 Unable to connect to the extension services Requirement Required System VSCODE ^1.82.0 1.93.1 Vscode Node >=18.0.0 20.15.1 App Default Port 54112 Troubleshooting
De lo que he probado, con Ryzen 3 3200G, funciona sí, pero usa 100% del CPU, para la RAM en cuanto al proceso ollama_llama_server usa 4.6 GB, de la GPU integrada es muy poco el uso 400MB aprox. Tengo 16GB de RAM a 3200MHz Resumiendo, al menos con mi procesador la temperatura se va a 82 °C con disipador stock, no recomendable jaja a menos que le bajes la energía máxima al procesador a costa de que tarde más en responder o tener un disipador muy bueno. Podrías probar a ver cómo funciona el en Ryzen 5, no pierdes nada. Solo cuestión de ver las temperaturas, posiblemente con una gráfica mejore el uso del CPU.
@@ZeroCool22 RUclips no deja poner links, pero hay un hay un post de GitHub. Los modelos van: - Modelo 7B - 4GB VRAM - Modelo 13B - 8GB VRAM - Modelo 30B - 16GB VRAM - Modelo 65B - 32GB VRAM
Fazt excelente video, gracias por compartir tu conocimiento y enseñar las cosas paso a paso. Te sigo hace tiempo, con este video aprendí a crear mi primera página HTML ruclips.net/video/rbuYtrNUxg4/видео.html Desde ahí me sigo capacitando y aprendiendo cada vez tecnologías nuevas, ese hecho ha cambiado mi vida y me ha abierto puertas a trabajar para empresas.
![Felix "Unfair" | [Stray Kids : SKZ-PLAYER]](http://i.ytimg.com/vi/Oswujxm2Ag0/mqdefault.jpg)
Fazt es mi pastor y nada me faltará!
Fazt es mi pastor y mi código compilará.
🤣🤣🤣
Sobre delicados repositorios me hará descansar
Cuando camine por el valle de los bugs, no temere porque fazt es mi pastor, y mi proyecto se deployara
Se pasan 😂
Espectacular extensión GPT Code + Llama3. Muchas gracias!
Excelente video, muchas gracias, tus tutoriales son excelentes, van al grano bien explicados y sin exagerar en detalles, muchas gracias.
Confío en ti porque tenés credibilidad
no entiendo
Justamente había visto la noticia del lanzamiento de llama 3 y pensé en si fazt haría algún tutorial sobre eso... increíble fazt, un grande!
Requisitos de Hardware
GPU:
VRAM: Para el modelo llama3 8b, se recomienda tener al menos 5.6 GB de VRAM. Si optas por el modelo llama3 8b-instruct-fp16, necesitarás alrededor de 15.6 GB de VRAM.
CPU:
Se sugiere un procesador moderno, como un Intel de 10ª generación o AMD Ryzen 4 o superior, para asegurar un rendimiento adecuado.
Memoria RAM:
Un mínimo de 16 GB de RAM es necesario para ejecutar los modelos de manera eficiente. Tener menos RAM puede resultar en un rendimiento lento.
Almacenamiento:
Dependiendo de cuántos modelos desees instalar, necesitarás espacio en disco. Por ejemplo, la interfaz web ocupa alrededor de 2 GB, y cada modelo puede ocupar entre 50 GB a más de 100 GB, dependiendo del tamaño del modelo.
Sistema Operativo:
Ollama es compatible con sistemas como Windows, macOS y Linux, así que asegúrate de tener uno de estos sistemas operativos instalado.
Con este hardware adecuado, podrás ejecutar Ollama y sus modelos de manera efectiva en tu máquina local.
Justamente compré una ASUS con i9 gen 13 la semana pasada para usar Ollama. Esto es genial. Gracias.
Tus aportes son realmente útiles, gracias por compartir
Yo uso Codeium y si tiene autocompletado, y un chat integrado en VS Code, usa GPT-3 👍👍👍
es mejor, sin gastar tantos recursos. o incluso el editor del cursor.sh
@@eduardodudu5695 yo uso Cursor
@@eduardodudu5695 que les parece mejor codeium o code whisperer de aws
Codeium es amor, codeium es vida.
Aunque ayer note que fallaba un poco
@@jomoju para ser gratuito esta genial
Muy buen tips mi hermano, tambien soy creador de contenido, tus contenidos son excelentes, GRACIAS
excelente me funciono, ya tengo copilot pero con esta nueva ia podre complementar mejor mi forma de desarrollar.
Gracias fazt! como siempre un grande
Gracias fazt, tengo entendido que te llamas igual que yo, pero, de grande quiero ser como tú, gracias por tus aportes compa
Fazt: No se preocupen, la descarga es muy rápida
Yo al ver su conexión de más de 1 Gbps :|
Excelente video man! Oiga! no habia mirado el numerito de los me gusta y las vistas! Como ha crecido el canal eh? recuerdo cuando era el unico que comentaba :P :D Grande Fatz! siga educandonos, por favor!
EDIT: no que lama 3 acaba de salir? y usted ya nos está enseñando a usarlo?... lo siento, lo olvidaba... FAZT Code :D
MUCHAS GRACIAS AMIGO , ME SERVIRÁ MUCHO PARA PRACTICAR PYTHON , MIL GRACIAS
Excelente video, primera vez usando ia en mi vs code
Es exelente. Sabes si podria instalarlo en mi proyecto para hacer un chat bot de whatsapp usando mis datos y evitando pagar la api de openIa?
Gracias por tu aporte. siempre aprendo en tu canal
Super interesante. Voy a probar hacerlo. Gracias por compartir tus conocimientos.
Agradable aporte, para nosotros los humildes.
Una consulta, algo que note es que no se guarda la conversacion? o como se hace?
Yo uso la extensión de black box, tiene autocompletado, pero me parece genial llama 3. Lo probaré
Grande fazt, podrías subir un vídeo de cómo conectar node con el modelo y así poder interactuar con el directamente desde el código y usarlo en proyectos? Por favor sería de gran utilidad.
Muchas gracias Fazt!
Eres un crack! De siempre
Excelente video.
Fazt, podrías hacer un ejemplo de implementación de Llama 3 con algún SDK, para análisis de datos y así
Muchas gracias Fazt
puedes probrar instalando otros providers ?? gracias
Fazt, saludos y agradecimientos por tus valiosos aportes.
Tengo una consulta sobre el rendimiento de la computadora. ¿Cuál es más eficiente en términos de código: usar el editor Cursor o la extensión en Visual Studio Code? Además, ¿cuál de estas opciones consume menos recursos y afecta menos el rendimiento de mi equipo?
no se ejecuta la ventana de vienvenida de ollama
No me funciona ,pongo consultas en el chat pero solo sale la tipica ruedecita girando en el cartel del modelo llama3:8b al lado del simbolo de home....
excelente dato, gracias sensei
Lo que tú digas, voy a probarlo de una vez.!!!!
¿Cuanta ram o gpu necesito para que se ejecute correctamente?
Gracias! Estaba en esto de hace tiempo pero había un par de cosas que no me funcionaban. Que bien que la semana que viene den autocompletado. Llama3 va mejor incluso que codegemma para código no? mola que con una 1070 que tiene unos 8vram, si configuro windows a procesar en "económico" no se calienta a 82grados como cuando lo pongo en alto rendimiento. Un poco más lento pero más vida pal pc que esta viejito aunque aguanta :)
Justo iba a preguntar eso jaja parece que estoy friendo huevos en el cpu, ni con los juegos pasa de 70 °C y no vi ningún comando que limite el uso de recursos o algo
Estos modelos podrian ser compartidos para que aprenda las buenas prácticas de un grupo de desarrollo.
Gracias por el aporte Crack!
tengo problemas al descargar la extensión, simplemente se queda en blanco, no puedo ver nada de la extensión, ya intente deshabilitarla, reinicar el vsc y hasta reiniciar el pc y nada
Parcero te imaginas el poder del modelo de llama3 que tiene 400B. Es una locura!!
a mi solo me instala Ollama pero no me permite ejecutarlo ni usar la terminal
Lo que me preocupa es el consumo de memoria y procesador. Tienes este detalle?
Si claro aquí lo dejo github.com/open-webui/open-webui/discussions/736#discussioncomment-8474297
baje todo lo que dijiste, llama 3, codellama, mistral y variossss...pero al ejecutarlo osea al usarlo en vscode va lentísimo. mi laptop asus core i9 con 32Gb de ram. y en todo es muy rápida, nose si la IA consume todo y no seria viable. no quiero ni pensar como seria con una laptop de menos especificaciones.
Puedes usar IA en tu codigo siempre que estes conectado a wifi
Wow muchas gracias!!!
help no me funciona al instalar la extencion dice que algo a salido mal que vuelva intentarlo... y se queda hay for ever como el chavismo en venezuela
Que tema utiliza para ese video de vs code?
Buenas, gracias por la herramienta muy buena, yo tenia la duda de si al igual que github copilot, que depura el código y no lo almacena en sus servidores. En resumen si nuestro código no se hace publico utilizando esta herramienta. Saludos.
me reventó el vs code noooo y lo tenia tuneado, ahora a instalar de nuevo
Yo utilizo Codium, muy similar también.
Gracias mi Sensei
hola, no me funcionó, se queda cargando la respuesta pero no pasa nada... como puedo solucionar esto?
muchas gracias
ollama ya tiene llama3 cool !, que modeloz uso?
Consulta, cual son los requisitos minimo y si mi procesador es NPU, no necesito tarjeta gráfica???
Fatz Code Se pueden instalar varios modelos y vos vas cambiando el modelo desde el VSCode?
Se puede usar con docker?
Si quisiera usar un gpt que me de datos actualizados cuál recomiendas ?
Y puedo usarlo en webstorm?
Hola Fazt...
Tengo una duda, cuando termina el instalador de Ollama, no se ejecuta la terminal para instalar el modelo Llama3
¿Existe una forma manual para ejecutar dicha terminal?
120 MB/s vs mis poderosos 4 MB/s
Excelente compa, tengo una pregunta tu que sabes más, si tú dices que llama3 fue entrenado con la información del 2022, y por eso no te muestra las nuevas características de react o cualquier otro framework, la pregunta es como puedes actualizar el modelo ? Se puede ir a Github y descargar las últimas versiones y cargarlas en el modelo y con eso podríamos tener actualizado el modelo ? O es más complicado que eso?
Muchas gracias, a mi no me funciona, me imagino que puede ser por el tema de la exigencia a la tarjeta grafica. El CodeGpt esta genial, pero solo permite 5 preguntas en las demas IA
gracias por la informacion Fazt
una pregunta, si tengo una gpu de amd siempre puede funcionar?
Al instalarse dentro del sistema no requiere de internet entonces?
así es una ves instalado ya no requiere internet
¿Se puede entrenar un modelo con tu proyecto particular para que sean mucho más específicas las respuestas del chat ?
Puedo usarlo para redactar Commits automáticamente?
Cuál pc tienes?
en mi maquina esta super lento
Si hasta la fecha los modelos inteligentes requieren alguna tarjeta grafica o un buen procesador para que vaya fluido
Requerimientos:
Modelos Pequeños (7B - 13B parámetros): RAM 16-32 GB, CPU Intel i7/i9 o AMD Ryzen 7/9, GPU opcional de 8 GB VRAM (NVIDIA RTX 3060).
Modelos Medianos (30B - 65B parámetros): RAM 32-64 GB, CPU Intel i9 o AMD Ryzen 9, GPU de 16 GB VRAM (NVIDIA RTX 3080/3090).
Modelos Grandes (175B parámetros y superiores): RAM 64-128 GB, CPU Intel Xeon o AMD Threadripper, múltiples GPUs con 24 GB VRAM cada una (NVIDIA A100, RTX 3090).
oye amigo Fazt podria usarlo pero con neovim?
Gracias bro. Y cuanto tiene que tener la máquina para que te corra esto (CPU, ram, etc..)
Te dejo el Post de Github donde especifican todo esto :) github.com/open-webui/open-webui/discussions/736
Gracias bro
Con gusto :)
Al utilizar Llama 3 mi CPU hace todo el proceso y mi GPU no hace nada, haciendo que sea lento y las respuestas dilatan en cargar, alguna sugerencia porfavor para utilice mi GPU, tengo una GTX 1650
Estaria bueno un minitutorial de una rest api con AdonisJS
Se puede entrenar un modelo de Llama?
Para eso busca información como, como hacer un ajuste fino en un modelo preentrenado.
Se podrá utilizar este asistente en una página web?
Si podrias desplegarlo en un VPS y consumirlo desde alli al estilo de la API de OpenAI
y con esta implementacion, te autocompleta el codigo, asi como lo hace copilot?
Aun no, pero esta semana actualizan la extensión para que también permita autocompletar
@@FaztCode ah buena noticia. Lo dejare descargando para probarlo. Muy buen video Fatz
Que tema usas en vscode?
Este se llama tokyo night dark
@@FaztCode gracias
Está genial, lo malo es que me cuesta mucho la tarjeta grafica para que me corra el llama 3 jaja
no sirve si no es en tiempo real, porque despues del 2022, muchas cosas opiamente se actualizaron
Que genial fazt, una pregunta sabes cuales son los requisitos de hardware para ejecutar llama3?
Existen dos variantes: Llama 3 8B, si tienes un sistema con recursos limitados y Llama 3 70B, mientras cuente con un
rendimiento excepcional, pero con mayores demandas de hardware. Aquí están los detalles sobre estos modelos y los
requisitos de hardware para ejecutarlos localmente:
1. Llama 3 8B:
- Requisitos mínimos de hardware:
+ RAM: Al menos 16 GB
+ GPU: Una GPU potente con al menos 8 GB de VRAM, preferiblemente GPU NVIDIA con soporte CUDA
+ Disco Duro: 4 GB
2. Llama 3 70B:
- Requisitos mínimos de hardware:
+ RAM: 64 GB o más
+ GPU: Una GPU potente con al menos 8 GB de VRAM, preferiblemente GPU NVIDIA con soporte CUDA
+ Disco Duro: 20 GB
CodeGPT se puede conectar a ChatGPT?
no pues, chatgpt es la interfaz, solo existe una, lo que se puede conectar es a los modelos de openai como gpt 4, para eso necesitas el api key, pero no es gratis te cobran por token dependiendo de que modelos elijas te sale mas barato o caro
@@luiggymacias5735 O sea que en este caso no te sirve ser usuario de pago en ChatGPT, para integrarlo digo
name theme, please?
es de meta?🤔
hola :D me sale esto v3.5.120
Unable to connect to the extension services
Requirement
Required
System
VSCODE
^1.82.0
1.93.1
Vscode Node
>=18.0.0
20.15.1
App Default Port
54112
Troubleshooting
Viéndolo antes que lo ponga solo para miembros:(
si tengo una tarjeta de video integrada AMD Ryzen 5 3400G ¿sirve igual? ¿cuanto de ram se necesita? saludos
De lo que he probado, con Ryzen 3 3200G, funciona sí, pero usa 100% del CPU, para la RAM en cuanto al proceso ollama_llama_server usa 4.6 GB, de la GPU integrada es muy poco el uso 400MB aprox. Tengo 16GB de RAM a 3200MHz
Resumiendo, al menos con mi procesador la temperatura se va a 82 °C con disipador stock, no recomendable jaja a menos que le bajes la energía máxima al procesador a costa de que tarde más en responder o tener un disipador muy bueno.
Podrías probar a ver cómo funciona el en Ryzen 5, no pierdes nada. Solo cuestión de ver las temperaturas, posiblemente con una gráfica mejore el uso del CPU.
@@kf_11 gracias por tu respuesta
@@kf_11 Yo tengo:
Ryzen 5900x
GPU: Nvidia 1080 TI (11gb de VRAM)
RAM: 32GB.
Cual modelo me recomendás probar?
@@ZeroCool22 RUclips no deja poner links, pero hay un hay un post de GitHub. Los modelos van:
- Modelo 7B - 4GB VRAM
- Modelo 13B - 8GB VRAM
- Modelo 30B - 16GB VRAM
- Modelo 65B - 32GB VRAM
@@ZeroCool22 En tu caso se podría al 13B
Me corre a una palabra por minuto, pero gracias.
jaja si lamentablemente aun estos modelos consumen muchos recursos de hardware, con una buena grafica se tienen que usar
va a explotar mi computadora, no se si lo vale
Que dizes tio !!
Necesito un super pc?
Mi vieja GPU aparentemente no es compatible (AMD rx 570) asi que va a puro CPU 🥵
Fazt excelente video, gracias por compartir tu conocimiento y enseñar las cosas paso a paso.
Te sigo hace tiempo, con este video aprendí a crear mi primera página HTML
ruclips.net/video/rbuYtrNUxg4/видео.html
Desde ahí me sigo capacitando y aprendiendo cada vez tecnologías nuevas, ese hecho ha cambiado mi vida y me ha abierto puertas a trabajar para empresas.
asu a ti te corre muy rápido xd
en mi pc demora demasiado
lo malo es que solo se enfocan en lengujajes conocidos
Debe ser por el entrenamiento que usan
La verdad es una herramienta muy simplona, y funciona solo en ingles y la verdad bastante mal, hasta con lmstudio. Nada interesante.
Si fazt está conmigo, ¿Quien contra mi?
Si tu pc es una mierda ni lo piense
pta q lento xd