Instala DeepSeek Coder para generar código localmente en tu propio equipo
HTML-код
- Опубликовано: 11 сен 2024
- En este video os traigo los pasos necesarios para instalar el modelo LLM DeepSeek Coder, uno de los que mejore rendimiento da en la generación de código. A diferencia de otras soluciones como Copilot, este modelo puede ejecutarse íntegramente en tu ordenador sin enviar datos a servicios externos. Instalaremos el modelo en LMStudio para Windows, ya que requiere algunos pasos extras, pero la instalación puede también realizarse en otros entornos para la ejecución de LLM.
Lo acabo de instalar y me va todo perfecto. Muchas gracias por compartir este tipo de videos. Desconocía que se podía hacer este tipo de cosas en local. Mis felicitaciones
Muchas gracias por el comentario. Me alegra mucho que te ha servido para empezar a trabajar con modelos en local. En breve muchas más utilidades!
Importante: por error instalé el entorno que NO funciona (ay, las prisas!) y, al continuar visualizando el video y sin desinstalarlo, instalé la versión beta (presuponiendo que actualizaría el anterior). No funcionaba. Al desinstalarlo y reinstalarlo de nuevo, funcionó sin problema. ¡Muchas gracias por el vídeo, César!
Gracias por compartir tu experiencia con el resto de personas del canal! Me alegro que al final funcionara todo correctamente!
@@LaHoraMaker tengo una duda, si la version de 7b me funciona bien, podria instalar la version de 33b, me refiero a si tendria que aumentar el poder de computo para utilizarla de la misma manera, o lo unico que cambia es el tamaño de las versiones?, saludos.
excelente video
Gracias! 😊
Video estupendo!
Con que nombre puedo encontrar el siguiente video? Sobre como integrarlo similar a copiloto en la IDE vs code?
Hola Jose, tengo pendiente grabar el video siguiente de generación de texto. Estoy evaluando las soluciones de Cody y Continue.dev para esta tarea. Si quieres puedes irle dando un vistazo a ambas alternativas para ver si alguna te convence.
Excelente video!!! Sabes si es posible hacer fine tuning de este modelo y utilizarlos desde la app?
Gracias por el comentario. Aunque creo que si se debería poder hacer fine tuning, es un poco peculiar el modo en el que se ha entrenado este modelo concreto, ya que emplea contextos muy amplios y no se si el dataset para afinarlo debería también reproducir este tamaño de contexto para no perder funcionalidad. Voy a estar pendiente a ver si veo algún modelo derivado de este. ¿Estás pensando en algún tipo de fine tuning particular? ¿Tu propia base de código?
el 99 de capas, como lo elijes si tienes 8vram i 6 ram i quieres combinar? como se elige?
hola, excelente información
tengo una tarjeta gráfica de AMD la 6700xt, sabes si sera compatible este modelo con esa gpu? gracias !
Gracias por el interés! El soporte para las tarjetas AMD depende fundamentalmente del driver ROCm del propio fabricante. Inicialmente este driver sólo estaba disponible para Linux, pero poco a poco parece que el soporte va ampliandose a Windows también: www.amd.com/en/products/software/rocm.html
El programa llama.cpp que usa LM Studio para cargar los modelos tiene soporte para estos drivers desde agosto, aunque hasta donde se, el driver no está tan fino como el de NVidia.
Disculpa si mi pregunta es tonta pero es posible extender el número de tokens? ¿o de que depende eso?
Gracias por la pregunta. El número de tokens puede configurarse en el panel de configuración en LMStudio, dentro de la ventana de chat.
Este modelo se ha entrenado con fragmentos de código de hasta 16k tokens pero no he encontrado información sobre el tamaño recomendado de contexto para este modelo.
Respecto a que influencia tiene: al aumentar el contexto se reserva memoria adicional al inicializar el contexto. Por otra parte, según va aumentando el contexto, el tiempo de respuesta se vuelve más largo, siguiendo una progresión cuadrática. Así que para contextos muy largos puede tardar una eternidad.
El otro factor interesante a configurar es que hacer cuando se alcanza el límite de tokens. Cone LMStudio se le puede pedir que pare, como se ve en el vídeo. Pero también se puede configurar que siga generando, guardando el mensaje inicial y la primera respuesta. O que valla eliminado lo más antiguo. Según que caso puede interesar una estrategia u otra.
@@LaHoraMaker Muchas gracias.
se puede usar para otros lenguajes? Javascript?
Aparentemente sí. No tengo experiencia con el entorno, pero me ha generado sin problema un ejemplo de una implementación de quicksort en javascript en menos de un segundo...
Gracias por el feedback! En el video sólo muestro la generación de código Python, pero este modelo es multilenguaje. En el siguiete gráfico puedes ver el rendimiento del modelo con distintos lenguajes, funcionando mejor aquellos que tienen puntuación más alta: github.com/deepseek-ai/DeepSeek-Coder/raw/main/pictures/result.png
Las dos líneas del modelo se corresponden a los distintos tamaños del modelo que hay disponibles.
me toca marató n de videos, mucho por recuperar
Este vídeo es usando LM Studio en Windows. Tengo la versión de Ubuntu grabada también pero el rendimiento es entre seis y diez veces más lento con este modelo. He preguntado para ver si a más gente le pasa y estoy esperando respuesta. En breve, versión para Linux con Ollama y quizás Text Generation Webui (usando otro cargador, que con llama.cpp muere también!)