Una funcionalidad que siempre he pensado para un asistente virtual es que uno le diga algo del estilo: "enseñame sobre x" y este busque el contenido existente en la web y te de una especie de charla resumida sobre el tema. De pronto me imagino que el asistente googlee las 10 primera paginas del tema, tome el texto y se lo de a un GTP3 (u otro) para que te de los puntos más importantes del tema consultado.
En algún momento use los jars de loquendo con Java pero el reconocimiento de voz siempre fue el problema, ya le había echado el ojo a wisper para solucionar esos detalles, cuando lo probe hacía algunas búsquedas y decia lo primero que te daba el navegador, también te podia decía la ahora 😅 fue bastante divertido, con la IA esto será mas fácil 😍
@@AMPTech Sé que no te gustaría depender de OpenAI, pero con respecto a esto en relación al nuevo short que subiste. ¿No crees que ChatGPT podría ser una buena opción a integrarlo y que ayude con esta funcionalidad?
Justo en un inicio no me parecia tanto porque quita la dependencia local. Pero decidí que mejor si lo integro y lo contengo bien para que solo salgan a internet ciertas peticiones y no todo. Saludos!
Voy a estar muy atento a tu progreso. El algoritmo de RUclips, me leyó la mente dirigiéndome hacia tu video. Hace unos meces le estoy dando vuelta a una inquietud que se me ha sembrado. Conocí a una mujer muy mayor, que en los últimos años ha perdido la vista. Ella tiene 90 años y es escritora, y no logra adaptarse a las interfaces existentes para personas no videntes. Ella quiere recuperar la independencia para poder escribir sin necesidad de intervención de terceros. Toda la interfaces existentes que le pueden permitir a ella volver a redactar un texto, editarlo y archivarlo, exigen en algún punto que ella use braille y/o se familiarice con un teclado. Su edad avanzada le juega en contra para aprender esto último en un tiempo conveniente, pero su lucidez y su prosa está ahí intacta, solo que muda por el momento. Y bueno esa es mi idea. Espero con ansias tus próximos videos.
Hermano, que buen video, explicas super bien y muy claro; muchas gracias por el video, llevaba rato soñando con hacer algo así pero no tenia ni idea como podría hacerlo
Puedes usar SpeechRecognition del navegador, es lo que yo hice para tener voz a texto en tiempo real. Un browser super ligero corriendo en segundo plano que transcribe todo lo que escucha y si dejas de hablar todo ese texto lo manda al asistente core (Que puede ser en python) por una peticion http. Es muchisimo mas rapido y funcional. De esta manera te evitas cortar un comando si justo ocurre cuando se hizo el corte de los 10 segundos y capturas todo el texto y lo mandas a reconocer enseguida
Hola, soy odonlogo/dentista y un obstaculo o necesidad que me gustaría satisfacer con una IA para incluir a mi clinica es poder llenar el formulario (historia clinica) sin la necesidad de contaminar teclado o ratón, evitar el gasto guantes plasticos de transferencia para esta labor, asi poder llenar la historia clinica sentado desde la unidad odonlogica y no tener que interrumpir la consulta.
Me interesaría que generara, cada una hora, una imagen generada con algún modelo como Midjourney4, utilizando como input las frases que más se repitieron en los script transcritos. Así vas generando un album de fotos diario y puedes hacer retroalimentación diaria de tus emociones y vivencias.
Muy impresionado y emocionado! De ver cómo va tu proyecto Yo agregaría algo así como un psicólogo integrado", en los proyectos de la comunidad Jetson ví algo que, mientras navegabas con una cámara te decía que páginas te hacían sentir triste o enojado etc, yo agregaría una api para conectarte tu cel, y ver cuando te duermes y te despiertas y conforme a eso te valla preguntando si algo te afectó o así, estarte recordando que estudies ciertos temas de la escuela esto de reactive recall hablado, se me haría súper genial!
Se le puede agregar un motor con ruedas para hacerlo móvil y que cuide la casa o te acompañe como una mascota. Una especie como R2D2. Gracias por tu vídeo pues ya estoy matriculado con tu proyecto. Excelente trabajo 👍
@@AMPTech Pues, póngalo en práctica para el asistente virtual, en este curso (un axioma) y podriamos tener nuestro amiguito automata móvil simple con IA... Gracias por tu gran trabajo 🤩
Y si le pides al asistente cotizaciones de algun producto y luego te presente las mejores opciones... tecnicamente se me ocurre hacerle un scraping de varias fuentes, comparar el de menor valor y luego reponderte con los precios mas optimos. Saludos maestro!
Tienes dos proyectos open source bastante potentes, llamados Rhasspy y Mycroft para asistentes virtuales. Estaba deseando ver algún proyecto de asistente con Whisper y me parece un acierto. Quizá los otros dos proyectos te den una idea de cómo organizar parte de la estructura de tu asistente, o puedas implementar tus ideas en los ya existentes.
Gracias genio, estaba tratando de armar algo mucho mas simple, que era tener una ia en tu pc, para no comprar token y eso, como tenia una grafica amd no era compatible los modelos, ahora conseguí una nvidia y voy a instalar tu proyecto.
Estoy al pendienteeeeeeeeeeeeee del proyecto. A mi me gustaría que pudieras controlar las cosas sin hablar. Tipo, un gesto para activar, y luego otro gesto para ejecutar "subir volumen" por ejemplo.
excelente iniciativa, siempre he pensado eso que comentaste, serían mucho más útiles con la suficiente información personal pero darle todavia más datos personales a las empresas, no! , estaré atento a los siguientes videos
Saludos, se ve bastante prometedor tu proyecto y me uno para seguirlo. Existe vosk que también hace el trabajo de stt de forma offline, actualmente uso el modelo small de español y no me ha dado problemas mayores. Puedes pasarle un archivo de audio o utilizar el micrófono. Éxitos en tu proyecto.
Hola broo me gusta el proyecto mucho en lo personal la idea es mega genial lo que si te puedo sugerir es los comandos de respuesta despues de todo es un asistente debe de tener respues y creo que hay un proyecto que puede gustarte esta en el canal de Nate gentile en el cual hizo algo similar pero mas compacto y creo que eso se podria integrar muy bien al proyecto
Espero que vuela a parecer un asistente parecido al gran asistente jarvis, para manejar el computador dialogando con el, todavía los utilizo, pero sería genial si apareciera un asisten te personal con IA y no con comandos escritos elaborados, sería verdaderamente increíble y genial, gracias y gran éxito a su proyecto para el mejoramiento y bien de todos a los nuevo tiempo...
Bro, pregunta de curiosidad. Harás el proyecto open code? Me encantaría ver el repo con todo lo que haces y todos los avances. Excelente idea y estoy ansioso por ver los demás vídeos
Excelente! No sé qué tan viable sea usar más adelante una integración con ChatGPT en el proyecto, o tal vez si a ésa fecha, ya haya un modelo openSource que haga lo mismo que los que está haciendo OpenAI con GPT. Sería genial hacer eso!. Prácticamente se tendría una versión más cercana a Jarvis 😃
Lo que tengo en mi cabeza hace mucho tiempo es inventario automático. O sea, tú le muestras a la cámara o le dices qué vas a guardar dónde, y que la computadora lo recuerde. Y que después te pueda ayudar a buscarlo.
Es genial y super interesante. La solución de grabar en bloques de pocos segundos suena bien, pero imagino que no es lo ideal para un asistente virtual. Supongo que ya lo resolverás mas adelante. Te felicito y éxito con el proyecto!
Estas en lo correcto, no es ideal. Ahorita eso lo tengo para poder ir recopilando la mayor información posible. Pero despues lo que se tiene que hacer es programar un "wake word" como el clasico "Ok google" y una vez que se escucha la frase clave entonces el asistente virtual sabe que viene alguna petición. Eso lo estaré trabajando.
Me parece un proyecto increíble. Me suscribo y espero nuevos vídeos del tema! Estoy empezando a estudiar desarrollo de apps web, espero algún día ser capaz de hacer cosas como esta :)
Amigo, la verdad es que no entendí mucho de lo que hablabas, aun que creo y confió en que tu proyecto será muy bueno. No soy informático ni me dedico a eso pero es un mundillo que me gusta y me llama la atención espero ir viendo tu progreso y aún que esta muy bien solo te pido que no seas tan técnico y nos hables un poco mas terrenal jajaja pá que podamos entender todos saludos y VAMOS.
¡Estimado Alex!. Es en realidad un enorme placer el poder saludarte, he seguido muy de cerca tus implementaciones en tecnologías como Yolo, estaría muy genial si tu asistente hace uso de la detección de objetos en cualquiera de las versiones de Yolo y ayude al cuidado de los niños, me explico de mejor manera. Si determinas una zona de peligro como la cocina, podrías monitorear en tiempo real objetos que representen un peligro para la integridad física del niño, como un cuchillo, una ventana, una copa de vidrio, un tenedor, entre otros, y tu asistente podría notificar al tutor del niño la proximidad entre este objeto de peligro y su niño. Seguiré de cerca tu proyecto, en realidad llama mucho la atención, gracias por siempre compartir tus conocimientos!
Buen video, algunas sugerencias de seguridad para que llame al 📞911 y similar: 1. Que reconozca algunas *palabras clave* para cuando sea necesario llamar a la policía, *en silencio.* 2. Inclusive, que te pregunte si esta "todo bien" cuando detecte: intrusos, sismos, olor a gas, etc. 3. Los videos de seguridad, deberían subir a la nube rápidamente, cosa de evitar que te roben DVR con las pruebas. 4. La perfección es que los mic y cams estén ocultos, por seguridad, solo tú debes saber (créeme te servirá) Yo tengo cams en casa, no con IA, pero sí estoy con un sistema de "alerta temprana" por las dudas. Uso iSpy para grabar cuando hay movimientos y Scripts para subir a mi nube privada.
súper el video, me gustaría ver como agregarle una palabra clave para que se active y que además me dijera quién fue el que lo activo. Excelente esta seríe yo hace rato estaba buscando videos sobre este tema para crearme uno parecido para mi casa también.
Wooow amigo, en serio esta muy elaborado tú proyecto, una función que podrías agregar es decirle un destino, y te diga que horario es el mejor para salir, así como mejores rutas, o que puedas agendar a que necesitas llegar a cierta hora y el te programe todo.
Genial! Muy buen proyecto, enhorabuena. Es genial que esto salga en modelo abierto. La IA puede ayudar a los usuarios que quieren usar Linux. Linix es un sistema muy potente pero hay que saber y leer muchos códigos que cuesta mucho entender para los usuarios finales, sobre todo cuando hoy en día es todo tan cómodo como Android o IOS... Pienso que una interfaz de voz puede ayudar a que cualquiera pueda usar Linux, no tengo ni papa de Linux y de hecho cada año tiro la toalla cuando vuelvo a intentar hacer cosas en Linux porque me frustra la documentación infinita de cómo hacer las cosas que con interfaz tradicional ya están resueltas con un click... Por ejemplo, actualiza los Drivers, actualiza el repositorio o instala esta aplicación, configurar las opciones gráficas, ejecuta tal programa...
Por favor podrias compartirnos los presupuestos para comprar los materiales necesarios, enserio me parece muy interesante este proyecto. Nota: Que tál la funcionalidad de acceder a tus computadoras encenderlas o apagarlas por comandos de voz y puedas ejecutar aplicaciones o navegar en internet
Muy buenas ideas las que quieres poner en práctica y también la de los comentarios, yo creo que desde antes de que saliera whisper al público ya teníamos ideas relacionadas.. me gustaría que hicieras un modelo apegado a lo vas hacer pero con una Raspberry o una Jetson Nano.
Interesante encontrar la manera de hacer el chomp del archivo de audio durante los silencios para que las palabras al inicio y final no queden cortadas. Tal vez con dos procesos? Uno que tire el stream de audio a memoria y otro que vaya sacando los trozos, analizando los silencios y generando los archivos. Bonito bonito proyecto.
Justo estoy pensando en como hacer eso. En un inicio pensé que no iba a ser tan complicado, ha resultado ser un poco mas complicado de lo que pensé jaja.
Este proyecto es impresionante y me emociona mucho. Espero con ansias los demás videos. Si se incorporase un reconocimiento óptico de carácteres no sería lo más útil para el proyecto, pero me parece algo interesante a evaluar. Gracias por compartir este proyecto y los conocimientos que conlleva 😎😎😎
Estaria padre que se pudiera usar como jarvis, Es hacer varias partes de ese proceso, solo que lo que le agregaria seria un modulo wifi, una bateria, y un puerto sim para cargar internet y obvio hacerlo lo mas compacto posible y ultima pero no menos importante seria un audífono de conduccion osia.
Hola, es muy muy buen proyecto.... Lo veo complejo, pero si puede aprender mucho de esto. Por ahí, escuche.... Mira imagina que llevas IA a clases para que tome apuntes, luego se la pasas a otra que puedas chatear, y mas con las IA de voces. Podrias preguntar la información de la clase al asistente. Al principio me pareció mucho, luego he visto videos, creo que es interesante y posible. Saludos
Me parece un proyecto muy interesante, no tengo asistente virtual, y la razón es precisamente la fuga de información privada, así que seguiré con mucho interés tu proyecto. Saludos.
Buenas el proyecto me parece espectacular no depender de terceros, estoy en un proyecto donde tengo una raspberry pi en mi auto por el momento quiero controlar con la voz la miltimedia pero seria interesante controlar la alarma de vehciulo luces encendido camaras raderes a futuro, excelente contenido se aprecia mucho su trabajo.
Gran vídeo, ha sido una suerte encontrar este canal. Incluso sin tener ni idea de programación más o menos he podido montar algo con la explicación que has dado. Estoy trabajando en un proyecto para montar un animatronico con la capacidad de tener un asistente virtual instalado, entonces .... Sería posible, de alguna forma, incorporarlos cámaras para que pueda tener reconocimiento por imagen? Un saludo. Te has ganado un nuevo sub👍👍
increible!! gran video. Tengo un par de preguntas. 1º Se podría implementar una forma de visión por computadora para que con una cámara pueda detectar o clasificar objetos? 2º Se le podría meter algún tipo de text to speech? y si se puede, se le podría cambiar la voz? Siento mi ignorancia de antemano, soy nuevo en esto y realmente voy dando palos de ciego hasta encontrar la solución. Un saludo.
Algo que se me ocurre, que tal vez no es útil, pero si curioso xd, es que integres un cuadro con imágenes generadas por IA, por ejemplo: que tengas una especie de cuadro colgado en alguna pared de la casa (que va ser una pantalla) en el cual puedas plasmar lo que digas. Sería como decirle al asistente algo como "alexa, dibuja un caballo zombie en la luna en el cuadro de la sala" y que cambie xd
@@AMPTech Excelente! Yo he desarrollado uno, con la poca experiencia que tengo, con funcionalidades cómo, manipular google calendar, enviar mensajes a ciertos contactos, manipular archivos y programas del PC, algunas funciones específicas prediseñadas, reconocimiento facial y alarmas por si alguien se sienta frente a mi PC que no sea yo 😬. En resumen funciones cotidianas, y ahora estaba viendo para cambiarle la voz al asistente para usar las de Amazon, que durante un año es gratuita. La verdad el tema del asistente es un excelente Proyecto, sería interesante integrarle funciones de chatbott y que mediante el asistente converse con el usuario pueda reconocer los comandos sin necesidad de pasarle una palabra clave como Alexa, Ok Google, etc. Repito, con ansias de ver avanzar este proyecto y aprender en el proceso. Saludos!
Gracias por tus videos hermano, queria sabar si será posible que le incluyas una funcionalidad donde al pedirle que abra una hoja excel o check list (tipo lista de compras) y la Ai te vaya diciendo los puntos a chequear, tu le vayas diciendo cuando esta cada punto chequeado y la maquina le haga check a cada punto. Como si tuvieras a alguien dictandote la lista y tu diciendole cuando cada punto esta check y ella pase al siguiente punto. Gracias man.
Lo primero GRACIAS por tu canal, he aprendido mucho contigo y seguro seguire aprendiendo. 2º Seria interesante integrar un registador de listas. Ejemplo, si quieres hacer una lista de la compra que valla creando el archivo y luego pueda enviarte esa lista al telefono o al correo por ejemplo. O un contador de productos habituales en tu nevera, que avise cuando dicho producto baje de un stock determinado.
@@AMPTech Pues sin duda estaré en vilo con este proyecto, además de las complicaciones informáticas a ver como solventas el trabajo del hardware a baja temperatura, en principio eso es bueno para nosotros pero la contra es la condensación en las lentes... Estoy impaciente!
Que maravilla. Yo tengo un servidor viejo (xeon 5660) con truenas (que tiene plex, almacenamiento de películas, fotos familiares) . Sería genial poder integrar todo esto en el servidor.
Me atrevo a decir que algunas cosas serían mas sencillas en cualquier servidor con AMD/Intel. Como viste en el video, el trabajar con ARM a veces puede requerir un poco mas de trabajo. Saludos!
Super el proyecto, felicitaciones seria genial que se pueda configurar si tiene un negocio u oficina y genere un conteo de personas y envíe una alerta si tiene un tráfico más alto de lo habitual que sea un asistente para casa y negocio
Ya solo con lo que acabas de compartir, me acabas de ahorrar un montón de tiempo para traducir mis clases de Trading en inglés Sin duda te mereces un Super like y hasta más crack Saludos desde Colombia 🇨🇴
Video interesante, pero ¿Cuales son tus objetivos? ¿Qué quieres que haga tu asistente virtual? ¿Quieres que tenga conversaciones con tigo? ¿Que sirva de activador de dispositivos? ¿Que te permita llenar una base de datos con ideas espontaneas que tengas durante el día? ¿Qué planifique tu calendario? ¿Que encienda las luces de las habitaciones que detecte que hayan personas? Una lista con las cosas que tienes planeado sería interesante.
está!!! que permita llenar una hace de datos con ideas, pensamientos, sugerencias, frases, con el objetivo de darle un uso práctico y que nos sea de ayuda en casa, por para alguna fábrica o negoció
Hola Cesar. Buen punto! voy a documentarlo en un video o articulo. No entré en ese detalle porque quería ser breve, pero sería útil entrar en el detalle. Hay cosas que tengo ya muy bien definidas y otras que necesitaré probar primero para ver su utilidad. Saludos!
Hola soy nuevo por el canal, he visto ideas interesantes, aqui algunas cosas que me gustaria: 1. Asociar la vos con la persona de modo que pueda dar permisos de operacion y demas, de modo que si quiero agendar o guardar un mensaje sea solo yo quien pueda hacerlo y no mi hermana o sobrina(o el ladron). 2. Dar ordenes o lanzar preguntas a traves de whisper y que la respuesta se muestre en una pantalla, por ejemplo le digo mostrar agenda y que este me lo muestre en el tv o monitor. 3. Puedes dar mas opciones de dispositivos a usar, buscando el dispositivo mas barato o pequeño pero que funcione, por ejemplo para el modelo de whisper que usaste requeria X ram, pero tu dispositivo tenia mucho mas. Gracias y seguire al pendiente de como se desarrolla el proyecto.
me gustaría que... siempre he pensado si una IA, puede leer un archivo de google sheets, analizar los datos, interpretarlos o hacer forecastings basados en una pregunta, ejemplo, "¿El siguiente año cómo serán las ventas en el mes de Agosto?"
yo estaba haciendo un asistente y pensaba en usar whisper para que mi papá que tiene tendinitis deje de escribir tanto y un asistente así que lo ayude a redactar sus documentos mejor que la mayoría de estos programas sería genial, nunca se me ocurrió meterlo si en una máquina de esas, está cariñosa si (caro) pero pienso que puedo ahorrar para un agx ,🤞ojalá salga bien
Estoy creando un proyecto similiar con Pabbly y apenas voy conectando GPT-3. Puedes crear un flujo de trabajo conectado con Whatsapp y usar una conversacion como tu asistente personal y el pudiera interactuar con una tu agenda.
Soy más creativo que programador la verdad, así que no sé qué tan plausible sea hacer esto. Sin embargo, te daré ina idea de optimización que sería utilizar un sensor de movimiento donde esté ubicado el dispositivo con micrófono, para que sólo empiece a grabar cuando estés en la habitación respectiva, y se desactive cuando no haya movimiento en un tiempo, y por cierto, creo que apenas 10 segundos pueden terminar cortando algún comando (si encuentras otro modelo que lo haga en tiempo real sería increíble). En fin, es esto: Me gustaría ver integrado como asistente a un chatbot al estilo de ChatGPT o Lambda (pero omitiendo la parte en la que me miente para convencer), y es que más que un asistente virtual que solo atiende a comandos muy específicos que le indique previamente, me gustaría tener un "compañero" que me responda por voz de manera fluida, y aún así atienda a mis comandos cuando los reconozca, al mejor estilo de Jarvis en Iron Man... Entiendo que comprimir esto en un tiempo de respuesta bajo, y con recursos reducidos sería complejo, ya que además de Whisper, se necesitaría un generador de chatbot o el mismo ChatGPT, y un transformador de texto a voz (como los nuevos que han salido que pueden hasta representar emociones, Jarvis expresaba sarcasmo o leves tonos de preocupación). Quizás solo se pueda hacer una parte de esto, o qué aún se tenga que hacer en un equipo más potente para lograr una velocidad más óptima, pero sé que estamos más cerca de lograrlo.
A mí me pasa igual, vas a usar los modelos de Nvidia porque te prometen que en las jetson están optimizadisimos. Y después de días peleando, en foros y sin conseguir nada, al final lo tienes que dejar por alguna razón
Desde que salió whisper estoy trabajando en un proyecto muy parecido pero en windows. Tienes discord? Estaría bien intercambiar info con tu comunidad. GRACIAS POR TU VIDEO
Probablemente llego algo tarde pero vi en un video que un chico hace que cuando le tocan el timbre le llega un mensaje a wpp, estaria bueno implementar que el asistente te avise cuando te tocan timbre.
Hola me fascinó tu idea, me ofrezco como tú "becario" me gustaría mucho trabajar en un proyecto como este para aprender y me gustaría ayudarte en cualquier tipo de trabajo que ocupes respecto al proyecto, obvio sin fines de lucro, espero lo tomes en cuenta y mucho éxito yo sé que será un proyecto genial. 👌🏾
seria interesante integrarle una camara a la puerta de tu casa que te avise al telefono cuando alguien se acerca, un esp32 con camara deberia funcionar bien
seria muy bueno integrar todos los paquetes en un dispositivo portatil como un celular o un reloj, y asi para poder controlar todas las funciones mas facilmente
Podrias hacer un sofware que con visión artificial , busqueda de objetos, localización de estos, o acciones que hagan, pueda relatar la imagen o el video, tal como lo haria una persona que está observando la escena y diciéndoselo a una persona invidente.
Excelente esta sería de videos, me ha gustado mucho, pero tengo una duda, En este caso es necesario una Jetson AGX?, por que solo este dispositivo en Amazon cuesta 1990$
Hola, en mi caso me gustaría poder editarla para uso personal y acompañamiento en jornadas de trabajo, y configurar ciertas formulas para ayudar al calculo dentro de algun proceso establecido, como packing de frutos en las agroexportadoras o en cualquier fabrica
Muy interesante el video pero creo que has pasado de ambición, tendrías que haber mencionado al principio que esto solo es un proyecto divertido para entretener y no intentas hacer nada que vaya a ser funcional o que tenga sentido economico. Solamente la Jetson Orin cuesta 2000€, si le echas encima ahora el precio del resto de electronica simplemente el precio deja de tener sentido. Si fuese a correr sobre una Jetson Nano o NX pues aún tendría algo de sentido. Las estan pensadas para sistemas moviles donde el espacio y pesos cuentan mucho, si lo vas a tener en un rincón de la casa cualquier portatil o PC son mejores en potencia/precio y facilidad de desarrollo. Lo mas simple hubiese sido montar todo en un pc de sobremesa, y si te preocupa el tamaño que fuese ITX. Trabajo con Jetsons (y supongo que tu tambien) y te puedo decir que son el diablo, ARM y especialmente el ecosistema ARM de Jetpack te va a dar problemas por doquier. El soporte de Nvidia en los foros es bastante escaso y muchas veces desactualizado y fraccionado, llegando a haber soluciones que solo funcionan para un sistema version especifica de jetpack y placa. Y sobre el software que estás desarrollando, de momento el unico codigo que has escrito es para capturar audio y tengo que decir que es bastante pobre. Para hacerlo minimamente funcional y suponiendo que siempre va a correr en tiempo real deberias modificar el codigo de whisper para tener conexión directa con el microfono y procesar sin tener que pasar archivos intermedios y luego postprocesar los outputs para evitar terminar con frases cortadas. Eso o tener un modelo mas simple y rapido que te permita extraer frases del audio que luego puedan ser alimentadas a whisper. No te digo todo esto a malas, pero si planeas tener algo medianamente funcional en algun momento deberias replantearte mejor los primeros pasos porque si no vas a darte de bruces contra una pared una y otra vez.
Ya la idea mas loca pero costaria algo de dinero es que hicieran un reentreno de GTP-3 para decirle que X ordenes es igual a X instruccion para asi cuando metas el comando gpt-3 lo interprete ... esto serviria para tu en vez de hacer un if cuando diga encender {X} en home assitan encienda X, porque tu puede decir prende, enciende, activa, enchufa, y asi con muchas palabras , el cual gpt.3 podria aprender de tu lenguaje natural para asi si hacerlo bien y no poner un millon de if
Buena idea, creo que una manera de reducir costos de esta idea sería utilizar algún modelo como GPT-neo o GPT-J los cuales no requieren de pagar un API para hacer las inferencias.
![BAK Jay - Find Out (For Your Love) [Official Music Video]](http://i.ytimg.com/vi/10FJO_XBCvY/mqdefault.jpg)
Una funcionalidad que siempre he pensado para un asistente virtual es que uno le diga algo del estilo: "enseñame sobre x" y este busque el contenido existente en la web y te de una especie de charla resumida sobre el tema. De pronto me imagino que el asistente googlee las 10 primera paginas del tema, tome el texto y se lo de a un GTP3 (u otro) para que te de los puntos más importantes del tema consultado.
Suena muy bien. Voy a pensarlo con gpt j o gpt neo. Para no depender del API de open AI
Meta sacó algo parecido pero dirigido a cient´ficos, Galactica aunque ya la funaron solo después de 3 días de beta abierta xD
En algún momento use los jars de loquendo con Java pero el reconocimiento de voz siempre fue el problema, ya le había echado el ojo a wisper para solucionar esos detalles, cuando lo probe hacía algunas búsquedas y decia lo primero que te daba el navegador, también te podia decía la ahora 😅 fue bastante divertido, con la IA esto será mas fácil 😍
@@AMPTech Sé que no te gustaría depender de OpenAI, pero con respecto a esto en relación al nuevo short que subiste. ¿No crees que ChatGPT podría ser una buena opción a integrarlo y que ayude con esta funcionalidad?
Justo en un inicio no me parecia tanto porque quita la dependencia local. Pero decidí que mejor si lo integro y lo contengo bien para que solo salgan a internet ciertas peticiones y no todo.
Saludos!
Voy a estar muy atento a tu progreso. El algoritmo de RUclips, me leyó la mente dirigiéndome hacia tu video. Hace unos meces le estoy dando vuelta a una inquietud que se me ha sembrado. Conocí a una mujer muy mayor, que en los últimos años ha perdido la vista. Ella tiene 90 años y es escritora, y no logra adaptarse a las interfaces existentes para personas no videntes. Ella quiere recuperar la independencia para poder escribir sin necesidad de intervención de terceros. Toda la interfaces existentes que le pueden permitir a ella volver a redactar un texto, editarlo y archivarlo, exigen en algún punto que ella use braille y/o se familiarice con un teclado. Su edad avanzada le juega en contra para aprender esto último en un tiempo conveniente, pero su lucidez y su prosa está ahí intacta, solo que muda por el momento. Y bueno esa es mi idea. Espero con ansias tus próximos videos.
💪 Eres grande💪... Este es un gran proyecto. Ya estoy ansioso por ver cómo acaba
Gracias!
Hermano, que buen video, explicas super bien y muy claro; muchas gracias por el video, llevaba rato soñando con hacer algo así pero no tenia ni idea como podría hacerlo
Este es uno de los proyectos personales que tengo planeado hacer una vez entre en el mundo de la IA. Este video será de mucha ayuda!
Puedes usar SpeechRecognition del navegador, es lo que yo hice para tener voz a texto en tiempo real.
Un browser super ligero corriendo en segundo plano que transcribe todo lo que escucha y si dejas de hablar todo ese texto lo manda al asistente core (Que puede ser en python) por una peticion http. Es muchisimo mas rapido y funcional.
De esta manera te evitas cortar un comando si justo ocurre cuando se hizo el corte de los 10 segundos y capturas todo el texto y lo mandas a reconocer enseguida
Esto no requiere conexión a internet?
Pues mira, apenas he visto un minuto de tu video y ya me suscribí. Suerte en el proyecto, estaré atento a las actualizaciones
Hola, soy odonlogo/dentista y un obstaculo o necesidad que me gustaría satisfacer con una IA para incluir a mi clinica es poder llenar el formulario (historia clinica) sin la necesidad de contaminar teclado o ratón, evitar el gasto guantes plasticos de transferencia para esta labor, asi poder llenar la historia clinica sentado desde la unidad odonlogica y no tener que interrumpir la consulta.
Me interesaría que generara, cada una hora, una imagen generada con algún modelo como Midjourney4, utilizando como input las frases que más se repitieron en los script transcritos. Así vas generando un album de fotos diario y puedes hacer retroalimentación diaria de tus emociones y vivencias.
Muy impresionado y emocionado! De ver cómo va tu proyecto
Yo agregaría algo así como un psicólogo integrado", en los proyectos de la comunidad Jetson ví algo que, mientras navegabas con una cámara te decía que páginas te hacían sentir triste o enojado etc, yo agregaría una api para conectarte tu cel, y ver cuando te duermes y te despiertas y conforme a eso te valla preguntando si algo te afectó o así, estarte recordando que estudies ciertos temas de la escuela esto de reactive recall hablado, se me haría súper genial!
Se le puede agregar un motor con ruedas para hacerlo móvil y que cuide la casa o te acompañe como una mascota. Una especie como R2D2. Gracias por tu vídeo pues ya estoy matriculado con tu proyecto. Excelente trabajo 👍
Esa idea la tengo en mente desde hace unos años. Hasta me arme un carro de radio control y una cámara 3d.
@@AMPTech Pues, póngalo en práctica para el asistente virtual, en este curso (un axioma) y podriamos tener nuestro amiguito automata móvil simple con IA... Gracias por tu gran trabajo 🤩
Y si le pides al asistente cotizaciones de algun producto y luego te presente las mejores opciones... tecnicamente se me ocurre hacerle un scraping de varias fuentes, comparar el de menor valor y luego reponderte con los precios mas optimos. Saludos maestro!
Tienes dos proyectos open source bastante potentes, llamados Rhasspy y Mycroft para asistentes virtuales. Estaba deseando ver algún proyecto de asistente con Whisper y me parece un acierto. Quizá los otros dos proyectos te den una idea de cómo organizar parte de la estructura de tu asistente, o puedas implementar tus ideas en los ya existentes.
Que increible. Gracias por estos avances e investigaciónes que haces, ayudan full a la comunidad ❤
Gracias genio, estaba tratando de armar algo mucho mas simple, que era tener una ia en tu pc, para no comprar token y eso, como tenia una grafica amd no era compatible los modelos, ahora conseguí una nvidia y voy a instalar tu proyecto.
Estoy al pendienteeeeeeeeeeeeee del proyecto. A mi me gustaría que pudieras controlar las cosas sin hablar. Tipo, un gesto para activar, y luego otro gesto para ejecutar "subir volumen" por ejemplo.
excelente iniciativa, siempre he pensado eso que comentaste, serían mucho más útiles con la suficiente información personal pero darle todavia más datos personales a las empresas, no! , estaré atento a los siguientes videos
Gracias! Si, quiero dormir tranquilo sabiendo que solo mi servidor es el que procesa y almacena todos mis datos jaja.
Saludos, se ve bastante prometedor tu proyecto y me uno para seguirlo. Existe vosk que también hace el trabajo de stt de forma offline, actualmente uso el modelo small de español y no me ha dado problemas mayores. Puedes pasarle un archivo de audio o utilizar el micrófono. Éxitos en tu proyecto.
Hola Ramón, le voy a echar un ojo, ese no lo conozco. Muchas gracias!
Hola broo me gusta el proyecto mucho en lo personal la idea es mega genial lo que si te puedo sugerir es los comandos de respuesta despues de todo es un asistente debe de tener respues y creo que hay un proyecto que puede gustarte esta en el canal de Nate gentile en el cual hizo algo similar pero mas compacto y creo que eso se podria integrar muy bien al proyecto
Este proyecto es el más interesante que vi este año.
Espero que vuela a parecer un asistente parecido al gran asistente jarvis, para manejar el computador dialogando con el, todavía los utilizo, pero sería genial si apareciera un asisten te personal con IA y no con comandos escritos elaborados, sería verdaderamente increíble y genial, gracias y gran éxito a su proyecto para el mejoramiento y bien de todos a los nuevo tiempo...
Bro, pregunta de curiosidad.
Harás el proyecto open code? Me encantaría ver el repo con todo lo que haces y todos los avances.
Excelente idea y estoy ansioso por ver los demás vídeos
Excelente!
No sé qué tan viable sea usar más adelante una integración con ChatGPT en el proyecto, o tal vez si a ésa fecha, ya haya un modelo openSource que haga lo mismo que los que está haciendo OpenAI con GPT. Sería genial hacer eso!. Prácticamente se tendría una versión más cercana a Jarvis 😃
INCREÍBLE! Te deseo éxito en tu proyecto.
Tal vez a muchas personas les guste esto y pueda ser comercial :"D
Lo que tengo en mi cabeza hace mucho tiempo es inventario automático. O sea, tú le muestras a la cámara o le dices qué vas a guardar dónde, y que la computadora lo recuerde. Y que después te pueda ayudar a buscarlo.
Yo tengo 1, pero funciona por comando de voz, Creo que no necesitas hacer una IA para tener ese programa, saludos.
Es genial y super interesante. La solución de grabar en bloques de pocos segundos suena bien, pero imagino que no es lo ideal para un asistente virtual. Supongo que ya lo resolverás mas adelante. Te felicito y éxito con el proyecto!
Estas en lo correcto, no es ideal. Ahorita eso lo tengo para poder ir recopilando la mayor información posible. Pero despues lo que se tiene que hacer es programar un "wake word" como el clasico "Ok google" y una vez que se escucha la frase clave entonces el asistente virtual sabe que viene alguna petición.
Eso lo estaré trabajando.
Me parece un proyecto increíble. Me suscribo y espero nuevos vídeos del tema!
Estoy empezando a estudiar desarrollo de apps web, espero algún día ser capaz de hacer cosas como esta :)
me encante este nuevo proyecto, sige haci
ojala algun dia hacer my propio asistente virtual
Amigo, la verdad es que no entendí mucho de lo que hablabas, aun que creo y confió en que tu proyecto será muy bueno. No soy informático ni me dedico a eso pero es un mundillo que me gusta y me llama la atención espero ir viendo tu progreso y aún que esta muy bien solo te pido que no seas tan técnico y nos hables un poco mas terrenal jajaja pá que podamos entender todos saludos y VAMOS.
Gracias por el comentario Ivan!
¡Estimado Alex!. Es en realidad un enorme placer el poder saludarte, he seguido muy de cerca tus implementaciones en tecnologías como Yolo, estaría muy genial si tu asistente hace uso de la detección de objetos en cualquiera de las versiones de Yolo y ayude al cuidado de los niños, me explico de mejor manera. Si determinas una zona de peligro como la cocina, podrías monitorear en tiempo real objetos que representen un peligro para la integridad física del niño, como un cuchillo, una ventana, una copa de vidrio, un tenedor, entre otros, y tu asistente podría notificar al tutor del niño la proximidad entre este objeto de peligro y su niño.
Seguiré de cerca tu proyecto, en realidad llama mucho la atención, gracias por siempre compartir tus conocimientos!
Buen video, algunas sugerencias de seguridad para que llame al 📞911 y similar:
1. Que reconozca algunas *palabras clave* para cuando sea necesario llamar a la policía, *en silencio.*
2. Inclusive, que te pregunte si esta "todo bien" cuando detecte: intrusos, sismos, olor a gas, etc.
3. Los videos de seguridad, deberían subir a la nube rápidamente, cosa de evitar que te roben DVR con las pruebas.
4. La perfección es que los mic y cams estén ocultos, por seguridad, solo tú debes saber (créeme te servirá)
Yo tengo cams en casa, no con IA, pero sí estoy con un sistema de "alerta temprana" por las dudas. Uso iSpy para grabar cuando hay movimientos y Scripts para subir a mi nube privada.
Inclusive, *mirar* a una cámara puntual, podría ser el "disparador", no hay que limitarse al comando de voz.
súper el video, me gustaría ver como agregarle una palabra clave para que se active y que además me dijera quién fue el que lo activo. Excelente esta seríe yo hace rato estaba buscando videos sobre este tema para crearme uno parecido para mi casa también.
Gracias Juan! Si justo la “wake word” es una de las siguientes cosas
Wooow amigo, en serio esta muy elaborado tú proyecto, una función que podrías agregar es decirle un destino, y te diga que horario es el mejor para salir, así como mejores rutas, o que puedas agendar a que necesitas llegar a cierta hora y el te programe todo.
Genial! Muy buen proyecto, enhorabuena. Es genial que esto salga en modelo abierto.
La IA puede ayudar a los usuarios que quieren usar Linux. Linix es un sistema muy potente pero hay que saber y leer muchos códigos que cuesta mucho entender para los usuarios finales, sobre todo cuando hoy en día es todo tan cómodo como Android o IOS... Pienso que una interfaz de voz puede ayudar a que cualquiera pueda usar Linux, no tengo ni papa de Linux y de hecho cada año tiro la toalla cuando vuelvo a intentar hacer cosas en Linux porque me frustra la documentación infinita de cómo hacer las cosas que con interfaz tradicional ya están resueltas con un click...
Por ejemplo, actualiza los Drivers, actualiza el repositorio o instala esta aplicación, configurar las opciones gráficas, ejecuta tal programa...
Por favor podrias compartirnos los presupuestos para comprar los materiales necesarios, enserio me parece muy interesante este proyecto.
Nota: Que tál la funcionalidad de acceder a tus computadoras encenderlas o apagarlas por comandos de voz y puedas ejecutar aplicaciones o navegar en internet
Muy buenas ideas las que quieres poner en práctica y también la de los comentarios, yo creo que desde antes de que saliera whisper al público ya teníamos ideas relacionadas.. me gustaría que hicieras un modelo apegado a lo vas hacer pero con una Raspberry o una Jetson Nano.
Este asistente virtual lo tengo pensado corriendo en varios dispositivos. Entonces también adaptare algunas cosas ara RPi o Jetson Nano
Interesante encontrar la manera de hacer el chomp del archivo de audio durante los silencios para que las palabras al inicio y final no queden cortadas. Tal vez con dos procesos? Uno que tire el stream de audio a memoria y otro que vaya sacando los trozos, analizando los silencios y generando los archivos. Bonito bonito proyecto.
Justo estoy pensando en como hacer eso. En un inicio pensé que no iba a ser tan complicado, ha resultado ser un poco mas complicado de lo que pensé jaja.
Encontré este video justo cuando estaba pensando en crear un proyecto asi. Te felicito por tu contenido.
Este proyecto es impresionante y me emociona mucho. Espero con ansias los demás videos.
Si se incorporase un reconocimiento óptico de carácteres no sería lo más útil para el proyecto, pero me parece algo interesante a evaluar.
Gracias por compartir este proyecto y los conocimientos que conlleva 😎😎😎
Bua, estp si quiero ver como va avanzando. Ánimos y muchos éxitos!
Estaria padre que se pudiera usar como jarvis, Es hacer varias partes de ese proceso, solo que lo que le agregaria seria un modulo wifi, una bateria, y un puerto sim para cargar internet y obvio hacerlo lo mas compacto posible y ultima pero no menos importante seria un audífono de conduccion osia.
No se me había ocurrido algo con audífonos de conducción ósea. Me parece muy buena idea!
Hola, es muy muy buen proyecto.... Lo veo complejo, pero si puede aprender mucho de esto. Por ahí, escuche.... Mira imagina que llevas IA a clases para que tome apuntes, luego se la pasas a otra que puedas chatear, y mas con las IA de voces. Podrias preguntar la información de la clase al asistente. Al principio me pareció mucho, luego he visto videos, creo que es interesante y posible.
Saludos
Impresionante! Me quede con ganas de ver los videos que siguen.
Me ha resultado muy interesante tu vídeo y ha despertado mi curiosidad. Mucho animo
Muchas gracias!
Me parece un proyecto muy interesante, no tengo asistente virtual, y la razón es precisamente la fuga de información privada, así que seguiré con mucho interés tu proyecto.
Saludos.
Yo conozco uno que es 100% privado
@@miguelalejandroulloaacampo2062 a cual te refieres?
@@gibra537 el mío! busca asistente virtual ion. su reconocimiento de voz es creado por nosotros y usamos llama 2 para el npl ,
Muy buen video y la forma de explicar lo que estas haciendo es muy clara. Atento ahora a tus videos
Muchas gracias! Justo estoy buscando ser claro con la explicación pero que también sea contenido ameno.
Buenas el proyecto me parece espectacular no depender de terceros, estoy en un proyecto donde tengo una raspberry pi en mi auto por el momento quiero controlar con la voz la miltimedia pero seria interesante controlar la alarma de vehciulo luces encendido camaras raderes a futuro, excelente contenido se aprecia mucho su trabajo.
Me encanta este proyecto, espero que sigas avanzando!!
Muchas gracias! Lo siguiente será el modelo para procesar las palabras que "despiertan" al asistente. Similar al famoso "ok google"
Saludos, explicas muy bien y el proyecto se ve muy interesante
Muchas gracias!
Gran vídeo, ha sido una suerte encontrar este canal. Incluso sin tener ni idea de programación más o menos he podido montar algo con la explicación que has dado. Estoy trabajando en un proyecto para montar un animatronico con la capacidad de tener un asistente virtual instalado, entonces .... Sería posible, de alguna forma, incorporarlos cámaras para que pueda tener reconocimiento por imagen? Un saludo.
Te has ganado un nuevo sub👍👍
increible!! gran video. Tengo un par de preguntas.
1º Se podría implementar una forma de visión por computadora para que con una cámara pueda detectar o clasificar objetos?
2º Se le podría meter algún tipo de text to speech? y si se puede, se le podría cambiar la voz?
Siento mi ignorancia de antemano, soy nuevo en esto y realmente voy dando palos de ciego hasta encontrar la solución.
Un saludo.
Algo que se me ocurre, que tal vez no es útil, pero si curioso xd, es que integres un cuadro con imágenes generadas por IA, por ejemplo: que tengas una especie de cuadro colgado en alguna pared de la casa (que va ser una pantalla) en el cual puedas plasmar lo que digas. Sería como decirle al asistente algo como "alexa, dibuja un caballo zombie en la luna en el cuadro de la sala" y que cambie xd
Excelente Proyecto!
Esperando con ansias lo que se viene 💪🔥
Gracias! Vienen varios videos porque cada vez se me ocurren mas funcionalidades jaja
@@AMPTech Excelente! Yo he desarrollado uno, con la poca experiencia que tengo, con funcionalidades cómo, manipular google calendar, enviar mensajes a ciertos contactos, manipular archivos y programas del PC, algunas funciones específicas prediseñadas, reconocimiento facial y alarmas por si alguien se sienta frente a mi PC que no sea yo 😬. En resumen funciones cotidianas, y ahora estaba viendo para cambiarle la voz al asistente para usar las de Amazon, que durante un año es gratuita. La verdad el tema del asistente es un excelente Proyecto, sería interesante integrarle funciones de chatbott y que mediante el asistente converse con el usuario pueda reconocer los comandos sin necesidad de pasarle una palabra clave como Alexa, Ok Google, etc.
Repito, con ansias de ver avanzar este proyecto y aprender en el proceso. Saludos!
@@rodrigol.9128Lo corres desde tu PC ?
Gracias por tus videos hermano, queria sabar si será posible que le incluyas una funcionalidad donde al pedirle que abra una hoja excel o check list (tipo lista de compras) y la Ai te vaya diciendo los puntos a chequear, tu le vayas diciendo cuando esta cada punto chequeado y la maquina le haga check a cada punto. Como si tuvieras a alguien dictandote la lista y tu diciendole cuando cada punto esta check y ella pase al siguiente punto. Gracias man.
Muy buen proyecto, te felicito inspiras a otros
Muchas gracias Fabián!
genial! seria genial un sensor de movimiento con camara y que el el asistente virtual haga la acción al reconocer el gesto
Joder, justo lo que queria hacer, nuevo sub
Buena coincinendia!
pdt mucho mucho éxito man
Justo lo que estabas buscando. ❤️
Lo primero GRACIAS por tu canal, he aprendido mucho contigo y seguro seguire aprendiendo. 2º Seria interesante integrar un registador de listas. Ejemplo, si quieres hacer una lista de la compra que valla creando el archivo y luego pueda enviarte esa lista al telefono o al correo por ejemplo. O un contador de productos habituales en tu nevera, que avise cuando dicho producto baje de un stock determinado.
Hola, Muy buena idea, el contador de productos en mi nevera es justo como nació la idea este proyecto. Sin duda alguna voy a integrarlo.
@@AMPTech Pues sin duda estaré en vilo con este proyecto, además de las complicaciones informáticas a ver como solventas el trabajo del hardware a baja temperatura, en principio eso es bueno para nosotros pero la contra es la condensación en las lentes...
Estoy impaciente!
Que maravilla. Yo tengo un servidor viejo (xeon 5660) con truenas (que tiene plex, almacenamiento de películas, fotos familiares) . Sería genial poder integrar todo esto en el servidor.
Me atrevo a decir que algunas cosas serían mas sencillas en cualquier servidor con AMD/Intel. Como viste en el video, el trabajar con ARM a veces puede requerir un poco mas de trabajo.
Saludos!
Super el proyecto, felicitaciones seria genial que se pueda configurar si tiene un negocio u oficina y genere un conteo de personas y envíe una alerta si tiene un tráfico más alto de lo habitual que sea un asistente para casa y negocio
Eso es buena ideaa lo implementare en el mio.
Muy interesante el proyecto, esperando la segunda parte ⌛
Ya solo con lo que acabas de compartir, me acabas de ahorrar un montón de tiempo para traducir mis clases de Trading en inglés
Sin duda te mereces un Super like y hasta más crack
Saludos desde Colombia 🇨🇴
Hola Andres. Que bueno que te sirvió! Saludos
Excelente
Gracias!!!, el futuro es ahora!!!, es muy motivante!
Me da mucho gusto! A ver como va saliendo!
Me gusta esto! vamos a darle seguimiento
Saludos!
Tu canal es oro, contenido super interesante
También soy programador, acabo de poner mi servidor para los mismos propósitos!
Hola Jorge!
Muy divertido montar tu propio servidor no? He aprendido un montón y aparte es super útil.
Saludos
Esta como genial voy a ver la serie
Gracias! Ahi si se te ocurren ideas avisame para ponerlas en la lista de posibles upgrades.
Saludos!
Video interesante, pero ¿Cuales son tus objetivos? ¿Qué quieres que haga tu asistente virtual? ¿Quieres que tenga conversaciones con tigo? ¿Que sirva de activador de dispositivos? ¿Que te permita llenar una base de datos con ideas espontaneas que tengas durante el día? ¿Qué planifique tu calendario? ¿Que encienda las luces de las habitaciones que detecte que hayan personas? Una lista con las cosas que tienes planeado sería interesante.
está!!! que permita llenar una hace de datos con ideas, pensamientos, sugerencias, frases, con el objetivo de darle un uso práctico y que nos sea de ayuda en casa, por para alguna fábrica o negoció
Hola Cesar.
Buen punto! voy a documentarlo en un video o articulo. No entré en ese detalle porque quería ser breve, pero sería útil entrar en el detalle. Hay cosas que tengo ya muy bien definidas y otras que necesitaré probar primero para ver su utilidad.
Saludos!
Espectacular 💯💯💯
Hola soy nuevo por el canal, he visto ideas interesantes, aqui algunas cosas que me gustaria:
1. Asociar la vos con la persona de modo que pueda dar permisos de operacion y demas, de modo que si quiero agendar o guardar un mensaje sea solo yo quien pueda hacerlo y no mi hermana o sobrina(o el ladron).
2. Dar ordenes o lanzar preguntas a traves de whisper y que la respuesta se muestre en una pantalla, por ejemplo le digo mostrar agenda y que este me lo muestre en el tv o monitor.
3. Puedes dar mas opciones de dispositivos a usar, buscando el dispositivo mas barato o pequeño pero que funcione, por ejemplo para el modelo de whisper que usaste requeria X ram, pero tu dispositivo tenia mucho mas.
Gracias y seguire al pendiente de como se desarrolla el proyecto.
me gustaría que... siempre he pensado si una IA, puede leer un archivo de google sheets, analizar los datos, interpretarlos o hacer forecastings basados en una pregunta, ejemplo, "¿El siguiente año cómo serán las ventas en el mes de Agosto?"
Esperamos la segunda parte
Gracias por compartir, me gustaria que al final del desarrollo la podamos utilizar y cada quien ponerle un nombre al asistente, digo para el uso.
Justo ando viendo eso porque no me he decidido en que nombre ponerle, asi que mejor que pueda ponerle el que sea jaja
Simplemente WOW
Me gustaria ver como queda finalizado este super proyecto
Acabo de publicar una actualización. Todavía falta mucho para tener algo final, pero se esta avanzando!
Saludos
Excelente proyecto !!!
yo estaba haciendo un asistente y pensaba en usar whisper para que mi papá que tiene tendinitis deje de escribir tanto y un asistente así que lo ayude a redactar sus documentos mejor que la mayoría de estos programas sería genial, nunca se me ocurrió meterlo si en una máquina de esas, está cariñosa si (caro) pero pienso que puedo ahorrar para un agx ,🤞ojalá salga bien
me suscribo para ver la continuación del provecto
Estoy creando un proyecto similiar con Pabbly y apenas voy conectando GPT-3. Puedes crear un flujo de trabajo conectado con Whatsapp y usar una conversacion como tu asistente personal y el pudiera interactuar con una tu agenda.
Proyecto super interesante, gracias
Soy más creativo que programador la verdad, así que no sé qué tan plausible sea hacer esto. Sin embargo, te daré ina idea de optimización que sería utilizar un sensor de movimiento donde esté ubicado el dispositivo con micrófono, para que sólo empiece a grabar cuando estés en la habitación respectiva, y se desactive cuando no haya movimiento en un tiempo, y por cierto, creo que apenas 10 segundos pueden terminar cortando algún comando (si encuentras otro modelo que lo haga en tiempo real sería increíble).
En fin, es esto:
Me gustaría ver integrado como asistente a un chatbot al estilo de ChatGPT o Lambda (pero omitiendo la parte en la que me miente para convencer), y es que más que un asistente virtual que solo atiende a comandos muy específicos que le indique previamente, me gustaría tener un "compañero" que me responda por voz de manera fluida, y aún así atienda a mis comandos cuando los reconozca, al mejor estilo de Jarvis en Iron Man... Entiendo que comprimir esto en un tiempo de respuesta bajo, y con recursos reducidos sería complejo, ya que además de Whisper, se necesitaría un generador de chatbot o el mismo ChatGPT, y un transformador de texto a voz (como los nuevos que han salido que pueden hasta representar emociones, Jarvis expresaba sarcasmo o leves tonos de preocupación). Quizás solo se pueda hacer una parte de esto, o qué aún se tenga que hacer en un equipo más potente para lograr una velocidad más óptima, pero sé que estamos más cerca de lograrlo.
Esa visión final suena genial. Será cuestión de ir viendo como salen los modulos actuales e irlo mejorando poco a poco.
Para los dispositivos Jetson se usa nvidia nemo
A mí me pasa igual, vas a usar los modelos de Nvidia porque te prometen que en las jetson están optimizadisimos. Y después de días peleando, en foros y sin conseguir nada, al final lo tienes que dejar por alguna razón
También he visto cosas similares con deepstream. Espero eventualmente poder correr riva en ARM
@@AMPTech yo poco a poco voy aprendiendo a usar deepstream, a base de golpes. Espero aprender más y poderte ayudar
@@MaximoFernandezNunez Estas utilizando la versiòn c++ o python?
@@MULIG4N Python
Ya me imagino tener mi propia Asistente iA para hacer tareas y la universidad. Es la compañera que siempre te recuerda las cosas. ¿Sería posible?
Desde que salió whisper estoy trabajando en un proyecto muy parecido pero en windows. Tienes discord? Estaría bien intercambiar info con tu comunidad. GRACIAS POR TU VIDEO
Probablemente llego algo tarde pero vi en un video que un chico hace que cuando le tocan el timbre le llega un mensaje a wpp, estaria bueno implementar que el asistente te avise cuando te tocan timbre.
Algo que estaría faltando es la interacción como plataforma, enviar el audio desde el lado del cliente al servidor.
Hola me fascinó tu idea, me ofrezco como tú "becario" me gustaría mucho trabajar en un proyecto como este para aprender y me gustaría ayudarte en cualquier tipo de trabajo que ocupes respecto al proyecto, obvio sin fines de lucro, espero lo tomes en cuenta y mucho éxito yo sé que será un proyecto genial. 👌🏾
seria interesante integrarle una camara a la puerta de tu casa que te avise al telefono cuando alguien se acerca, un esp32 con camara deberia funcionar bien
Una funcionalidad que sería útil es el reconocimiento e identificacion de personas, para ver si alguien esta esperando a la entrada de casa dar aviso
seria muy bueno integrar todos los paquetes en un dispositivo portatil como un celular o un reloj, y asi para poder controlar todas las funciones mas facilmente
Podrias hacer un sofware que con visión artificial , busqueda de objetos, localización de estos, o acciones que hagan, pueda relatar la imagen o el video, tal como lo haria una persona que está observando la escena y diciéndoselo a una persona invidente.
Excelente esta sería de videos, me ha gustado mucho, pero tengo una duda, En este caso es necesario una Jetson AGX?, por que solo este dispositivo en Amazon cuesta 1990$
Hola, lo que se me ocurre es añadir sensores de movimiento para que sepa cuándo entras o sales.
Supongo que ya lo abran mencionado, pero creo k una de las integraciones más necesarias es la de calendario y tareas (google estaria genial)
Hola, en mi caso me gustaría poder editarla para uso personal y acompañamiento en jornadas de trabajo, y configurar ciertas formulas para ayudar al calculo dentro de algun proceso establecido, como packing de frutos en las agroexportadoras o en cualquier fabrica
Muy interesante el video pero creo que has pasado de ambición, tendrías que haber mencionado al principio que esto solo es un proyecto divertido para entretener y no intentas hacer nada que vaya a ser funcional o que tenga sentido economico. Solamente la Jetson Orin cuesta 2000€, si le echas encima ahora el precio del resto de electronica simplemente el precio deja de tener sentido. Si fuese a correr sobre una Jetson Nano o NX pues aún tendría algo de sentido. Las estan pensadas para sistemas moviles donde el espacio y pesos cuentan mucho, si lo vas a tener en un rincón de la casa cualquier portatil o PC son mejores en potencia/precio y facilidad de desarrollo.
Lo mas simple hubiese sido montar todo en un pc de sobremesa, y si te preocupa el tamaño que fuese ITX. Trabajo con Jetsons (y supongo que tu tambien) y te puedo decir que son el diablo, ARM y especialmente el ecosistema ARM de Jetpack te va a dar problemas por doquier. El soporte de Nvidia en los foros es bastante escaso y muchas veces desactualizado y fraccionado, llegando a haber soluciones que solo funcionan para un sistema version especifica de jetpack y placa.
Y sobre el software que estás desarrollando, de momento el unico codigo que has escrito es para capturar audio y tengo que decir que es bastante pobre. Para hacerlo minimamente funcional y suponiendo que siempre va a correr en tiempo real deberias modificar el codigo de whisper para tener conexión directa con el microfono y procesar sin tener que pasar archivos intermedios y luego postprocesar los outputs para evitar terminar con frases cortadas. Eso o tener un modelo mas simple y rapido que te permita extraer frases del audio que luego puedan ser alimentadas a whisper.
No te digo todo esto a malas, pero si planeas tener algo medianamente funcional en algun momento deberias replantearte mejor los primeros pasos porque si no vas a darte de bruces contra una pared una y otra vez.
Ya la idea mas loca pero costaria algo de dinero es que hicieran un reentreno de GTP-3 para decirle que X ordenes es igual a X instruccion para asi cuando metas el comando gpt-3 lo interprete ... esto serviria para tu en vez de hacer un if cuando diga encender {X} en home assitan encienda X, porque tu puede decir prende, enciende, activa, enchufa, y asi con muchas palabras , el cual gpt.3 podria aprender de tu lenguaje natural para asi si hacerlo bien y no poner un millon de if
Buena idea, creo que una manera de reducir costos de esta idea sería utilizar algún modelo como GPT-neo o GPT-J los cuales no requieren de pagar un API para hacer las inferencias.