Me encantó el video esto era lo que estaba buscando paso a paso como se limpia un csv, porque en otro canales explican de forman muy distintas y no entendia el orden de como limpiar
Te quiero agradecer por tu excelente trabajo. Estoy estudiando ciencia de datos y claramente la limpieza y el análisis es lo que mas tiempo te lleva en un proyecto. Este video lo explica de forma muy clara en sencillos pasos. Seguramente cada dataset tiene su vuelta jaja, pero me ayudaste mucho. Te mando un abzo desde Arg!
@@codificandobits Tengo algunas dudas. Primero se debe realizar un análisis exploratorio y luego la limpieza? o al revés? Y la otra duda es si esta limpieza aplica a todos los dataset. Muchas gracias y perdón las molestias! 😅
Me encanto!!! Muchisimas gracias, estoy haciendo un curso/carrera de ciencia de datos, pero la verdad es que es pura teoria pero casi nada de practica y estoy muy perdida. Te re agradezco y se entendio todo perfectamente. Muchas bendiciones. Saludos.
1 año y 7 días de que salió este video. Tremendo su valor... (ojalá así explicaran en la escuela en la que estoy inscrito). Solo para agregar aunque sea un poco, creo que en la columna 'contact' también pudieron unificarse "cellular" con "mobile". Espero pronto unirme a tu academia en línea. Muchas gracias.
Buenísimo. Fui realizando el paso a paso mientras explicabas. Quedo atenta a tus vídeos en caso de que haya una continuación para la siguiente etapa del análisis! Gracias!
Muy buen tutorial, lo único que le agregaría sería la lógica de algunas variables, por ejemplo, la variable día aparece como variable numérica, cuando en verdad debería ser una variable categórica. Para los que están empezando, algo que me funcionó en su momento, era pensar si tenía lógica el promedio de esa variable, de modo que si no tiene lógica utilizar el promedio, pues es porque no tiene sentido utilizarla como númerica. También hay que poner cuidado con esto al modelar, ya que internamente le están dando más relevancia a unas categorías con respecto a otras.
Qué buena pregunta Silvana. Creo que no podría asegurar que en todos los casos primero va la limpieza y luego el análisis. A veces durante el análisis exploratorio nos podemos dar cuenta que debemos continuar limpiando los datos para poder luego analizarlos. Todo depende en últimas de las características particulares que tenga cada set de datos.
Excelente video Miguel! sigue trayendo más contenido con la manipulación y análisis de datos :)). Por cierto, en que parte está el notebook de colab que dijiste que estaba en la descripción?
Hola Mitchel gracias por el comentario. Sí, en un próximo video veremos el análisis exploratorio de este set de datos. Y en la descripción del video encuentras el enlace al notebook + dataset. ¡Un saludo!
Excelente video, me ha ayudado mucho. Me queda una duda de si al final de las unificaciones de valores de las columnas tiene sentido revisar nuevamente los duplicados, ya que podía haber filas consideraras distintas pero luego de la unificacion (Por ej: ukn a unknown) quedaron como iguales.
31:17 esta notacion me afecta valores en otras columnas. Ese valor con el que corrijo el erroneo se me agrega como valor en todas las columnas del df con la cantidad de veces que se cumple esa condicion. Me puede brindar luz al respecto?
una pregunta, cuando utilizo esta forma de reemplazar: data[data['contact']=='phone'] = 'telephone' me termina convirtiendo todas las columnas en obectj, que sera lo que estare haciendo mal? con .str.replace no tengo ese mismo problema
Hola Julián. El resultado que indicas es el esperado, pues "telephone" es una variable tipo string que en Pandas se representa precisamente con el tipo de dato "object". ¿Qué tipo de dato obtienes al usar "str.replace"?
Marlon es una pregunta muy difícil de responder sin conocer los detalles. Pero de forma general deberías tener en cuenta: 1) ¿Qué problema quieres resolver? 2) ¿Que producto/resultado final esperas tener una vez resuelto el problema? Teniendo claras las respuestas a estas dos preguntas debes determinar si tu set de datos tiene las características que corresponden a las respuestas que acabas de dar. Como te digo, es una respuesta muy genérica. Si me das más detalles te puedo orientar mejor.
@@codificandobits Buenas noches estimado profesor, gracias por la respuesta, soy novato en el tema de machine learning, pero ahora me encuentro trabajando en un proyecto referente al ancho de banda, he encontrado un par de datasets, pero aún no se si sean los adecuados para el proyecto que le comento. ¿Tendrá alguna otra red social dónde contactarlo, para que me brinde un par de consejos?
Gracias por compartir su conocimiento. Cuando se usa regex=True en la siguiente linea de código? data['job'] = data['job'].str.replace('admin.','administrative', regex=False)
Hola muchas gracias por tus contenidos! Pregunta: es necesario limpiar y paramétrizar el Dataset, previo a la decisión de algoritmos de ML para optimizar la evaluación? O como sugieres proceder?
Hola Profe excelente video, solo tengo una duda. 1. Que pasaria si en la parte de subniveles uno tiene muchos de estos, en este caso en el video teniamos 10, 8, 5 etc.. pero si hablamos ya de 10.000, 8.000, 50.000 subniveles el histograma saldria tan grande que quizas daria la misma, ¿Cómo se manejaria en ese caso?
Hola y qué buena pregunta. En este caso existen varias alternativas (aunque al final todo dependerá de las particularidades de tu set de datos y del problema que quieras resolver). Por ejemplo podrías implementar técnicas de reducción (es decir eliminar algunos subniveles que no contengan muchos datos) o de agrupamiento (clustering). O usar el histograma para ver cuáles de estos subniveles son menos frecuentes y (si el problema lo permite) eliminarlos, o también podrías considerar técnicas de "cross-tabulation". De nuevo, es necesario conocer en detalle el problema a resolver y el set de datos para determinar el camino que resultaría más adecuado. Un saludo!
22:50 En estos casos no deberíamos primero asegurarnos de que son pocos los datos que vamos a borrar? O almacenarlos en otro DataFrame temporal? Porque si borro por accidente demasiados datos ya valí vrga no? ajaj
Hola! de verdad espero me puedas ayudar, soy nuevo en todo esto. Si por ejemplo de la columna age, yo quisiera solo ver la información de los que tienen 50 años, pero manteniendo el resto de información referente a esas personas con esa edad en particular, cómo lo puedo hacer? la verdad que por más que trato de pensar como hacerlo no encuentro la solución. Te agradecería mucho la ayuda!
Tengo una duda en qué área está o que perfil tiene porque en la unam e ipn la manejan como ciencias físico matemáticas que debemos de saber matemáticas ciencias de la computación estadística y conocimiento del negocio en qué perfil está porque unos me dicen que es físico matemáticas otros que es tecnológica que perfil tiene en realidad esa es mi inquietud
🔥🔥Academia Online: codificandobits.com/ 🔥🔥
🔥🔥Asesorías y formación personalizada: codificandobits.com/servicios/ 🔥🔥
Manual de cómo hacer un videotutorial de ciencia de datos. Este contenido tan explícito y práctico no se encuentra fácilmente.
Este video es oro para mí. Muchas gracias por compartir tu conocimiento de una forma tan sencilla y entendible!
Me encantó el video esto era lo que estaba buscando paso a paso como se limpia un csv, porque en otro canales explican de forman muy distintas y no entendia el orden de como limpiar
Magnífico que expliques detalladamente todo el proceso de principio a fin. Gracias por el video
Te amo viejo, eres un crack, excelente explicación
Genial video tutorial. Muchas gracias por compartir
Muchas gracias Profe, me ayudo muchisimo!
Te quiero agradecer por tu excelente trabajo. Estoy estudiando ciencia de datos y claramente la limpieza y el análisis es lo que mas tiempo te lleva en un proyecto. Este video lo explica de forma muy clara en sencillos pasos. Seguramente cada dataset tiene su vuelta jaja, pero me ayudaste mucho. Te mando un abzo desde Arg!
Muchas gracias por tu comentario Tomás y un gran abrazo desde Colombia!
@@codificandobits Tengo algunas dudas. Primero se debe realizar un análisis exploratorio y luego la limpieza? o al revés? Y la otra duda es si esta limpieza aplica a todos los dataset. Muchas gracias y perdón las molestias! 😅
@@tomasscopelliti9362 misma duda !
Que espectacular. Es para ver diez veces y asimilar como conocimiento. Muchísimas gracias
Excelente explicación, me aportó mucho. Corregí e implementé varias líneas de código que clarificaron mi df y mis objetivos.
El siguiente video se ve prometedor!!!! Gracias!!!!
Eres un profesor increible, muchas gracias por compartirnos todo lo que sabes!
Me encanto!!! Muchisimas gracias, estoy haciendo un curso/carrera de ciencia de datos, pero la verdad es que es pura teoria pero casi nada de practica y estoy muy perdida. Te re agradezco y se entendio todo perfectamente. Muchas bendiciones. Saludos.
Excelente contenido felicidades
1 año y 7 días de que salió este video. Tremendo su valor... (ojalá así explicaran en la escuela en la que estoy inscrito). Solo para agregar aunque sea un poco, creo que en la columna 'contact' también pudieron unificarse "cellular" con "mobile".
Espero pronto unirme a tu academia en línea. Muchas gracias.
Muy buen video, claro, completo y bien explicado. Muchas gracias!
Buenísimo. Fui realizando el paso a paso mientras explicabas. Quedo atenta a tus vídeos en caso de que haya una continuación para la siguiente etapa del análisis!
Gracias!
Qué bueno que te haya gustado el video... Sí, en unas semanas viene la continuación (análisis exploratorio). Un saludo!
Excelente explicación ingeniero. Muchas gracias. Seguire paso a paso sus redes. Dios lo bendiga.
Gracias por tu comentario y un saludo!
Excelente explicacion del potencial de python para la limpieza de datos, michas gracias por este video.
Me encanto el vídeo ¡Muchas gracias!☺
Graaaan video, me fue de mucha ayuda, gracias.
Excelente video, muy claro ...
Muy buen video, muy claro. Muchas gracias!!
Muchas Gracias por compartir su conocimiento. Excelente.
Gracias por tan magnifico aporte
Buenisimo el video entendi todo graciass y felicitarlo por su Excelente trabajo y metodologia.
Excelente resumen, muchos tip´s necesarios para estas actividades. Muchas gracias Profesor.
Me alegra que te haya gustado. Un saludo!
¡Gracias!
Excelente video... Explicado de una manera clara y concisa ... Muchas gracias 😃👍
Excelente video y muy bien explicado!!!.
Muy buen tutorial, lo único que le agregaría sería la lógica de algunas variables, por ejemplo, la variable día aparece como variable numérica, cuando en verdad debería ser una variable categórica. Para los que están empezando, algo que me funcionó en su momento, era pensar si tenía lógica el promedio de esa variable, de modo que si no tiene lógica utilizar el promedio, pues es porque no tiene sentido utilizarla como númerica. También hay que poner cuidado con esto al modelar, ya que internamente le están dando más relevancia a unas categorías con respecto a otras.
Muy buenas sugerencias Geovany! Y tienes razón acerca de los días: más que variable numérica debería ser categórica (ordinal). Un saludo!
Tremendo video, por lo util y por lo claro. Gracias amigo!!
Muchas gracias ingeniero
Muy buen video, muy explicativo en su punto Thanks
me has salvado estoy agradecido
Excelente video, muchas gracias
Excelente, aprendi un monton!
muy bien explicado
Muy bueno el video. Muchas gracias.
Excelente, gracias!
Excelente maestro
Muy Buenooo!!!!
Excelente video!
Suscrito! gracias por compartir tu conocimiento.
Que buen video!!!!!! Gracias!!!!
gracias por el tutorial! :D
That's what she said
espectacular
Excelente…!
Muchas gracias por este vìdeo. Supongamos que tuvieramos una columna con un ùnico subnivel, còmo harìamos para eliminarla?
Excelente
Que buen contenido! , la limpieza de datos seria un paso despues de haber realizado en analisis exploratorio ?
Qué buena pregunta Silvana. Creo que no podría asegurar que en todos los casos primero va la limpieza y luego el análisis. A veces durante el análisis exploratorio nos podemos dar cuenta que debemos continuar limpiando los datos para poder luego analizarlos. Todo depende en últimas de las características particulares que tenga cada set de datos.
Excelente video Miguel! sigue trayendo más contenido con la manipulación y análisis de datos :)).
Por cierto, en que parte está el notebook de colab que dijiste que estaba en la descripción?
Hola Mitchel gracias por el comentario. Sí, en un próximo video veremos el análisis exploratorio de este set de datos.
Y en la descripción del video encuentras el enlace al notebook + dataset.
¡Un saludo!
¡¡¡Muchas Graciassssss!!!
Excelente video, me ha ayudado mucho. Me queda una duda de si al final de las unificaciones de valores de las columnas tiene sentido revisar nuevamente los duplicados, ya que podía haber filas consideraras distintas pero luego de la unificacion (Por ej: ukn a unknown) quedaron como iguales.
Donde puedo ver El video de analisis de Estos Datos?
31:17 esta notacion me afecta valores en otras columnas. Ese valor con el que corrijo el erroneo se me agrega como valor en todas las columnas del df con la cantidad de veces que se cumple esa condicion. Me puede brindar luz al respecto?
Esa parte de google.colab y lo del drive me tira error, si yo tengo el archivo en mi escritorio, ¿Cúal seria la escritura de código?
una pregunta, cuando utilizo esta forma de reemplazar:
data[data['contact']=='phone'] = 'telephone'
me termina convirtiendo todas las columnas en obectj, que sera lo que estare haciendo mal?
con .str.replace no tengo ese mismo problema
Hola Julián. El resultado que indicas es el esperado, pues "telephone" es una variable tipo string que en Pandas se representa precisamente con el tipo de dato "object".
¿Qué tipo de dato obtienes al usar "str.replace"?
Grande
Consulta! Ahi donde dice ruta = (xxxx) por que entre medio dice video?
Buen día estimado Profesor, le puedo hacer una consulta ¿Cómo puedo determinar la factibilidad de uso de un dataset para un proyecto específico?
Marlon es una pregunta muy difícil de responder sin conocer los detalles. Pero de forma general deberías tener en cuenta:
1) ¿Qué problema quieres resolver?
2) ¿Que producto/resultado final esperas tener una vez resuelto el problema?
Teniendo claras las respuestas a estas dos preguntas debes determinar si tu set de datos tiene las características que corresponden a las respuestas que acabas de dar.
Como te digo, es una respuesta muy genérica. Si me das más detalles te puedo orientar mejor.
@@codificandobits Buenas noches estimado profesor, gracias por la respuesta, soy novato en el tema de machine learning, pero ahora me encuentro trabajando en un proyecto referente al ancho de banda, he encontrado un par de datasets, pero aún no se si sean los adecuados para el proyecto que le comento. ¿Tendrá alguna otra red social dónde contactarlo, para que me brinde un par de consejos?
Gracias por compartir su conocimiento. Cuando se usa regex=True en la siguiente linea de código?
data['job'] = data['job'].str.replace('admin.','administrative', regex=False)
Mil gracias llevo una semana buscando como hacer eso😢
:) :) :)
Hola muchas gracias por tus contenidos! Pregunta: es necesario limpiar y paramétrizar el Dataset, previo a la decisión de algoritmos de ML para optimizar la evaluación? O como sugieres proceder?
Me refiero a un Dataset de variables climáticos en series de tiempo.
@@nara.titan28 Sí, siempre es necesario limpiar el dataset antes de cualquier análisis o procesamiento. ¿A qué te refieres con parametrizar?
Hola Profe excelente video, solo tengo una duda.
1. Que pasaria si en la parte de subniveles uno tiene muchos de estos, en este caso en el video teniamos 10, 8, 5 etc.. pero si hablamos ya de 10.000, 8.000, 50.000 subniveles el histograma saldria tan grande que quizas daria la misma, ¿Cómo se manejaria en ese caso?
Hola y qué buena pregunta. En este caso existen varias alternativas (aunque al final todo dependerá de las particularidades de tu set de datos y del problema que quieras resolver).
Por ejemplo podrías implementar técnicas de reducción (es decir eliminar algunos subniveles que no contengan muchos datos) o de agrupamiento (clustering). O usar el histograma para ver cuáles de estos subniveles son menos frecuentes y (si el problema lo permite) eliminarlos, o también podrías considerar técnicas de "cross-tabulation".
De nuevo, es necesario conocer en detalle el problema a resolver y el set de datos para determinar el camino que resultaría más adecuado. Un saludo!
Los datos faltantes no serian los non null?
excelente video , es posible que compartas el notebook?/?/??/?
Claro que sí. En la descripción del video encuentras el enlace al código fuente
estimado, seria tan amable de pasar el note y el set de datos, gracias
Claro que sí Omar. El enlace lo encuentras en la descripción del video. ¡Un saludo!
@@codificandobits me recomendas panda para leer un archivo de 168 gb en formato txt?
22:50
En estos casos no deberíamos primero asegurarnos de que son pocos los datos que vamos a borrar?
O almacenarlos en otro DataFrame temporal?
Porque si borro por accidente demasiados datos ya valí vrga no? ajaj
Hola! de verdad espero me puedas ayudar, soy nuevo en todo esto. Si por ejemplo de la columna age, yo quisiera solo ver la información de los que tienen 50 años, pero manteniendo el resto de información referente a esas personas con esa edad en particular, cómo lo puedo hacer? la verdad que por más que trato de pensar como hacerlo no encuentro la solución. Te agradecería mucho la ayuda!
Age = data[data["Age"]=50]
Aca en Perulandia te llaman mas de 300 veces al mes. Son unas ladillas!
Tengo una duda en qué área está o que perfil tiene porque en la unam e ipn la manejan como ciencias físico matemáticas que debemos de saber matemáticas ciencias de la computación estadística y conocimiento del negocio en qué perfil está porque unos me dicen que es físico matemáticas otros que es tecnológica que perfil tiene en realidad esa es mi inquietud
Excelente video
Muy bien explicado !!