La mejor explicación para tener una primera idea de qué es una CURVA ROC y el AUC. Me hubiese gustado que incluyeran la forma de INTERPRETAR dicha curva. Saludos!
Te felicito muy buen canal! por la cuestión de la pandemia he comenzado a estudiar Data Science en Acamica aquí en Argentina y estos canales explicativos facilitan mucho el entendimiento. Saludos!
Genial explicación! Mi única pregunta tiene que ver con que ROC/AUC se suele utilizar para problemas de clasificación como el tuyo (0 ó 1). Sin embargo tú obtienes probabilidades. Cómo aplicas la misma lógica si en vez de probabilidades, tu algoritmo te da números enteros o clasificaciones como "perro"/"gato" en vez de darte la probabilidad de que sea perro. Cómo se modificaría el "threshold" de 0.5 en este caso y cómo se calcularía la curva ROC?
Muy buena aportación, en mi caso estoy buscando calcular el AUC manualmente, he buscado como se obtiene pero los paquetes de estadística ya lo traen por default, ¿en tu ejemplo como obtendría el valor de AUC y ROC?, espero me puedas apoyar con mi duda.
Hola. Inicias la explicación usando la matríz de confusión (predición vs realidad), sin embargo, cuando aplicas el punto de corte sólo usas los valores (V/F) de "realidad". los cocientes que se obtienen con la matriz de confusión resultan diferentes a los que se obtienen sólo tomando en cuenta sólo "realidad". Te agradeceré mucho tus comentarios.
Hola! Hay varias de formas, depende del lenguaje de programación o herramienta que estés usando. En python puedes usar, por ejemplo, sklearn.metrics.auc. En R esta, entre otros, el paquete ROCR.
Gracias por el video! En mi caso, tengo que saber esto por temas de medicina... Y me he dando cuenta que en algunos artículos, al lado del valor del AUC, colocan un valor de "p", por ejemplo "AUC de 0.82 (p=0.112)". ¿Qué sígnica esa "p2? Espero puedas leer mi comentario. Éxitos!
Hola Rodrigo! Es muy posible que este valor de p se refiera a lo que se conoce en estadística como p-valor, que se calcula para medir si los resultados son estadisticamente significativos o, en otras palabras, si nos podemos fiar del valor del AUC obtenido
Si sacas la curva roc del conjunto de entrenamiento no debería dar siempre 1? Ya que le estás enseñando las etiquetas. Es que he visto un ejemplo donde sale 0,8 en el conjunto de entrenamiento
No exactamente, de hecho es un claro síntoma de lo que se llama sobreajuste (overfitting) del modelo. Si se "aprende" a la perfección los datos de entrenamiento es muy probable que no sea capaz de generalizar y poder luego predecir correctamente nuevas observaciones. Se busca normalmente que la diferencia de AUC entre los distintos conjuntos de train/test/validación será muy pequeña. Espero que te ayude!
Hola Julio, ese score representa la probabilidad que asignamos a cada observación de que su valor real sea 1. Por ejemplo, un score de 0.8 representa que estamos al 80% seguros de que acabará siendo un 1. Espero que te ayude un poco
La mejor explicación para tener una primera idea de qué es una CURVA ROC y el AUC. Me hubiese gustado que incluyeran la forma de INTERPRETAR dicha curva. Saludos!
el mejor video que he visto
Excelente explicación....superdidactica ...muchas gracias...
Muchas gracias por la explicación!
Con mucho gusto
Buenísimo, entendi todo todo, lo que otros explican difícil, aquí lo hicieron sencillisimo, gracias!
Excelente explicación, he revisado bastante y lo has hecho tan fácil, que hasta uno de primaria entiende este tema, saludos
muy bien explicado, gracias
Gracias!!!!
Fantastico, muchas gracias por el video
Un placer Raúl, espero que te haya servido
Me encantó como enseñas! muy didactico todo.
Muchas gracias por el video!
Así sí entendí muy bien. Millones de Gracias
Magnífico, entendí perfectamente.
Gracias! excelente video, por fin pude entender esta vaina
Nos alegramos mucho de que te haya servido!!
Mas claro imposible! excelente video, saludos desde Argentina
MUCHISIMAS GRACIAS ESTA GENIAL, SIGUE ASI DE VERAS!!!!!
Gracias bro. Muy practico
Muy divertido, interesante y, sobretodo, muy bien explicado. Sigue asi. Quiero más!
Mejor explicado imposible.
Muchas gracias! 😁
Me encantó.
Excelente explicación, te tomaste el tiempo de hacerlo a mano.
Gracias!
Gran contenido pibe
Muchas gracias!!!!
hiciste que un chaval de 15 años aprendiz de IA comprendiese esta grafica esencial para los modelos de clasificación, mil gracias tio!
De nada, para eso lo hacemos :)
Sigue dándole caña a esto de la IA que viene un futuro prometedor
Te felicito muy buen canal! por la cuestión de la pandemia he comenzado a estudiar Data Science en Acamica aquí en Argentina y estos canales explicativos facilitan mucho el entendimiento. Saludos!
Muchas gracias por el comentario! Nos alegramos mucho de que te sean útiles nuestros vídeos
Estupendo 👏👏👏
pero que buen video amigo, ustedes deberían si o si tener mas suscriptores, saludos !!
Muy bien explcado
Nuevo sub!
Genial explicación! Mi única pregunta tiene que ver con que ROC/AUC se suele utilizar para problemas de clasificación como el tuyo (0 ó 1). Sin embargo tú obtienes probabilidades. Cómo aplicas la misma lógica si en vez de probabilidades, tu algoritmo te da números enteros o clasificaciones como "perro"/"gato" en vez de darte la probabilidad de que sea perro. Cómo se modificaría el "threshold" de 0.5 en este caso y cómo se calcularía la curva ROC?
Muy pedagógico
Buenos días, quisiera que me explique de acuerdo al video, donde o como se ubica la Hipótesis H0 y H1
Muy buena aportación, en mi caso estoy buscando calcular el AUC manualmente, he buscado como se obtiene pero los paquetes de estadística ya lo traen por default, ¿en tu ejemplo como obtendría el valor de AUC y ROC?, espero me puedas apoyar con mi duda.
Podrias calcularlo con excel por ejemplo. Ordenando los scoring y calculando las medidas del video
Excelente vídeo. Podrías explicar un ejemplo con clasificación de varias clases ?
Claro, lo apuntamos a lista de videos pendientes
Hola. Inicias la explicación usando la matríz de confusión (predición vs realidad), sin embargo, cuando aplicas el punto de corte sólo usas los valores (V/F) de "realidad". los cocientes que se obtienen con la matriz de confusión resultan diferentes a los que se obtienen sólo tomando en cuenta sólo "realidad". Te agradeceré mucho tus comentarios.
y como se puede saber el valor del area bajo la curva? muchas gracias
Hola! Hay varias de formas, depende del lenguaje de programación o herramienta que estés usando. En python puedes usar, por ejemplo, sklearn.metrics.auc. En R esta, entre otros, el paquete ROCR.
Gracias por el video! En mi caso, tengo que saber esto por temas de medicina... Y me he dando cuenta que en algunos artículos, al lado del valor del AUC, colocan un valor de "p", por ejemplo "AUC de 0.82 (p=0.112)". ¿Qué sígnica esa "p2? Espero puedas leer mi comentario. Éxitos!
Hola Rodrigo! Es muy posible que este valor de p se refiera a lo que se conoce en estadística como p-valor, que se calcula para medir si los resultados son estadisticamente significativos o, en otras palabras, si nos podemos fiar del valor del AUC obtenido
¿Y no tendríamos que decidir cual es el mejor punto de corte? O sino cual es el objetivo de todo esto?
Si sacas la curva roc del conjunto de entrenamiento no debería dar siempre 1? Ya que le estás enseñando las etiquetas. Es que he visto un ejemplo donde sale 0,8 en el conjunto de entrenamiento
No exactamente, de hecho es un claro síntoma de lo que se llama sobreajuste (overfitting) del modelo. Si se "aprende" a la perfección los datos de entrenamiento es muy probable que no sea capaz de generalizar y poder luego predecir correctamente nuevas observaciones. Se busca normalmente que la diferencia de AUC entre los distintos conjuntos de train/test/validación será muy pequeña. Espero que te ayude!
Si el clasificador es binario, como se puede obtener un Score numérico real basado en los resultados del modelo ? 02:11
Hola Julio, ese score representa la probabilidad que asignamos a cada observación de que su valor real sea 1. Por ejemplo, un score de 0.8 representa que estamos al 80% seguros de que acabará siendo un 1. Espero que te ayude un poco