Data engineering in 9 minutes!
HTML-код
- Опубликовано: 25 июл 2024
- Data engineering is the easiest way to reach Europe in 2022. This career arises as a response to the need to create use cases of analytics and data science to generate value and strategies from the data collected by products. and services of organizations, large or small.
This video will answer what data engineering is, how to be a data engineer and what a data engineer does.
Watch my latest video: The Great Leap! From Developer to AI Engineer - • ¡El Gran Salto! De Des...
824 Views - Feb 26, 2024
Help me reach my subscriber goal!: ||||||...... 17% ............... 17.4K/100K
-------------------------------------------------- -----------------------------------
Data engineering courses:
Data Engineering Basics for Everyone - edX:
www.edx.org/es/course/data-en...
IBM Data Engineering Professional Certificate - Coursera:
es.coursera.org/professional-...
Professional Certificate from Get Ready for a Google Cloud Certification: Cloud Data Engineer - Coursera:
es.coursera.org/professional-...
Data Engineer with Python - DataCamp:
www.datacamp.com/tracks/data-...
Data Engineering Roadmap - DataStack:
github.com/datastacktv/data-e...
-------------------------------------------------- -----------------------------------
Sections:
0:00 Introduction
0:50 Why are data engineers needed?
2:55 What are the tasks and activities of data engineers?
4:46 What tools do data engineers use?
7:43 How do I become a data engineer?
8:31 Conclusions
-------------------------------------------------- -----------------------------------
Music:
Pool Party - Harris Heller
Provided by Streambeats
Listen: open.spotify.com/track/6hUqCh...
Midday Sun - Harris Heller
Provided by Streambeats
Listen: open.spotify.com/track/3pLM4x...
The Code Not Taken - Harris Heller
Provided by Streambeats
Listen: open.spotify.com/track/28Ik1x...
A Bae To Remember - Harris Heller
Provided by Streambeats
Listen: open.spotify.com/track/2npu1a...
-------------------------------------------------- -----------------------------------
Networks:
GitHub: github.com/Tibiritabara
LinkedIn: / ricardosantosdiaz
Instagram: / tibiritabara90
-------------------------------------------------- -----------------------------------
Thanks for watching the video!
#engineering #developer #Europe
La ingeniería de datos es la que le permite a las organizaciones crear casos de uso y aplicaciones de Machine Learning y Analitycs. Son el corazón de las implementaciones modernas de Machine Learning, y debido a esto es un trabajo muy bien remunerado.
Todo esto aplica tambien para España? Es que quiero entrar en ciencia e ingenieria de datos
Hoy, en julio 2024 me decidi a comenzar este camino! Espero pueda dar con esto y desarrollarme bien 😊.... Como sigue el mercado, dos años despues?
X2
Este era el video que necesitaba, por fin una guia/ruta completa de un ingeniero, ahora si conocer el flujo de los datos me permitira enfocarme en las herramientas que deseo utilizar, desde Febrero inicie este camino, y me encanta...
Que genial saber que mi contenido es útil. El viaje hacia la ingeniería de datos es largo, pero lo bueno, es que hay tantas oportunidades laborales dispuestas a enseñarles a uno a través de las actividades del día a día
Impresionante, gran video!! Todo fue de gran ayuda y justo lo que estaba buscando, seguiré muy de cerca tu canal ya que estoy estudiando análisis de datos :)
Gracias por el buen feedback y me alegra muchísimo que mi contenido sea de tu gusto. Espero poder seguir creando contenido útil y valioso
Muy clara y completa tu información te agradezco
Gracias por su trabajo, con este video he podido ordenar información que ya tenía y ahora entiendo mejor sobre este tema. Gracias.
Yo paso mucho tiempo escribiendo un guion que sea lo suficientemente claro, estructurado y lo menos redundante posible. ¡Es genial saber que todo ese tiempo ha valido la pena!
Gracias me encanta este mundo espero no estar tan viejo para iniciarme en esta área de las tic
La edad es solo un número, nunca es tarde para empezar una carrera, y menos en el mundo de las tecnologías. ¡Muchísimo ánimo y te deseo, muchísimos éxitos!
La más amplia, calificada ,objetiva y motivadora explicación que he visto sobre el tema, felicitaciones!
Muchísimas gracias por el buen feedback y espero poder seguir creando contenido útil y de calidad
El vídeo más concreto sobre ingeniería de datos que he visto en RUclips.. puedes hacer más vídeos sobre este tema?
Claro, he estado pensando en crear uno donde se explora a fondo la arquitectura básica de una plataforma completa de datos. ¡Lo tengo en mi calendario de contenido!
Justo el vídeo que estaba buscando ,muchísimas gracias
Me da alegría poder compartir contenido relevante y traer respuestas a muchas preguntas. Espero mis siguientes videos puedan seguir prestando el mismo servicio.
Justo lo que estaba buscando, estoy empezando con el curso basico de ingeneria de datos, gracias por la informacion :D
Que genial que tomaste la decisión de especializarte en esto. Yo tuve el privilegio de liderar equipos de ingeniería de datos y la cantidad de conocimiento, expertise y tecnologías que manejan son impresionantes. Todos los que se desempeñan en esta área son técnicamente excelentes y se enfrentan a tareas realmente complejas.
Excelente video. La verdad resumiste muy bien todo lo que hace un ingeniero y las herramientas que utiliza.
Muchísimas gracias :), llevo años trabajando en ingeniería de datos, y esto me da la oportunidad de hablar con autoridad del tema
Ricardo, muchas gracias por los datos y MUUUY interesante. sludos
Siempre a la orden!, espero que todo el contenido que viene siga siendo de utilidad :)
Tremendo vídeo, gracias
Muchas gracias, excelente video, estoy estudiando desarrollo de software y estoy interesado en dedicarme al data engineer y tu vídeo me ayudó mucho.
¡Me alegra muchísimo ser de ayuda! :) ... estaré subiendo más contenido sobre el tema, y espero esto te ayude en tu carrera!
Llevo tiempo colectando información sobre esto, GRACIAS, tu síntesis es sublime!
OMG, gracias por este comentario!, me da energía para continuar creando contenido
Si, la sintesis es perfecta, no encontre mejor definicion en una busqueda de varios meses.
Ahora tengo mucho más claro en qué consiste esta especialización, espero lograrlo, muchas gracias por la fantástica explicación 🤗
Espero poder seguir creando contenido de calidad que te resulte útil y te ayude en tu carrera
Hola, amigo, gracias por toda esta información, actualmente como sigue estando el mercado?
Voy a hacer un master en Unir, soy ingeniero industrial pero por medio de este espero entrar al mundo de la ingeniería de datos
Genial!, es una carrera excepcional y es la base fundamental de todos los grandes logros de la ciencia de datos y la inteligencia artificial. ¡Te deseo infinitos éxitos en tu carrera!
Muchas gracias crack! Soy analista de datos/ consultor bi. y quería ver de meterme para lo que es la ingeniería de datos que me llama la atención. Abrazo desde Argentina.
¡Me alegra que mi contenido sea útil!
Excelente contenido Ricardo!!
¡Gracias por mirarlo y espero poder seguir creando contenido de interés y calidad! ¡Saludos!
Excelente tu video Ricardo. De estos hay cientos de videos pero pocos con esta claridad de contenido. Que le vaya super al canal!
Muchísimas gracias por el buen feedback :) ... Me emociona crear contenido útil y de calidad
exelent.
muy útil,
Espectacular video claro y conciso, para ser ingeniero de datos tenés que tener sólidos conocimientos en matemáticas y estadísticas como científico de datos ? O más en en bases de datos, sql programación en Python y otras herramientas, estoy un poco pérdida con las rama gracias por la info.
Depende del cargo específico y los criterios de selección, aunque lo normal es que con conocimiento técnico basta
Buen video. Tenia curiosidad de que realiza un ingeniero de datos, esto me ha aclarado bastante cosas
Me alegras que mi contenido sea útil!
Llevo meses con el ronroneo en la cabeza si estudiar ingeniería en ciencias de datos, ahora ya tengo una razón más fuertes. Gracias.
Que genial ser parte de la decisión :)
Hermano muchas gracias me dieron más ganas de estudiar esta carrera
La ingeniería de datos es una opción genial para conseguir trabajo y obtener excelentes oportunidades profesionales.
estoy en este camino como ingeniero de datos , pero necesitaba este video para poder mejorar mi formacion , estoy enfocandome en SQL , MONGODB y AWS , me encanto tu video graciaaaas
Que genial!, la ingeniería de datos cubre muchas áreas, lenguajes y tecnologías, y es supremamente satisfactoria profesionalmente.
@@RicardoSantosDiaz me encantaria que recomendaras , los primeros pasos para empezar en el mundo laboral como ingenierio de datos , recien me estoy por graduar , y no consigo ofertas laborales en mi pais , muchas gracias por tus comentarios
Estoy pensando estudiarla online en la uvm ya que no tengo oportunidad de estudiar por las mañanas, alguna recomendación?
Gran video!!!
Gracias por las buenas palabras :)
Excelente resumen, nuevo sub
muchísimas gracias, espero que el contenido que ya existe y el que viene en camino siga añadiendo valor y aclarando los temas!
Colega, Saludos desde Montería Córdoba Colombia 😎
Saludos desde Alemania :), y desde Bucaramanga para el mundo
@@RicardoSantosDiaz 😎😎💻💻🤙👍👊🏾
Excelente información. Solamente me gustaría saber tu opinión si estudiar en un bootcamp de data science como Henry o mejor por mi cuenta por medio de cursos y tutoriales.
Los bootcamp son buenos porque te dan una estructura a seguir: tienes tareas, acompañamiento y objetivos. Pero, debo reconocer si tienes la disciplina para tomar las riendas del programa, leer y pacientemente experimentar, podrías hacerlo desde casa. La verdad hay miles de recursos gratuitos en línea que te van a apoyar en el proceso, y pues te ahorras la inversión en el bootcamp
Es muy atractivo este mundo de los datos para alguien que estudio ciencias de la computación, pero al decidir por este camino, estas casi obligado a dejar esos conocimientos de desarollo de sotfware para aprender nuevos tecnologias.
Es cierto que hay mucho conocimiento nuevo, pero mucho del conocimiento en programación y bases de datos es útil cuando se hace ingeniería de datos. La verdad, durante toda mi carrera me he reinventado y he aprendido nuevas tecnologías tantas veces, que ya hace parte de mi rutina, e igual siento que mis fundamentos en ingeniería de sistemas han sido fundamentales
Es decir que un ingeniero en datos no hace programación (desarrollo de software)?
Gracias. :)
De nada! :)
Muchísimas gracias por la info, me la llevo pues es SUPER VALIOSA. Actualmente soy egresado de ing. en sistemas en planes de una Maestría. Si quiero dedicarme a los datos, qué maestría estaría bien?
La ciencia de datos es una excelente oportunidad. Te enseña los elementos estadísticos y los elementos organizacionales y empresariales para manejar datos a escala
@@RicardoSantosDiaz Excelente, tomaré tus consejos. Suscrito desde ayer pana, muchas gracias.
Aun no me decido si quiero se data science o data engineer, creo que es mas "sexy" trabajar con Machine learning y deep learning, pero trabajar en HPC también tiene su lado sensual. Creo que me voy a terminar mi formación en data science y posteriormente me capacitare para ser data engineer.
Estoy pensando lo mismo
Woo me abrió la mente, quiero estudiar ingeniería en ciencias de datos en Colombia virtual!
Mucho ánimo y muchos éxitos en tu carrera académica y profesional
Hola 👋, excelente vídeo 👌❤️
Pregunta ¿La carrera de ingeniería de software me serviría como base para ser ingeniero de datos? ¿O sería mejor buscar hacer una carrera en ingeniería en computación/sistemas?
Si!, La ingeniería de software es lo suficientemente general para permitirte especializarte en lo que quieras, incluyendo ingeniería de datos
Genio
Gracias :) ... Espero seguir creando contenido de calidad!
gracias a ti
¡Siempre a la orden! Gracias por pasar por mis videos y encontrar valor en mi contenido
Hola, estoy interesada en estudiar esta carrera. Quisiera saber cual es el nivel de inglés que se debe manejar para entender y desarrollar la carrera. Te consulto porque no soy bilingüe y no quiero esforzarme en la carrera si este es un requisito avanzado, ya que no cuento con esta formación. Saludos y ojalá puedas responderme.
He conocido muchos ingenieros a lo largo de la carrera que se han desempeñado solo usando el español. Pero con el paso de los años y el paso de nuestras capacidades a un mercado más global, se ha vuelto más importante dominar el ingles. Me atrevería a decir que todas las carreras están enfrentando la misma situación.
Te recomendaría priorizar el aprendizaje de la lengua extranjera, y tengo la seguridad que con estás competencias y el conocimiento profesional, se abrirán Miles de puertas
pregunta para llegar a trabajar en europa necesito titulo universitario o siendo autodidacta podre conseguirlo vi que en tu caso si te ayudo mujcho el titulo y el convenio que tenia tu universidad
El título universitario es importante por temas de visa. Hay casos de gente autodidacta, pero la verdad, es muy díficil que la visa sea aprobada en estas situaciones. En cambio, un título garantiza la oportunidad de obtener una visa de tipo tarjeta azul, la mejor visa para personal capacitado
No me gusta la carrera pero como esta bien pagada en mi país y estamos en mala posicion económica estudiaré eso.
saludo y éxito se puede trabajar de ciencia de dato remito que cursos recomiendas
En este sitio de github encontraras un roadmap para construir una carrera en data science con muchos recursos valiosos para lograrlo github.com/Moataz-Elmesmary/Data-Science-Roadmap
Los cursos que recomiendas los hiciste? O por qué lo recomiendas?
Colegas de trabajo los hicieron o están haciendolos, y tras evaluar su contenido y la relevancia de las herramientas que se muestran, tengo la seguridad de su utilidad.
Para lograr ser un ingeniero de datos una ingeniera en ciencias computacionales podría ser la mejor elección? Quisiera saber tu opinión, un saludo💾
Si, definitivamente. Ya sea ciencias computacionales o sistemas
Hola! Tengo una duda: ¿cuál es la diferencia entre el administrador de bases de datos y el ingeniero de datos? …. Me parece entender que el administrador de bases de datos existe desde hace mucho tiempo y el ing. de datos es reciente, pero en que se diferencian??
Como el nombre lo dice, el administrador de bases de datos configura, supervisa y administra las bases de datos de las aplicaciones de la compañía. El ingeniero de datos, en contraste, está especializado en conectarse a infinitas bases de datos para poder extraer y transformar sus datos para procesos de Analytics y entrenamiento de modelos de inteligencia artificial.
Si lleva matemática y física definitivamente ya vali osea de que que puedo puedo pero es taaan aburrido
Hola estoy por hacer el
Certificado profesional de Ingeniería de Datos de IBM tendras algun conocido que ya haya terminado el curso? porque quisiera saber que tan complicado es y si realmente enseñan bien los contenidos que dice.
Tengo un amigo cercano que está haciendo el curso actualmente. Su feedback ha sido positivo, y abarcan los temas desde su definición y concepto hasta su aplicación. Creo que puedes encontrar reviews en línea del curso en es.coursera.org/learn/introduction-to-data-engineering/reviews . Espero esto te sirva de guía para tomar la decisión.
@@RicardoSantosDiaz dale gracias!
Y la edad influye???... Vale la pena pasado los 40s, 50s incursionar en este Mundo??. Lo pregunto porque estos temas me apasionan.
Ojala puedas contestarme de acuerdo a tu experiencia.
Ahhhh. Excelente video. Muy explicativo. Exitos
¡La edad es solo un número!, no te preocupes por eso, por mi parte he trabajado con ingenieros 20 o 30 años más que yo. Lo único importante es ganar experiencia y conocimiento. Lo positivo de esta carrera, es que existe la facilidad de volverse experto en ella solo a través de recursos gratuitos en internet y mucha práctica. La única restricción es el expertise, la edad nunca será un problema
@@RicardoSantosDiaz Mil gracias....
La verdad he tenido muchas ganas de estudiar en otro país, me gusta la programación, solo que me aburre, que consejo me das? Aparte que me quiero ir de mi país por mejor pagos 😪 muchas gracias
Todo trabajo puede llegar a ser aburrido, pues pasar mucho tiempo haciéndolo lo hace monótono. Lo importante es tener constancia y balancear tu vida personal y tu trabajo. Solo se paciente. La paciencia es la madre de la sabiduría, y la verdad, por experiencia propia, sé que esta carrera es el camino a un mejor futuro.
@@RicardoSantosDiaz hola! Tengo 17 años soy de mexico, y me llama la atención, vi tu video dos veces le entendi poco a poco, aquí en mi país si hay ese carrera, la verdad que me gustó bastante su video! Pero todavía estoy viendo otras carreras. Hasta ahora esta es la que más me llama.
Y la carrera esta en una de las mejores universidades, me gustaría que me de un consejo o motivación, apenas hare examen este año, tengo muy poco tiempo para elegir una carrera. La verdad nunca supe que gustaba😪 pero acepción de la programación.
puedo estudiar un tecnico en ingieneria de datos sin tener conocimiento previo de alguna rama?
Claro que por supuesto que sí!, las instituciones académicas te van a dar todo el conocimiento que necesitas para empezar de cero
Cual es la diferencia de estudiar una ingenieria eb ciencia de datos a estudiar un curso de data scientis en una de las tantas platformas que ofrsen esos cursos?
En una carrera vas a ver todo más a detalle y también estudiadas cosas complementarias. En un curso vas a aprender lo mínimo esencial. Los cursos son excelentes cuando ya tienes un buen background en ciencias de la computación, de lo contrario cuando estés trabajando, te van a faltar herramientas para resolver los problemas.
Hola amigo aproximadamente cuánto tiempo trabaja un ingeniero de datos??
Lo mismo que todos los ingenieros: 40 horas a la semana, aunque claro está, algunas empresas pueden tener expectativas de más tiempo. Depende también del contexto o país, pues hay países en los que la ley permite más horas laborales
Hola. Tengo una duda un ingeniero de datos y uno que se dedica a cloud computing o (devops) Que diferencia hay o siguen el mismo camino ambos?? Disculpe la ignorancia. Estoy recién aprendiendo de estos temas
mi hermano es Devops y la verdad el trata más temas de infraestructura y arquitectura de software
DevOps se trata del aprovisionamiento, mantenimiento y configuración de infraestructura en la nube, así como de los ciclos de integración y despliegue continuos. El ingeniero de datos es el encargado de procesar millones de registros de diversas bases de datos y prepararlos para su posterior análisis.
ricardo estoy por recibirme de ingeniero electronico mencion automatizacion y control y empece a distancia ingenieria en sistemas. podrias orientarme cual de las especializaciones de la ing en sistema me conviene ?
esta es una. otra es front end, back end, ciberseguridad, ing software, desarrollo mobile, machine learning/AI, analisis de datos, ciencias de datos, devOps y despues combinaciones Sr; devSecOps, MLdevOps, etc
@@prohibited1125 gracias amigo. te lo agradezco de corazon. la carrera es muy versatil y en realidad no tengo idea de como relacionarla con la autimatizacion y control industrial
@@JavierParra-lz4is IoT
Un ingeniero de sistemas necesita sacar una maestría/Doctorado para trabajar en ciencias de datos? O solo puedes trabajar como Ingeniero de Datos?
Mucho gustos ver tus videos :)
Depende. En Europa es normal que los científicos de datos tengan maestría y en muchos casos doctorado, pues la educación de pregrado y posgrado es gratuita y de fácil acceso. En otros países no es tan común encontrar ese requisito
@@RicardoSantosDiaz Muchas gracias!
Es una carrera que tienen pocas universidades.
Muy pocas. Yo lo considero más bien una especialización de la ingeniería de software o ingeniería de sistemas
@@RicardoSantosDiaz exácto. Yo estoy estudiando ingeniería en sistemas. Seguro hay un posgrado en datos
Buenas tardes. Necesito tu ayuda, llevo mucho tiempo sufriendo acoso, por unos vecinos que utilizan la tecnología, para hacerme sentir mal. Lo he intentado denunciar, pero me piden un estudio de un informático sobre el hackeo en el móvil. Vivo en una ciudad pequeña, hasta ahora me ha sido imposible conocer a alguien que me pueda ayudar, podrías hacerlo tú? Por favor, te remuneraria con la cantidad que me digas y te lo agradecería enormemente. O si sabrías decirme de alguien que pueda hacerlo? Un saludo.
Infortunadamente, no promuevo ni hago nada de hacking. Espero puedas encontrar una solución a tus problemas
Podrías decirnos una ruta de aprendizaje para aprender a ser un data engineer?
¡Claro!, me parece una excelente idea para un nuevo video. Mientras tanto, puedes leer el camino propuesto en esta página github.com/datastacktv/data-engineer-roadmap
@@RicardoSantosDiaz gracias bro
Me gusta mucho tu canal
@@RicardoSantosDiaz bro una última pregunta 🥲
En el minuto 7:58 mencionas que es una bueno opción empezar con ese curso
Después, mencionas otros 3 cursos que son de pago
Mi pregunta es, después de terminar el gratuito, el que mencionas en el 7:58, lo recomendable sería completar los 3 cursos de paga que mencionaste? O solo escoger uno de los 3 que mencionaste de paga.
@@Emanuel-yb3qk Con uno de esos tres cursos basta. Son diferentes alternativas para un conocimiento que es bastante similar
@@RicardoSantosDiaz muchas gracias bro
Que tengas buen día
se necesita saber de muchas matematicas, fisica y calculo??
Para ser ingeniero de datos? la verdad no, y para programación solo en campos muy específicos, pero si tu intención es hacer la carrera universitaria, la matemática, la física y el cálculo estarán en tu programa académico.
@@RicardoSantosDiaz Estudie Desarrollo de Software, crees que me acepten con esa Licenciatura para ser ingeniero de datos? 😅
es mejor estudiar ingeniería de datos o ingeniería en sistemas?
Ingeniería de datos es el futuro amigo
¿Qué me recomendarian estudiar ingeniería en sistemas y despues especializarme en ciencia de datos, o estudiar la licenciatura en ciencia de datos?
Hola como estudiante de ingenieria en sistemas en la utn, lo que te puedo decir es que nos enseñan un poco de todo, comenzando por arquitectura de computadoras (assembler, memoria, etc), un poco de programacion y sus paradigmas, analisis de sistemas ( modelado de empresas, diagrama de requerimientos, UML, BPMN), economia, estadistica, analisis matematico, fisica, linux, bash, bases de datos, diseño de sistemas, ingles, etc (hay mas) Todo esto es hasta 3ro masomenos (posiblemente me olvido de algunas), despues en 4to y 5to ni idea que enseñan (si se pero no se para que sirven, por ejemplo teoria de control, o simulacion) pero confio en que es super util para tener un panorama general y un poco de habilidades en todos los aspectos, por lo que si el titulo de ingeniero tiene mucho mas peso de por si que una licenciatura, luego te podes especializar en lo que mas te guste con mucha facilidad. La dificultad principal son materias como analisis matematico 2 y fisica 2, pero si no las pudiste rendir, hay intensivos en verano exclusivamente para que rindas esas materias.
Sí, voy a empezar.
Excelente, te deseo infinitos éxitos en tu camino académico y profesional!
tienes que ser experto programando ?
Algun libro que se recomiende?
Existen infinitas fuentes gratuitas en Google!
Alguien me pasa los links para la certificación porfa
¡Están en la descripción del video!
Es muy difícil el trabajo de Data Engineer? El nivel de presión
Hay mucha presión. Si no puedes trabajar bajo presión te recomiendo no estudiar esto.
En una universidad de mi ciudad está la carrera de ingeniería en datos e inteligencia organizacional, vendría siendo esto mismo?
Depende mucho de los contenidos del programa. Por la parte de inteligencia organizacional, podría inferir que se trata más sobre análisis de datos para descubrir conocimiento de negocio. Pero falta saber a más profundidad que tanto abarca de los procesos de ETL y la administración de sistemas de almacenamiento en Big Data
@@RicardoSantosDiaz y cual seria mejor?
@LuisMid eres de México
Pero siendo sinceros demasiado pienso y creo que es Yolo pero nose
You only live once! ¡Toma la oportunidad!
Boton----> no entendido
Que parte no entiendes?
Pero bájale a la música crack
Me pusiste kchondo we