Devenir Data Engineer en 2023 : Les secrets du parcours dévoilés
HTML-код
- Опубликовано: 31 июл 2024
- Nouvelle vidéo : devenir Data Engineer en 2023 : Les secrets du parcours dévoilés
Coaching en Data Engineering : calendly.com/willis-nana
Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : shorturl.at/kHZ37
* QUI SUIS-JE ? *
Je m’appelle Willis, Data Engineer habitant au Canada (Montréal).
Travaillant dans le monde de la data depuis 10 ans, j’adore partager mes connaissances et apprendre de nouvelles choses !
Si je devais me résumer en 1 mot, je dirais : "Passionné"
Sur cette chaine, on va parler de Data Engineering, Data Science, Carrière et plus encore ...
0:00 - Intro
1:12 - Les études
2:30 - Les compétences de bases - SQL/Coding/Git/Data Modeling
4:59 - Data Pipeline et Stockage
7:24 - Plateforme Big Data et Archi Cloud
9:05 - Visualisation de données et analytics
10:32 - Infra/DevOps/DataOps
13:50 - Keep learning !
* POUR ME SUIVRE *
Mon blog : datafromscratch.blog/
Instagram : / willis.nana_
Twitter : / willis__nana
LinkedIn : / willis-nana
#dataengineer #datascientist #dataanalyst #carriere
Des ressources pour apprendre :
⚡️ - SQL :
- www.w3schools.com/sql/
- • SQL Tutorial for Begin...
- www.red-gate.com/simple-talk/...
⚡️ - Un langage de programmation : Python, Java ou Scala
- Documentation officielle : docs.python.org/fr/3/tutorial/
- APPRENDRE PYTHON: FORMATION COMPLÈTE GRATUITE : • APPRENDRE PYTHON DE A à Z
- Data Structure : www.tutorialspoint.com/python...
- Object Oriented Programming (OOP) in Python : • Object Oriented Progra...
- Algorithms and Data Structures : • Algorithms and Data St...
- TUTO Python : Introduction à la programmation Python : • TUTO Python : Introduc...
- The difference between procedural and object-oriented programming : • 14. The difference bet...
⚡️ - ETL/Data Pipeline : Airflow or Luigi, Pandas, Spark, Dash, SQL, Python,Scala ou Java, Batch et Streaming
- Airflow : • Airflow tutorial 1: In...
- Airflow : • Running Airflow 2.0 wi...
- Airflow : • La conquête de nos wor...
- ETL : www.guru99.com/etl-extract-lo...
- ETL : / etl-understanding-it-a...
- Data Pipeline : • What is Data Pipeline ...
- Numpy et Pandas : • #6 - Apprendre à coder...
- PySpark/Spark : • PySpark Tutorial
- Pandas, Dask or PySpark? What Should You Choose for Your Dataset? : medium.datadriveninvestor.com...
- Spark : • Building Robust ETL Pi...
- Spark : datascience-enthusiast.com/Py...
- Batch et Streaming : betterprogramming.pub/data-en...
- Streaming : / spark-streaming-vs-fli...
- Streaming : www.upsolver.com/blog/streami...
⚡️ - Data modélisation (Data Modeling) : Dimension/fact, SCD
- DWH : www.guru99.com/data-warehousi...
- Datalake vs Datawarehouse : www.guru99.com/data-lake-vs-d...
- www.todaysoftmag.com/article/...
- www.complexsql.com/dimensiona...
- www.javatpoint.com/data-wareh...
- Forme normale : www.javatpoint.com/data-wareh...
- • Star and Snowflake sch...
⚡️ Système distribué et Cloud Env : Hadoop et Cloud Tech
- Big Data : cours.etsmtl.ca/log660/public...
- Hadoop : rtsomar.unblog.fr/hadoop-un-sy...
- AWS : www.guru99.com/aws-tutorial.html
⚡️ Bash command :
Linux Command Line Full course: Beginners to Experts. Bash Command Line Tutorials : • Linux Command Line Ful...
Les commandes de base en console linux : doc.ubuntu-fr.org/tutoriel/co...
⚡️Source Control (Git) :
- Git : • LES BASES DE GIT (tuto...
⚡️ Reporting et définition de KPI : Tableau Dashboard ou Power BI
- Data via avec Python : • #8 - Apprendre à coder...
- Power BI : www.guru99.com/power-bi-tutor...
- Tableau Dashboard : • Tableau for Data Scien...
- KPI definition : / what-metrics-would-you...
⚡️DevOps :
Philosophie derrière le DevOps : • Le DevOps expliqué en ...
Docker : • Docker : comprendre l'...
Kubernetes : • Kubernetes : l'essenti...
GitLab : • GITLAB - 1. Présentati... 
Наука
Top, maintenant qu'on a ses technologies à nos pieds il faut les appliquer en projet réel d'entreprise. Parce que bosser dessus seul sans réel projet c'est pas facile au bout d'un moment 😅
super ca faisait un moment.
Merci beaucoup bro
Top vidéo 😊
🫡
Merci bcq
Super vidéo peut tu aussi faire une vidéo sur le métier de Data Scientist parceque je fais actuellement des études de Data science
Salut Loïc, je note ça ! 👌🏾
Tu pourrais me proposer la ou je pourrais faire de la veille technologique
Salut
Merci pour tes vidéos très utiles!
Peux-tu me dire comment faut-il se préparer pour un entretien pour une formation de data engineer? Qu'attendent les recruteurs de toi pour être choisi? Ou comment les impressionner?
Merci
Mille merci,
je voulais savoir où tu développe le dernier point sur quels sites????
Hello Willis je pense que tu devrais ajouter à tes formats des vidéos pratiques sur lesquels tu traites des data sets je pense
Salut à toi ! C’est noté 😉
Bonsoir chef, au fait je fréquente actuellement un institut d’université de technologie en sciences de données en France 🇫🇷 , mon souhait est de devenir un data engineer, svp vous me conseillez quelle étude après cette formation🙏🏾
J'ai suis PhD en Computer science, et j'ai quelles certifs en Data Science. est ce que je veux accrocher Contrat CDI en data science junior ?
Hello moi c'est Olivier je m'intéresse aux métiers de la data et je voudrais bien échanger avec toi pour en apprendre plus. J'effectue une reconversion professionnelle et j'aimerais bien apprendre plus sur ce domaine
Salut Willis, fais-tu toujours des sessions 1 to 1 ? Je n’arrive pas à booker avec ton lien
Pense tu que le métier de data engineer est en danger avec l'arrivée de chat GPT?
Salut bro quel est? la différence entre admistrateur de base donnée ou ingénieur de base de données svp
Ces 2 métiers sont "proches" mais différents.
- admistrateur de base donnée : gère des bases de données
- data engineer : crée des plate-forme tech afin de transformer et stocker de la données, pour de la BI ou du machine learning
Merci pour la vidéo. Toujours très qualitatif. Qu'elle est ton avis sur le marché de travail ? Avec la contraction de l'économie, n'y a-t-il pas un risque d'avoir peu de demandes pour 2023 de profil junior surtout ceux en reconversion ? Merci d'avance pour ta réponse.
Salut à toi, je pense que malgré la contraction économique, il y aura quand même des besoins de junior. Même quand l’économie va bien, il est toujours un peu difficile pour des juniors de rentrer sur le marché, mais il y a des méthodes pour aider à rentrer sur le marché plus facilement.
@@DataFromScratchWillis Quelles sont ces méthodes 🤩
@@skateforlife3679 l'alternance
@@julien80200 Je fais de l'initiale, je suis en cdi mais inter contrat bruhh
@@skateforlife3679 Ha là pas de chance pour le coup. Tu es en ESN ? Je fais une alternance actuellement dans une de ces ESN et franchement y’a pas plus formateur, pas mal de projets différents et un énorme panel de formation interne.
Peut on trouver du travail en data scientist au Canada si on a bac plus 5 en mathématiques et on maîtrise du python. Comment procéder? Ne traverse pas ma question stp
Salut à toi, oui, c'est totalement possible de trouver du travail, en data scientist au Canada avec un bac +5 en mathématiques + maîtrise du python.
J'en parle étape par étape, dans cette vidéo : ruclips.net/video/We2yHCSKeGY/видео.html
Pourquoi absolument du python ou du java ou du Scala? Est-ce qu'avec du nodejs ou c on ne peut pas faire du data engineering ? (Vraie question)
Hello, parce qu'il n'y a quasiment pas d'outils en data engineering utilisant du nodejs ou c.
de ce que je sais les études d'ingénieur sont très poussé en maths, physique mais j'ai l'impression que ce n'est pas du out utile dans le métier je me trompe ?
cela du parcours aussi:
prepa puis ecole d'ingé oui
fac y'a pas mal de maths mais peu de physique en général.
bts/dut puis ecole d'ingé (en alternance ou non) bcp moins
@@naitololTV je confonds peu être, mais en tout cas en belgique le cursus d'ingénieur c'est celui d'ingénieur civil et je peux te garantir que les maths et la physique sont bien costaud durant le cursus
Et concernant les certifications, tu nous conseilles quoi ?
Merci pour la vidéo
Salut à toi, je n’ai jamais vraiment été pour les certifications de type Microsoft, Google, etc. Surtout quand on a pas d’expérience dans un domaine. De mon point de vue, une certification sert à confirmer une expérience (voir expertise) que tu as déjà. Donc prends celle dans laquelle tu connais déjà les outils.
Hello ! Completement d'accord avec ce que dis Willis, cependant sur le marché c'est un peu l'inverse qui se passe en France... Lors d'une formation Google Data Engineer avec ma boite, les gens de chez google nous disaient que la certification était en quelque sorte le "permis de conduire", ca fait pas de nous de bons conducteurs, mais on a les bases quoi. C'est pas tellement l'esprit d'origine d'une certification ou d'un diplôme qui récompense plusieurs années de boulot c'est clair.
La certification GCP Data Engineer est la plus accessible des trois Cloud providers. Les certifications AWS sont plutot orientées architecture/réseau (SAA-C03), et la certification Azure Data Engineer est réputée coriace (du moins pour la pro). Les trois Cloud providers sont demandés, AWS est plutot sur des grosses boites (celles qui sont parties sur le cloud en premier), mais on voit de plus en plus de boites passer sur GCP (stack plus moderne, et surtout BigQuery qui est un gros plus).
Les certifs sont assez utiles sur Linkedin malheureusement, j'ai beaucoup été contacté justement grâce à ca. Même si c'est pas miracle, le reste des diplômes et du parcours jouent aussi. Hésite pas si t'as des questions, là c'est un peu en vrac !
@@KizameKun Merci pour la réponse. Tu peux m'envoyer ton compte LinkedIn, histoire qu'on puisse s'échanger pour plus d'éclaircissements
Merci
@@KizameKunj’avoue ça m’intéresse aussi je suis intéressé par la data surtout data engineer