Видео

Très intéressant, merci Willis 👍 C’est plus clair maintenant, ça confirme mon choix de reconversion !

Salut ! Content de te revoir je viens de finir ma formation de Data Engineer, et tu as contribué à me lancer dans l'aventure de la reconversion. Donc un grand merci !!!

Thank you Mr Willis, 😊

Tres belle video willis. Je viens de finir mon cegep et je travail dans le domaine du genie civil au canada, par contre je souhaiterais continuer a l`universiter vu mon jeune age et j`aimerais me ré-orienter vers la data (surtout le data engineering). Ma crainte est plus au niveau du marche d`emploi dans ce domaine la au canada. Pense tu que ca sera toujours une bonne carriere dans les 5 prochaines année? Merci

Salut ! Je voudrais devenir Data Analyst, je me renseigne sur ce métier depuis maintenant plusieurs mois et c'est ce que je souhaite faire. Mais je n'ai aucun diplômes. Même pas niveau BAC et aucune expériences dans le numérique non plus. Comment puis-je faire pour atteindre cet objectif ? Merci à vous pour vos réponses.

Je confirme 😂 C’est pas tout le temps vrai et souvent faux ici 2:01

Mais si tu utilises Kafka pour l’ingestion, tu risques de stocker des données sales dans Snowflake, non ?

Bonjour et merci pour la vidéo mais j'ai toujours du mal à saisir la nuance entre une database et une datawarehouse. Parce qu'avec une database aussi je peux stocker de la donner et en extraire de l'information. Quelqu'un veut-il bien m'expliquer la nuance ?

Très bonne explication. C'est ma première fois de te suivre, mais je suis satisfait. Bonne continuation.❤❤

Je suis totalement en phase avec toi! Je rajouterais que le réseau est super important. A titre personnel, je travaille en priorité avec les personnes que je connais, et qui connaissent ma valeur également. C'est certes à travers une ESN, mais je sais que si ma mission se termine, mon contact va essayer de me placer sur une autre mission : jackpot. Bien entendu, entretenir d'autres relations en // c'est indispensable, il ne faut pas tout miser. Enfin, j'ai remarqué que c'était utile de connaitre les stacks des entreprises sur les technos/langages qui vous intéresse et sur lesquels vous êtes compétent. Par exemple, je sais que Rolex utilise la même stack que mon client actuel donc c'est une entreprise que je peux viser. Et je ne me suis pas trompé, ça fait 1 an qu'ils me contactent régulièrement.

N'oublie pas les questions de types Leadership

Salut Willis, où puis-je te contacter par mail ?

Merci Willis pour cette vidéo. je pense que tu as bien souligné sur l'importance de chaque rôle dans l'équipe

Willis. La certification que je suis actuellement se fait via le site coursera. C'est en assistant à des webinaires via France Travail que je me suis lancé. Comme vous citez d'autres organismes je vais aller voir. Au fait, est-ce un métier que l'on peut exercer en free-lance ? Merci pour ces infos. 🙂

Comme recommandé, je viens de visionner celle-ci. Je comprends le bilan. J'ai passé un bac technique il y a une trentaine, suivi d'un bts et une prépa en un an puis une spécialisation en alternance. Il y avait évidemment des statistiques au programme de maths dès le bts. Pour le bac je ne suis pas sûr. Une fois en entreprise, on utilise des logiciels pour calculer et rien à voir avec des stats. Le temps utilisé est pour l'analyse des résultats et prise de décision sans parler des rapports. Les maths comme au lycée je n'en ai pas fait depuis tout ce temps. Il n'y a que récemment pour un projet personnel. Pas facile de s'y remettre. Sur cette partie je reste donc autodidact. En tous cas pour le moment. La certification évoquée à la chance d'être reconnue par plusieurs entreprises sur le territoire alors je pense que ce qui y est enseigné doit correspondre au niveau junior attendu. Merci pour ce comparatif. Je vais me renseigner aussi. 🙂

Excellente video!!

Bjr Willis. Votre témoignage m'a bien intéressé d'autant plus que je passe une certification google pour devenir data analyst pour essayer une reconversion après une vingtaine d'années en bureau d'études dans le secteur industriel. En fait, ce qui me motive essentiellement c'est la recherche de ce que peuvent dévoiler les données. L'aspect technique n'est que secondaire. C'est sans doute liée à ma curiosité, mon envie de découvrir et chercher. Connaissez-vous cette certification pour entrer dans le milieu ? Merci encore.

Du MiniO aussi comme data lake

La question que tout le monde se posent en tant que dev freelance: comment trouver des clients concretement ? Et tu survoles la question plus vite qu'un avion de chasse.

C’est quoi la différence entre un ETL et un data pipeline?

Instructif ! quel SSIS / ESN conseilles tu pour le marché US/Canada ? Je connais Third Republic

Le terme **ELT** fait référence à un processus d'intégration de données qui signifie **Extract, Load, Transform** (Extraction, Chargement, Transformation). C'est une approche couramment utilisée pour manipuler et préparer des données dans des environnements comme les *datalakes* et les systèmes d'analyse modernes. Voici ce que cela signifie en détail : 1. **Extract (Extraction)** : Les données sont extraites de leurs sources d'origine (comme des bases de données, des fichiers CSV, des API ou des systèmes ERP). Ces sources peuvent être variées et contenir des données dans différents formats et structures. 2. **Load (Chargement)** : Une fois extraites, les données brutes sont directement chargées dans une destination, souvent un *datalake* ou un *data warehouse*. À ce stade, aucune transformation n’a encore eu lieu, ce qui permet de stocker les données dans leur forme native et de préserver leur intégrité. 3. **Transform (Transformation)** : Les données sont ensuite transformées dans l’environnement où elles sont stockées. Cela peut inclure le nettoyage, l'agrégation, la structuration ou la mise en forme pour répondre aux besoins spécifiques d’analyse ou d’exploitation par les utilisateurs finaux. ### Différence entre **ELT** et **ETL** : - **ELT** charge d’abord les données brutes puis les transforme sur place. Cela est particulièrement utile dans les architectures basées sur le cloud, où la capacité de calcul est élastique et où l’on peut manipuler de gros volumes de données directement après leur chargement. - **ETL** (Extract, Transform, Load) effectue la transformation avant de charger les données dans la destination, ce qui est plus traditionnel mais souvent moins adapté aux environnements big data ou cloud. ### Avantages du ELT : - **Flexibilité** : Les données brutes restent accessibles pour plusieurs utilisations, sans avoir été modifiées de façon permanente. - **Traitement à grande échelle** : Dans les environnements cloud, où les ressources de calcul peuvent être massivement parallélisées, le processus ELT permet de traiter des volumes importants de données plus efficacement. - **Rapidité initiale** : Comme les données ne sont pas transformées avant d'être chargées, elles sont disponibles rapidement dans leur état brut. En résumé, le ELT est une approche moderne, particulièrement adaptée aux environnements massifs de données, qui permet une grande flexibilité et un traitement efficace des données dans des systèmes comme les datalakes ou les solutions cloud.

Les fichiers CSV (Comma-Separated Values) sont des fichiers texte utilisés pour stocker des données tabulaires de manière simple et accessible. Chaque ligne du fichier représente un enregistrement, et les champs de cet enregistrement sont séparés par des virgules (ou un autre délimiteur, comme le point-virgule). Le CSV est l’un des formats de données les plus largement utilisés pour l’import/export de données entre différents systèmes. Voici à quoi ils servent principalement : 1. Échange de données : Les fichiers CSV sont souvent utilisés pour transférer des données entre des systèmes différents (comme entre une base de données et un tableur) parce qu’ils sont universellement lisibles. 2. Simplicité : Leur structure est très simple, ce qui les rend faciles à créer et à lire, même manuellement ou via des scripts simples. 3. Compatibilité : Ils sont compatibles avec de nombreux logiciels, notamment les tableurs comme Microsoft Excel, Google Sheets ou des bases de données, ainsi que des outils de traitement de données. 4. Stockage de données légères : Ils sont idéaux pour stocker des données de petite ou moyenne taille sans avoir besoin d’une base de données complète. 5. Analyse de données : En data science ou en analyse de données, les fichiers CSV sont souvent utilisés pour stocker des datasets (ensembles de données) avant d’être chargés dans des outils d’analyse ou des scripts. Bien que simples, les fichiers CSV peuvent poser des problèmes si les données contiennent des virgules dans les champs, ce qui nécessite des mécanismes d’échappement (comme l’encadrement des champs par des guillemets) pour éviter des erreurs de lecture.

Un datalake (ou lac de données) est une solution de stockage qui permet de regrouper de grandes quantités de données brutes, non structurées ou semi-structurées, dans leur format natif. Contrairement aux entrepôts de données (data warehouses) qui organisent et structurent les données, le datalake conserve les données dans leur forme originale jusqu’à ce qu’elles soient prêtes à être utilisées. Voici les principales utilités d’un datalake : 1. Stockage massif et flexible : Il peut accueillir des données de différentes sources, de types variés (fichiers, vidéos, données de capteurs, logs, etc.), sans besoin de transformation immédiate. 2. Faciliter l’analyse big data : Les datalakes sont couramment utilisés pour l’analyse de données massives (big data). Les analystes et les data scientists peuvent exploiter ces données pour des analyses complexes et approfondies à l’aide de technologies comme le machine learning ou des algorithmes d’intelligence artificielle. 3. Réduction des coûts : Stocker les données brutes est moins coûteux que dans un entrepôt de données, car il ne nécessite pas une structuration rigide. 4. Polyvalence des usages : Il permet à différents départements d’une organisation (marketing, ventes, finances, etc.) d’accéder aux mêmes données brutes, mais de les exploiter à des fins différentes. 5. Agilité dans la gestion des données : Les données restent accessibles et peuvent être traitées selon les besoins, laissant la possibilité de s’adapter à des exigences évolutives. En somme, un datalake permet de centraliser et stocker des volumes importants de données diverses, tout en laissant la possibilité de les analyser et de les structurer selon les besoins.

Salut Willis, Tu as dit "être capable de guider le client, de lui faire un poc si nécessaire" (3min6s) Qu'est ce qu'un poc ? Merci à toi :)

Est t’il possible d’etre software et data engineer à la fois

Super clair et intéressant ! Freelance depuis 4 ans (en tant que consultant Lean), cette vidéo résume très bien nos contraintes terrain 🙂 courage à toi !

Salut je suis freelance en région parisienne. Le Canada m'intéresse fortement !! Comment tu as fais pour booser a Montréal ? 🫡

Encore bien dit 🎉 comme d’habitude Courte vidéo mais riche d’infos intéressantes

Il faut avoir un diplôme d'ingénieur en informatique ou bien même avec un diplôme de petits formation Du moment que on est doué pour ce que on fait

C'est super intéressant. Est-ce qu'on peut dire que databricks et le concurrent de BigQuery avec GCP ?

Salut, Comment le data engineer utilise Python et SQL en comparaison du data analyst et data scientist ? Disons que j'obtiens mon diplôme en informatique concentration big data au Canada, comment devenir data engineering plutôt que data analyst ?

Génial la présentation d'outils !