Importer tous les fichiers d'un dossier avec Power Query
HTML-код
- Опубликовано: 20 июл 2024
- Nous construisons souvent des fichiers hebdomadaires ou mensuels. Récupérer les données de ces fichiers qui ont tous la même forme dans une seule table peut devenir un casse-tête que nous allons résoudre ensemble !
Dans ce tuto, je montre les prérequis pour récupérer plusieurs fichiers dans des dossiers Sharepoint, comment les transformer et donc les exploiter sur Power BI.
En réalisant cette manipulation, l'ajout de fichiers dans les bons dossiers entraînera son import automatique dans le jeu de données, sans même modifier la structure du rapport Power BI ;)
Niveau sur Power Query : Expert
Dis-moi ce que tu en penses dans les commentaires.
Mon adresse email pour toute question: contact@cybermatik.fr
Besoin d'aide? Je suis disponible pour t'aider via les deux moyens suivants:
Freelancing via Malt: www.malt.fr/profile/dimitrigo...
Prestation à la carte: outlook.office365.com/owa/cal...
Rejoins-moi sur les réseaux sociaux :
LinkedIn : / cybermatik2
Facebook : / cybermatik-10490552171...
Twitter : / cybermatik_
Épisode 130 de Cybermatik - Importer les fichiers d'un dossier sharepoint dans une seule requête
Chapitres
00:00 Introduction
00:56 Présentation du besoin
03:29 Configurer la transformation en fonction
05:28 Récupération de l'ensemble des fichiers du dossier Sharepoint
06:47 Utilisation de la fonction de transformation pour récupérer les tables des fichiers
08:47 Exploitation des données dans Power BI
09:33 Test d'ajout d'un fichier
11:43 Conclusion
Présentateur: Ton geek Dimitri sur les logiciels de bureautique: Excel, Power BI, Power Automate, Power Apps, Office, Windows, Word, Powerpoint et VBA pour applications. 
Наука
Première fois de ma vie qu'une vidéo réponds à toutes mes questions. Un grand merci chef
Un message qui fait très plaisir :) C'est la communauté qui me rappelle pourquoi j'adore tourner des tutos :) Merci beaucoup !
Au top c'est super clair merci beaucoup !! Est-ce qu'il est possible d'importer des fichiers d'un dossier SharePoint Online?
Bonjour Aurélie, merci pour ton message :)
Oui, tu peux tout à fait importer des fichiers provenant de Sharepoint ou de Onedrive.
J'ai fait un tuto sur le sujet :ruclips.net/video/ccuv-JaKmKk/видео.htmlsi=8GXyGoczLBFMDpJE
Redis-moi si tu as besoin de précisions.
Good luck :)
Bonjour. Bravo pour la vidéo. J'aimerai un conseil : Quand on travaille avec plus de 1000 fichiers, comment faire pour que Powerquery ne recrute que les fichier modifiés depuis la dernière mise à jour pour ne pas tout rééplucher à chaque fois ?
Hello Benoit,
Merci pour ton message ;)
Cela dépend de ce que tu souhaites en termes de résultats.
1- Tu veux tous les fichiers et n'ajouter que les derniers 1000 ou 2- ton tableau de bord ne doit que comporter les 1000 derniers fichiers modifiés.
Dans le cas 1:
- Je laisserais mon rapport tourner tel que tu l'as construit, et j'utiliserai Power BI Online avec des mises à jour planifiées la nuit pour avoir mon résultat exploitables le matin. Tu peux planifier 8 maj par jour avec des espaces gratuit /pro et 48 avec des espaces premium. Tu n'auras donc qu'à utiliser ton rapport/application et à rafraîchir la vue pour visualiser les dernières données.
Dans le cas 2:
J'ajouterai un paramètre de date dans Power Query qui soustrairait à la date/heure du jour la fréquence de rafraîchissement que tu définis. De cette manière, tu peux filtrer par date de modification supérieure à ce paramètre, et éviter le chargement lourd et chronophage de l'ensemble des fichiers.
Good luck ;)
Merci en fait les fichiers sont sur serveur interne, et je voudrai mettre a jour que les fichiers modifiés et les nouveaux sinon c'est plus d'1h de traitement
Benoit,
Il est difficile pour moi d'apporter une réponse technique fiable sans connaitre la structure de ton serveur interne et les informations qu'il fourni lors de la connexion avec Power Query.
Dans tous les cas la solution 1 est fonctionnelle, celà impliquera que tu installes un gateway power bi sur une machine toujours connectée à ton serveur (une VM dispo ?) pour faire les appels à ton serveur pour faire les maj.
Si tu as besoin de plus de précisions, n'hésite pas à me contacter en direct: contact@cybermatik.fr
Bonne journée.
Bonjour, super vidéo ! Est-ce possible d'importer d'autres informations (poids des fichiers) ? Si oui, comment ? Merci
Bonjour Celia,
Merci pour ton message et content si ça a pu te servir. Cette vidéo, c'est celle que je consulte moi-même le plus étant donné la technicité de la manip.
Je viens de tester avec du CSV et j'arrive à importer plusieurs fichiers et à la combiner comme montré en fin de vidéo.
Depuis que j'ai publié ce tuto, j'ai découvert une méthode plus simple avec Excel, et qui permet également de mieux adapter la requête pour des fichiers d'autres types.
À ma connaissance, il n'y a pas de limites de taille dans l'absolu sur la version Desktop de Power BI, par contre en ligne selon ta licence utilisateurs, tu pourrais être confronté à des limitations.
On parle en GO de données donc on a généralement le temps de voir venir.
Je posterai bientôt la vidéo à ce sujet ;)
Bonne journée.
Hello elle est géniale votre video.
Merci bien car, elle m'a permis d'optimiser plusieurs traitements.
Je suis tomber sur un cas particulier et une petite question me tarode:
- J'ai 10 fichiers,
- dont la moitié contient 4 colonnes en moins que les autres, (toutes les autres colonnes étant identiques)
- a partir de votre fonction, existe t'il une astuce qui peut me permettre de néamoins combiner les 10 fichiers et de juste rajouter les valeurs null dans les 5 fichiers où lesdites colonnes n'existent pas?
Power query le fait de manière automatique mais j'y comprends rien à ses fonctions et ses paramètres.😅
Davance, merci de votre retour.
Hello Martial,
Merci pour ton message ;)
Dans ton cas je te recommande de faire deux combinaisons de fichiers différentes, l’une pour les fichiers à 10 colonnes et l’autre à pour ceux à 4.
Ensuite tu ajoutes ces deux requêtes afin d’agréger toutes les colonnes qui peuvent l’être et récupérer les autres avec des valeurs nulles.
L’idéal est de stocker ces fichiers dans des dossiers différents pour éviter les galères à l’import.
Good luck ;)
Bonjour super vidéos, très clair.
Je me sers de cette fonction pour importer des exports mensuels et les combiner.
Le soucis et sur ces exports je n’ai pas la distinction « Année »
jusque là, j’ajoutais les fichiers un par un dans query et ajoutais une colonne personnalisée qui m’évitait de modifier l’export.
Existerai-t-il une solution alternative, il faudrait que peut être je crée des dossiers par années ?
Hello Lucas, merci beaucoup ;)
La méthode que j'utiliserais est de me baser sur la date de création ou de modification de tes fichiers d'import. A 6,44' dans la vidéo, je montre les colonnes à supprimer, conserves les colonnes de dates.
Grâce à celles-ci, et après développement de tous les fichiers, tu devrais également récupérer les dates de création/modification. Tu n'auras plus qu'à modifier le format de celle-ci pour en distinguer la période (l'année dans ton cas). Il te faudra peut-être décaler tes dates de quelques jours en arrière si tu fais tes exports du mois précédent la 1re semaine du mois en cours, mais je suis confiant sur la faisabilité ;)
Redis-nous si ça a fonctionné pour toi !
@@Cybermatik effectivement cela marche bien ! Dans le cas où le fichier d’export n’est pas amené à être modifié par quelqu’un.
J’ai une deuxième question, je ne sais pas si tu l’as abordé dans d’autres vidéos.
J’ai une requête de plus de 5 millions de lignes que j’utilise sous forme de tcd pour analyse. Cette requête est complétée par des fichiers d’export mensuels. Le soucis est que dès que je veux générer ou modifier un tcd lié à cette requête, l’actualisation s’effectue à chaque fois et c’est long… Alors que réellement cela serait suffisant que je l’actualise manuellement 1 fois par mois.
Merci pour tes retours et supers vidéos ça aide beaucoup !
Hello Lucas,
As-tu envisagé l'utilisation de Power BI pour combler ton besoin ?
Tu pourrais gérer le cas que tu nous exposes en créant un jeu de données pour les 5M lignes et un second pour les imports mensuel Excel.
Tu pourras avec Power BI cloud planifier tes mises à jour de manière désynchronisée entre ces deux jeux de données, et tes visuels PBI seront réactifs tout de suite.
Je ne pense pas que tu t'en sortira avec Excel pour ton dernier besoin.
@@Cybermatik Oui tu as raison, je pense que c’est la prochaine étape. Mais je voulais d’abord avoir des bases de données fiables avant d’y passer dessus. Mais si tu me dis que cela peut régler le soucis, je vais m’y attarder!