ETL – Comment gérer intelligemment sa data pour en tirer le maximum ?
Quel que soit le secteur, votre activité repose sur des milliers et parfois des millions de lignes de données : clients, stocks, produits, commandes, prix. Aujourd’hui, toutes les entreprises sont dépendantes de la bonne gestion de cette data… c’est devenu le nerf de la guerre !
Or, vous avez certainement une partie de cette donnée dans votre ERP ou votre logiciel de caisse, une autre partie sur votre site internet, encore un bout dans un CRM et parfois même dans un PIM. Créer des outils de pilotage est devenu un vrai casse-tête : il faut sans cesse extraire, nettoyer et agréger cette donnée.
Comment harmoniser ma liste de clients si mon CRM distingue leur nom et le prénom et pas mon site web ? Comment seront traités les doublons ? A quelle fréquence faire mes exports de mise à jour ? Comment exporter les données de mon site web autrement qu’à la mano ? Pourquoi ai-je toujours peur de perdre des données en route ? Comment gagner du temps ?
Pour répondre à toutes ces problématiques, il existe les ETL (Extract-Transform-Load), des interfaces entre les sources de données et une cible de stockage ou d’analyse.
ETL, mode d’emploi
Un ETL (Extract-Transform-Load) est un outil permettant l’extraction des données des systèmes sources (fichiers Excel, Access, SGBD, ERP, CRM) et leur transfert vers un entrepôt de données (Datawarehouse).
Ce processus existe depuis longtemps, mais a beaucoup évolué pour répondre aux nouveaux besoins liés à l’essor du Cloud, des SaaS et du Big Data.
Ce processus existe depuis longtemps, mais a beaucoup évolué pour répondre aux nouveaux besoins liés à l’essor du Cloud, des SaaS et du Big Data.
Aujourd’hui, vous pouvez être amenés à prendre un ETL pour 3 usages principaux :
– MISE A JOUR : Dans le cadre d’une mise à jour d’un logiciel, vous avez besoin de migrer des données vers un support plus moderne, qui ne prend pas en compte le format proposé par votre ancien support.
– CRÉATION : Si vous créez un nouveau site de e-Commerce ou que vous mettez en place un nouvel ERP ou CRM, il est essentiel d’y intégrer immédiatement vos données existantes sans avoir besoin de toutes les ressaisir.
– OPTIMISATION : la mise en place d’un ETL peut également permettre de gagner du temps puisqu’elle va automatiser les flux de données entres vos différents outils. Cela vous évitera des tâches de saisies laborieuses, chronophages et sources d’erreurs.
CÔTÉ GEEK : ZOOM SUR LES FONCTIONNALITÉS D’UN ETL
Le processus ETL repose sur 3 étapes :
• 1 – EXTRACTION DES DONNÉES : Ce processus identifie les données pour ensuite les prélever de leurs systèmes de stockage à différents endroits. Ces données peuvent provenir d’un ERP, d’un SGBD, de fichiers à plat ou d’applications.
Il y a 2 types de chargement à faire : le chargement initial (Full Load) qui est le tout premier chargement des données de l’entreprise dans l’entrepôt et les chargements incrémentiels (Delta). C’est le fait d’ajouter des données à un entrepôt existant. Une opération qui va se répéter dans le temps, chaque jour, par exemple et ne chargera que les informations nouvelles.
Il faut ensuite étudier les sources pour définir sa stratégie de chargement (Push, Pull ou Push/Pull).
• 2- TRANSFORMATION DES DONNÉES : Les données extraites sont dénormalisées, nettoyées de leurs doublons et contextualisées. Elles sont ensuite converties dans un format approprié pour pouvoir être acceptées par l’entrepôt de données. Une fois ce processus validé, les données sont chargées physiquement vers le système cible.
• 3 – CHARGEMENT DES DONNÉES : Les données transformées sont alors chargées dans l’entrepôt cible soit dans une base de données ou un datawarehouse (entrepôts de données), où elles sont disponibles. Elles peuvent ensuite être facilement exploitées, analysées par un autre outil (Datavisualisation, ERP, site web…)
L’ETL, un outil d’interconnexion des systèmes d’information
Toute société qui souhaite développer sa stratégie et atteindre des objectifs ne peut le faire sans une bonne gestion de ses flux de données. Les enjeux de cette gestion sont la fiabilité des informations, la rapidité de chargement et de traitement ainsi que la pertinence de la transformation de la donnée pour pouvoir s’adapter aux outils de l’entreprise et à l’usage qui en est fait.
PAR EXEMPLE :
Le compte d’un de vos clients peut être enrichi à la fois sur votre site Prestashop (une nouvelle commande), sur votre ERP Cegid (un paiement enregistré en comptabilité) et sur votre CRM Salesforce (une nouvelle prise de contact commerciale).
Il est indispensable que Prestashop soit informé du paiement enregistré sur Cegid pour que le solde consulté par le client soit à jour. Il faut aussi que Salesforce connaisse cette information, cela évitera au commercial de relancer son client. De la même manière, Cegid doit être informé de la nouvelle commande enregistrée par le site web pour éditer une facture ; et ainsi de suite…
Or ces informations ont besoin d’être transformées pour être prises en charge par chacun de ces outils. Tout d’abord parce que chaque logiciel utilise un langage informatique différent. Mais aussi parce que pour le CRM, ce paiement va rejoindre un compte client identifié par un nom, un prénom, une fonction, une entreprise et des coordonnées. Pour l’ERP ce paiement ne correspond qu’à une ligne de facture. Et pour Prestashop ce paiement correspond à un numéro de commande.
C’est pourquoi, il est parfois nécessaire d’utiliser un webservice pour normer les méthodes de traitement de la donnée entre chaque outil.
Une bonne gestion de flux permet de tirer pleinement profit des outils choisis (ERP, CRM, PIM et site internet). Et une donnée bien traitée devient alors le support de travail des fonctions-clés de votre entreprise : Gestion des expéditions et donc des stocks, commerciaux, comptabilité mais aussi DRH, DSI, contrôleurs de gestion, marketing.
Comment bien choisir une solution ETL ?
Qualité du transfert, préparation, intégration et synchronisation de la donnée, gestion des données de référence, migration, API… Le choix d’un bon ETL et la qualité du paramétrage de sa connexion à vos outils (site web, ERP, PIM, CRM) sont essentiels pour vous faire réellement gagner du temps sans perdre de données.
Les besoins seront différents d’un secteur à l’autre et d’une entreprise à l’autre. Votre partenaire doit prendre le temps de comprendre vos process dans le détail. Pour gagner du temps, l’idéal serait qu’il connaisse déjà votre secteur d’activité, demandez-lui ses références et sa méthodologie. Le temps consacré à cette analyse métier doit être important et optimisé par des questions précises. Si votre partenaire a l’habitude de ces analyses ETL, il saura vous demander quelle donnée est attendue. S’il connait vos outils, il sait quelles données en tirer et éviter certains pièges de conversion.
Lors du choix de votre partenaire, soyez vigilant à :
– L’expérience : maturité des solutions proposées, références en ETL, capacité à comprendre votre secteur d’activité
– La flexibilité : il existe des ETL Propriétaires et des ETL Open Source. Ce second choix vous permettra une totale personnalisation et évolutivité de la gestion de votre donnée.
– Les compétences : la gestion d’un ETL demande des compétences de développement et d’infrastructure informatique.
Chez Soledis, nous avons acquis une solide expérience dans l’interfaçage de systèmes ERP, PIM, CRM avec des solutions e-commerce Prestashop, Woocommerce… On compte aujourd’hui 180 ERP ou CRM clients connectés. Nous avons bien compris les enjeux de croissance que représentent les flux de données au sein des entreprises. Optimiser et rationaliser vos processus passent notamment par l’automatisation de la logistique, une mise à jour automatique de vos catalogues produits ou encore un accès à vos stocks en temps réel…. Nous travaillons avec des solutions Open Source que notre équipe de développeurs contribue à améliorer de jour en jour. Nous pouvons donc répondre précisément à vos besoins. Par ailleurs, notre offre à 360° comprend également l’hébergement des services et le conseil en Business Intelligence côté webmarketing. Nous vous proposons donc un accompagnement complet sur mesure.
Chez Soledis, nous avons acquis une solide expérience dans l’interfaçage de systèmes ERP, PIM, CRM avec des solutions e-commerce Prestashop, Woocommerce… On compte aujourd’hui 180 ERP ou CRM clients connectés. Nous avons bien compris les enjeux de croissance que représentent les flux de données au sein des entreprises. Optimiser et rationaliser vos processus passent notamment par l’automatisation de la logistique, une mise à jour automatique de vos catalogues produits ou encore un accès à vos stocks en temps réel….
Nous travaillons avec des solutions OpenSource que notre équipe de développeurs contribue à améliorer de jour en jour. Nous pouvons donc répondre précisément à vos besoins. Par ailleurs, notre offre à 360° comprend également l’hébergement des services et le conseil en Business Intelligence côté webmarketing.
Nous vous proposons donc un accompagnement complet sur mesure.
POUR ALLER PLUS LOIN…
Savez-vous tirer profit de vos données ? Découvrez notre solution de datavisualisation !
Quelle catégorie de produits marche le mieux ? Ma dernière campagne promotionnelle a-t-elle fait évoluer le panier moyen ? Un outil de datavisualisation permet d’obtenir une vue consolidée des données pour vous aider à prendre les bonnes décisions plus rapidement.
L’objectif de la Business Intelligence de collecter des informations brutes depuis les bases de données opérationnelles, de les transformer et de les restituer sous forme de rapports ou tableaux de bord. Un ensemble d’outils, de moyens et de méthodes qui doit permettre une aide à la prise de décision. C’est un des outils qui bénéficie de la donnée collectée et traitée par un ETL.
