Si l'ETL est l'enfer de l'intégration, comment l'éviter et aller au paradis ?

L'extraction, la transformation et le chargement (ETL) est le processus utilisé depuis des décennies pour partager des données entre des applications, des systèmes transactionnels et des entrepôts de données. Il fonctionne essentiellement de la manière suivante : vous définissez une intégration, vous extrayez les données du système source, vous utilisez certaines règles de mappage et d'agrégation pour transformer les données dans le format requis par le système cible, puis vous chargez (sauvegardez) les données dans la base de données du système cible.

L'enfer de l'ETL

Bien que ce processus semble simple et intuitif, il présente quelques problèmes qui amènent de nombreuses entreprises à s'interroger sur la viabilité de cette pratique. Pour les architectes de solutions et de données, l'ETL peut rapidement devenir un enfer d'intégration.

1. La nécessité de prédéfinir les données qui doivent circuler entre les systèmes et les transformations à effectuer.
2. Déplacer plus de données que nécessaire.
3. La complexité du suivi des données à travers de multiples systèmes.
4. L'effort/le coût de mise à jour des processus ETL au fur et à mesure que les systèmes source et cible changent.
5. Les vulnérabilités de sécurité exposées au cours du processus ETL lui-même.

L'ETL fonctionne très bien dans les situations où vous définissez un système ou un ensemble d'intégrations qui seront stables pendant longtemps - ce qui n'est pas la réalité de la plupart des écosystèmes modernes d'entreprise et d'informatique. La volonté d'agilité de l'entreprise a entraîné une évolution rapide des applications et des processus d'entreprise, augmentant ainsi le coût de l'intégration entre les applications. Les solutions ETL peuvent difficilement support cette évolution de l'intégration des données des applications.

Réduisez considérablement votre charge ETL

La bonne nouvelle pour le secteur informatique est qu'il existe désormais des moyens de réduire votre utilisation de l'ETL et d'aider votre personnel à sortir de l'enfer de l'ETL. Vous pouvez y parvenir en vous appuyant sur trois principes clés :

1. Si vous pouvez utiliser les données directement à partir du système source, ne les copiez pas du tout. La plupart des intégrations de systèmes et des configurations ETL qui ont été mises en place au cours des dernières décennies ont été développées pour pallier la capacité de calcul et les performances des applications individuelles. Les données transactionnelles ont été retirées des systèmes sources et transférées dans des entrepôts de données pour l'établissement de rapports, afin d'éviter que les processus analytiques ne ralentissent les flux de travail transactionnels. Le calcul étant désormais à la fois rapide et bon marché, vos systèmes transactionnels peuvent souvent traiter simultanément des analyses et de nouvelles transactions sans impact mesurable sur les performances.
2. Ne déplacez que les données dont vous avez besoin quand vous devez les utiliser. Passez de la transmission de données en aval à l'extraction de données au moment où elles sont consommées. Cela permet non seulement de réduire la quantité de données copiées entre les systèmes, mais aussi de s'assurer que les données consommées par vos utilisateurs et vos processus d'entreprise sont aussi actuelles que possible. Lorsque vous transmettez des données par l'intermédiaire d'un système, vous devez relever le défi de maintenir les données cibles à jour par rapport aux modifications apportées au système source. En extrayant les données lorsque vous en avez besoin, toutes les modifications ont déjà été appliquées.
3. Prévoir le changement. Alors que l'ETL était conçu pour la stabilité, les environnements informatiques modernes sont conçus pour l'agilité. Cela signifie que vous devez passer d'intégrations fixes et prédéfinies et de définitions ETL à une solution qui centralise votre gestion des connexions et rend les données disponibles dans toute l'entreprise. Il peut s'agir d'un entrepôt de données opérationnel ou simplement d'un bus de données d'entreprise. Ce que vous recherchez, c'est la flexibilité et la capacité de reconfigurer votre flux de données lorsque les besoins de l'entreprise ou les systèmes changent.

Pour sortir de l'enfer de l'ETL et trouver une solution qui ressemble davantage à un paradis de données, il faut commencer par développer un état d'esprit plus agile sur la façon dont les données circulent dans votre organisation. Ne supposez pas que vous saurez à l'avance ce dont votre entreprise aura besoin, ni que les systèmes dont vous disposez aujourd'hui seront ceux que vous aurez demain dans votre environnement informatique. Recherchez des plateformes modernes plateformes gestion des données comme Actian, qui vous permettront de gérer vos connexions de manière cohérente, d'agréger vos données pour les utiliser dans toute l'entreprise et de fournir les outils d'analyse nécessaires pour obtenir les informations dont vous avez besoin aujourd'hui et un nouvel ensemble d'informations demain.

À propos d'Actian Corporation

Actian facilite l'accès aux données. Notre plateforme de données simplifie la façon dont les gens connectent, gèrent et analysent les données dans les environnements cloud, hybrides et sur site . Avec des décennies d'expérience dans la gestion des données et l'analyse, Actian fournit des solutions de de haute performance qui permettent aux entreprises de prendre des décisions basées sur les données. Actian est reconnu par les principaux analystes et a reçu des prix de l'industrie pour sa performance et son innovation. Nos équipes partagent des cas d'utilisation éprouvés lors de conférences (par exemple, Strata Data) et contribuent à des projets à code source ouvert. Sur le blog d'Actian, nous abordons des sujets tels que l'ingestion de données en temps réel, l'analyse de données, la gouvernance données, la gestion des données, la qualité des données, l'intelligence des données et l'analyse pilotée par l'IA.