Retour vers le futur pour les fichiers plats - Partie 1

Pourquoi les développeurs d'applications logicielles Embarqué ont-ils adopté les fichiers plats ?

Récemment, mon collègue du marketing produit d'Actian, Pradeep Bhanot, a écrit un excellent blog sur les historiens de données dans lequel il appelle à leur retrait en faveur de bases de données plus modernes pour support traitement et l'analyse des données de séries temporelles. Mais, d'une certaine manière, les historiens ne sont pas aussi historiques que l'une des solutions degestion des données Embarqué les plus enracinées : le fichier plat. En fait, je soupçonne que l'utilisation de fichiers plats est bien plus répandue que l'utilisation de bases de données ou d'historiens comme moyen d'Embarqué gestion des données. C'est difficile à prouver parce que les analystes n'en font pas une catégorie distincte de solutions de gestion des données , comme ils le font pour les bases de données ou les entrepôts de données dans le nuage. Nous rencontrons des clients dans notre base installée ainsi que des prospects qui utilisent activement des fichiers plats - et pas seulement dans leurs anciennes conceptions.

Pourquoi avons-nous vu toutes les adoptions de fichiers plats dès le départ ?

Si vous êtes un développeur et que vous écrivez du code pour collecter des données technologiques opérationnelles à partir de capteurs et d'autres systèmes périphériques, vous écrivez probablement votre code en C, C++, C# ou dans un autre langage de programmation qui vous donne un accès direct aux données ingérées par les dispositifs. Par exemple, à l'époque où j'étais ingénieur, j'utilisais les instructions inp() et outp() (ou, pour me situer dans le temps, une série de registres adressés en langage assembleur, je crois que je souffre du syndrome de stress post-traumatique). Vous vous apercevez rapidement que vous avez besoin d'un endroit et d'un moyen de stocker les données de manière plus permanente que l'allocation de mémoire temporaire au sein de votre programme. Le chemin de moindre résistance est un fichier. Après tout, c'est l'approche la plus simple et presque tous ceux qui suivent un cours de programmation ou qui l'apprennent eux-mêmes peuvent utiliser le système de fichiers.

Les dossiers plats étaient "suffisants" pour lagestion des données traditionnellegestion des données Embarqué

Si ce qui précède explique pourquoi vous avez la possibilité d'adopter, il n'explique pas en détail pourquoi les fichiers plats étaient une bonne solution à l'époque. Permettez-moi de vous donner quelques raisons essentielles pour lesquelles ils étaient suffisants :

1. Le silo des choses signifiait que toutes les données étaient collectées au niveau local

Les systèmes de fichiers stockent les données localement, ce qui était plus que suffisant pour la plupart des applications d'embarquement de Embarqué à la périphérie, car elles étaient purement destinées à un usage local. Il n'était pas nécessaire de disposer de données supplémentaires provenant de flux de données parallèles, et encore moins de les fusionner avec d'autres types de données et de les partager sur des réseaux. Les systèmes de fichiers autonomes sans transfert de données sur le réseau étaient donc suffisants. Les préoccupations relatives à la streaming ou à l'extraction, la transformation et le chargement (ETL) vers un autre système n'étaient pas un obstacle majeur.

2. Il n'y avait pas tant de données, de traitement de données ou d'analyses que cela.

Jusqu'à récemment, la plupart des technologies opérationnelles disposaient de ressources de calcul très limitées : microcontrôleurs 32 ou 16 bits, DRAM inférieure à un Mo, mémoire flash ou EPROM limitée, etc. Si vous ne connaissez pas ces termes, dites-vous qu'il s'agit de l'Oldsmobile de votre père. Les ressources disponibles étant limitées, la plupart des logiciels étaient là pour effectuer un contrôle direct de l'appareil par rapport à un processus spécifique, et les données collectées servaient principalement à support ce processus, et non à l'instrumenter ou à l'analyser pour informer les opérations actuelles ou futures de ce processus.

3. Ce sont mes données, je suis le seul à les utiliser, alors foutez-moi la paix !

Spécifications pour le développement de logiciels ? Commentaires, qui a besoin de commentaires ? Les développeurs OT sont souvent les seuls à utiliser le logiciel qu'ils développent et les données générées par leur code ne sont généralement vues que par eux et éventuellement par quelques experts en validation de tests d'un côté et en service et support l'autre. Encore une fois, parce que les données ont été générées par eux et pour eux, la nécessité de partager ces données avec un analyste commercial ou un scientifique de données au siège, sans parler de la ligne d'activité, aurait semblé un peu farfelue. Les professionnels traditionnels de l'informatique et de la cybersécurité dans le centre de données n'auraient pas été sollicités et n'auraient pas ressenti le besoin de s'impliquer dans ces projets.

Respecter l'héritage, mais avancer vers l'avenir

Je comprends, j'ai moi-même été l'un de ces ingénieurs OT, comme je l'ai mentionné plus haut. Si vous êtes un développeur de logiciels, il y a certains avantages à commencer avec des systèmes de fichiers, mais avec le monde de plus en plus hyperconnecté pour les périphériques d'aujourd'hui - alias IoT, beaucoup plus de ressources, je peux avoir un Raspberry Pi pour moins qu'une vraie tarte fantaisie, et la nécessité de partager les données pour favoriser l'agilité de l'entreprise, l'innovation, et rendre OT plus réactif et moins coûteux, il y a un besoin de changement. Dans le prochain article de cette série, nous verrons pourquoi les développeurs de logiciels d'OT sont réticents à abandonner leurs systèmes de fichiers plats et à passer à des systèmes modernes de gestion des données .

Actian est le leader du secteur des entrepôts de données opérationnels et des solutions de gestion des données en périphérie pour les entreprises modernes. Avec un ensemble complet de solutions pour vous aider à gérer les données sur site, dans le nuage et à la périphérie avec Mobile et IoT. Actian peut vous aider à développer les bases techniques nécessaires pour support une véritable agilité commerciale. Pour en savoir plus, visitez le site www.actian.com.

À propos d'Actian Corporation

Actian facilite l'accès aux données. Notre plateforme de données simplifie la façon dont les gens connectent, gèrent et analysent les données dans les environnements cloud, hybrides et sur site . Avec des décennies d'expérience dans la gestion des données et l'analyse, Actian fournit des solutions de de haute performance qui permettent aux entreprises de prendre des décisions basées sur les données. Actian est reconnu par les principaux analystes et a reçu des prix de l'industrie pour sa performance et son innovation. Nos équipes partagent des cas d'utilisation éprouvés lors de conférences (par exemple, Strata Data) et contribuent à des projets à code source ouvert. Sur le blog d'Actian, nous abordons des sujets tels que l'ingestion de données en temps réel, l'analyse de données, la gouvernance données, la gestion des données, la qualité des données, l'intelligence des données et l'analyse pilotée par l'IA.