Retour vers le futur pour les fichiers plats - Partie 3

Pourquoi les développeurs d'applications logicielles Embarqué devraient se débarrasser des fichiers plats avant d'avoir à exécuter Dump sur eux

Il y a quelques semaines, j'ai écrit un premier billet sur les fichiers plats et sur les raisons pour lesquelles les développeurs d'applications logicielles d'Embarqué les ont facilement adoptés. Dans le blog suivant, j'ai expliqué pourquoi les développeurs d'Embarqué sont réticents à l'idée d'utiliser des bases de données. Dans ce troisième article, j'aimerais aborder les raisons pour lesquelles ils devraient envisager d'abandonner les fichiers plats - après tout, le vieil adage devrait s'appliquer ici : "Si ce n'est pas cassé, ne le réparez pas" devrait s'appliquer avant de discuter des raisons pour lesquelles une option est meilleure qu'une autre.

Souffrez-vous du syndrome "Qui a déplacé mon fromage" ?

Dans la plupart des cas, le changement ne se produit pas d'une manière que nous reconnaissons immédiatement et à laquelle nous nous sentons obligés de réagir. C'est certainement le cas de l'intelligence artificielle et des facteurs qui la favorisent.

Considérés individuellement, des changements tels que l'augmentation des capacités lors du passage d'un processeur 32 bits à un processeur 64 bits, ou l'augmentation de la vitesse et de la taille de la DRAM, la possibilité d'utiliser des outils et des environnements d'exploitation plus sophistiqués par une communauté plus large de développeurs et de scientifiques des données, ainsi que la possibilité d'exploiter des algorithmes plus complexes capables de mettre en œuvre l'apprentissage automatique, ne dictent pas la nécessité de passer des fichiers plats à un autre système de gestion des données en périphérie.

Cependant, le moteur du changement réside dans les demandes externes qui pourraient être satisfaites par la confluence de ces changements, ce qui ouvrirait une myriade de nouvelles possibilités pour les entreprises d'automatiser et d'améliorer la prise de décision au point d'action, c'est-à-dire à la périphérie de l'entreprise.

Quel est donc le rapport entre le syndrome "Who Moved My Cheese" et toutes ces nouvelles possibilités qui obligent les développeurs utilisant des fichiers plats à changer ? C'est simple : les fichiers plats peuvent encore faire le travail - mais pas aussi bien - et c'est ce qui crée une ouverture pour lutter contre le changement.

En général, lorsque ceux qui ont une réelle expertise utilisent une méthodologie éprouvée qui est encore capable de répondre de manière sous-optimale à une nouvelle exigence, il est dans la nature humaine de vouloir justifier et forcer l'utilisation continue de cette méthodologie sous-optimale. Voyons pourquoi les fichiers plats ne sont pas optimaux pour gérer cette confluence de nouvelles ressources de calcul et le désir de les exploiter pour la fusion à venir de l'Internet industriel des objets (IIoT) et de l'intelligence artificielle (IA).

Pour vous, c'est peut-être du fromage qui pue, mais c'est mon parfum préféré !

Les fichiers plats sont simples à utiliser, fiables et ne coûtent rien puisqu'ils sont fournis avec le système d'exploitation sous-jacent, il n'est donc pas étonnant qu'ils soient si largement adoptés. Cependant, le passage du en silo, du faible débit de données et du traitement simple à l'IIoT hyperconnecté avec l'IA à la périphérie signifie que les fichiers plats ne passeront pas le test de l'utilisation à l'avenir pour les trois raisons suivantes :

1. La demande croissante d'intelligence périphérique et, en particulier, d'IIoT, entraînera la nécessité d'une gestion des données distribuée des données et pas seulement d'un simple stockage et d'une récupération des données au niveau local.
   Les systèmes de fichiers sont en réalité des systèmes de stockage de données - le niveau de base de la gestion des données , mais pas une gestion des données complète gestion des données en soi. Et bien que les systèmes de fichiers de pointe incluent souvent la réplication, la défragmentation, le cryptage et d'autres fonctionnalités clés de la gestion des données moderne gestion des données , ils ne remplacent pas les systèmes de gestion de contenu et encore moins les systèmes de gestion des enregistrements ou de base de données qui couvrent des fonctionnalités plus avancées, notamment l'indexation intégrée, le filtrage, les requête sophistiquées, le client-serveur, le peer-to-peer et d'autres fonctionnalités clés nécessaires à la gestion des données Edge gestion des données dans les cas d'utilisation de l'IoT.
2. L'intelligence moderne en périphérie a besoin d'un Support pour l'analyse en ligne basée sur plus que les flux de données locaux.
   Le traitement et l'analyse des données en périphérie ont été largement limités à un simple traitement de données sur un seul flux de données et un seul type de données traité comme un ensemble de données de séries temporelles avec un filtrage temporel pour un meilleur rapport signal-bruit (RSB) ou pour rejeter les données qui ne se sont pas écartées d'un certain seuil non remarquable. À l'avenir, il y aura de multiples flux et types de données avec des modèles de base qui seront référencés, corrélés, avec des algorithmes d'apprentissage automatique appliqués. Ces approches plus sophistiquées peuvent nécessiter des données provenant d'appareils voisins, des données en amont provenant de systèmes aussi éloignés que les systèmes ERP dans le centre de données. Fonctionnalité intégrée pour les jointures entre plusieurs tables, capacité à gérer le streaming différents types de données, publication et abonnement pour le peer-to-peer et le client-serveur. Ces exigences sont beaucoup plus sophistiquées et ne sont pas faciles à construire à partir de zéro comme l'indexation simple, le tri, et d'autres ajouts typiques de bricolage de fichiers plats ont été conçus dans le passé. Avec un système moderne de gestion des données , toutes ces fonctionnalités sont hyper-connectées et l'interopérabilité avec les standards de streaming données comme Kafka ou Spark est une évidence.
3. Le cycle de vie de l'apprentissage automatique, les rapports et les outils de visualisation ont besoin d'une récupération plug-and-play basée sur des normes industrielles supérieures à celles des systèmes de fichiers.
   Il ne s'agit pas seulement de réinventer la roue en matière de fonctionnalité locale pour l'analyse en ligne afin de support apprentissage automatique ; il s'agit également du fait que l'apprentissage automatique a un cycle de vie qui comprend l'apprentissage algorithmes avec des ensembles de données provenant de la périphérie. Après l'apprentissage, les algorithmes sont ensuite déployés de manière non supervisée à la périphérie pour effectuer l'inférence ML sur de nouvelles données. Le reporting et la visualisation sont essentiels pour analyser le fonctionnement de la ML et obtenir les résultats commerciaux escomptés. Là encore, les systèmes modernes de gestion des données en périphérie sont dotés de fonctionnalités intégrées pour faciliter l'utilisation de ces outils et support ces objectifs.

Certes, dans tous les cas, les systèmes de fichiers restent nécessaires. La plupart des bases de données, des historiens ou d'autres systèmes de gestion des données développés en interne utilisent toujours des systèmes de fichiers pour le stockage des données. De plus, avec suffisamment de force brute et de sueur, vous pouvez toujours réinventer la roue en ajoutant de la logique pour support n'importe quelle fonctionnalité trouvée dans un système prêt à l'emploi. Les problèmes liés à l'adoption d'une approche fondée sur les fichiers plats sont les coûts d'opportunité, la réduction de la vitesse d'innovation et les lacunes en matière d'adéquation aux besoins, créées par la nécessité de construire une roue beaucoup plus grande et beaucoup plus sophistiquée. Dans la prochaine partie, nous examinerons exactement ce qui est nécessaire dans un système moderne de gestion des données .

Actian est le leader du secteur des entrepôts de données opérationnels et des solutions de gestion des données en périphérie pour les entreprises modernes. Avec un ensemble complet de solutions connectées pour vous aider à gérer les données sur site, dans le nuage et à la périphérie avec le mobile et l'IoT. Actian peut vous aider à développer les bases techniques nécessaires pour support une véritable agilité commerciale. Pour en savoir plus, visitez le site www.actian.com.

À propos d'Actian Corporation

Actian facilite l'accès aux données. Notre plateforme de données simplifie la façon dont les gens connectent, gèrent et analysent les données dans les environnements cloud, hybrides et sur site . Avec des décennies d'expérience dans la gestion des données et l'analyse, Actian fournit des solutions de de haute performance qui permettent aux entreprises de prendre des décisions basées sur les données. Actian est reconnu par les principaux analystes et a reçu des prix de l'industrie pour sa performance et son innovation. Nos équipes partagent des cas d'utilisation éprouvés lors de conférences (par exemple, Strata Data) et contribuent à des projets à code source ouvert. Sur le blog d'Actian, nous abordons des sujets tels que l'ingestion de données en temps réel, l'analyse de données, la gouvernance données, la gestion des données, la qualité des données, l'intelligence des données et l'analyse pilotée par l'IA.