Les paragraphes qui suivent décrivent comment les données peuvent être traitées automatiquement à grande échelle. Des fonctionnalités conviviales comme le glisser/déplacer, la capacité à être utilisée quell que soit le terminal, la notification automatique enc as d’erreur et la génération en continue de la documentation permettent une réponse rapide et adaptée à tous vos besoins. Sans oublier une collaboration mieux organisée entre l’IT et les services utilisateurs.
Certains prérequis sont cependant nécessaires comme l’identification et la localisation précises des données à utiles traiter. Donc, quelles sont les données à transmettre ? Quel format utiliser ? Une analyse précise de la qualité des données vous permettra d’effectuer des corrections qui éviteront également bien des erreurs de traitement. Une fois ces points éclaircis, vous pouvez vous attaquer à l’intégration de données.
1ère étape : d’où viennent les données.
La première question est de savoir d’où viennent les données. Cette tâche est réalisée par un “agent d’entrée” qui reçoit les données à traiter. Le cas le plus simple est “la pompe à données” où les données reçus sont directement transférées sans aucun traitement ni mapping vers une ou plusieurs destinations. Le logiciel d’intégration doit pouvoir activement collecter les données, une fois ou de façon récurrente ou passivement attendre que des données lui soient transférées pour être traitées. En d’autres termes le logiciel doit pouvoir agir en tant que serveur ou en tant que client tout en contrôlant bien entendu le timing les opérations de collecte, par dates ou par intervale. Un tel logiciel doit fournir des connections directes vers le maximum de systémes tels que par exemple : AS2, OFTP, X-400, SMTP, POP3 et IMAP, HTTP(S), FTP(S) et SFTP, SQL, MQTT, AMQP. WebDAV ou encore SCP.
2ème étape : Quelles structures de données sont névessaires.
La structure correspondant aux données d’entrée ainsi que le type de document sont définis lors de l’étape 2. Cela peut être CSV, Excel, XML, Longueur fixe, DB (Base de données), EDIFACT, SAP IDOC, X.12, BWA, API ou JSON. Le type de document va déterminer quel analyseur (parser) utiliser pour convertir les données d’entrée en un format comprehensible pour les étapes suivantes. D’autres informations spécifiques aux formats doivent également pouvoir être configures comme les “quotes” en CSV, les feuilles d’un fichier Excel, les schémas d’un fichier XML, etc. Il est également très pratique de pouvoir gérer les formats compressés comme .zip ou .tgz.
3ème étape : Comment réaliser le mapping
C’est à l’étape 3 que vous configurez le mapping qui définit la structure des données cible et leurs liens avec les données source, bref, c’est là que les données à transmettre sont générées. Assurez vous que vous pouvez également configurer les données de sortie via des fonctions que vous pouvez éventuellement enchainer. Vérifier que le logiciel fournit le plus grand nombre de fonctions prédéfinies. Ells vous aideraont à venir à bout de mappings les plus complexes avec l’aide de variables, de “maps” ou de llistes. Le mapping le plus simple est le mapping “1 à 1” (1:1) où la structure source est mise automatiquement et sans transformation en correspondance avec la structure cible, chaque champ d’entrée est donc lié à un champ de sortie.
4ème étape : Voulez-vous utiliser une base de données ?
Si vous souhaitez transmettre vos données à une base de données, il faut faut préciser quelle donnée doit être écrite dans quelle base de données sous réserve, bien entendu, que la base de données existe et que vous en connaissez le schema.
5ème étape : Que doit produire l’intégration de données ?
Si le logiciel d’intégration agit en tant que “pompe à données” vous n’avez rien d’autre à faire car les données sont alors transférées telles quelles. Si vous souhaitez changer de format vous devez passer par une phase de mapping où vous aurez éventuellement à paramétrer le format de sortie car il se peut que vous n’ayez pas besoin de traiter toutes les données d’entrée ou que vous deviez modifier la structure de sortie. Vérifiez que votre logiciel dispose de ces fonctionnalités. Les besoins peuvent parfois s’avérer complexes comme par exemple si des données Excel ou des listes .csv sont utilisées pour produire des commandes, des bons de livraisons ou des factures Edifact.
6ème étape : Coment émettre les données ?
C’est à vous de choisir un déclenchement manuel ou automatique, en cliquant sur un bouton ou en planifiant une tâche à une heure précise.
Votre logiciel est maintenant en atttente de données ou va les récupérer sur une source pour les transmettre au(x) système(s) cibles au format attendu. Si des traitements supplémentaires sont nécessaires, les données traitées peuvent être transmises à un autre profil pour des traitements complémentaires.
7ème étape : Que faire enc as d’erreur ?
Bien sûr ça m’arrive qu’aux autres, mais supposez qu’une erreur se présente au sein d’une phase d’intégration. Il vous faudra réagir très rapidement si par exemple les données ne sont pas fournies ou ne peuvent pas être transmises au système cible. Un “bon” logiciel vous préviendra immédiatement lorsque’une tâche ne s’est pas déroulée comme prévu. Vous devez vous assurer que votre logiciel dispose de ce système de notification à chaque étape du processus enc as d’erreur. Un mail ou un SMs doit pouvoir être envoyé à un ou plusieurs destinataires. Pour être vraiment fiable, le logiciel doit vous permettre également de réaliser des backups des données d’entrée ou de sortie et doit document précisément et en continu toutes les opérations effectuées, qu’elles se soient déroulées avec ou sans erreur.
Via ces 7 étapes, vous devriez être capable de “mapper” et d’automatiser des processus, même complexes, d’integrations de données, sans effort et de façon transparente. Vous pourrez alors construire les bases d’un système de traitement et d’intégration de vos flux de données en perpétuelle augmentation.
