Point de vue
Intégration de données
Difficultés constatées et principes pour les surmonter
La donnée est un actif stratégique au cœur de la performance de nos clients pour permettre d’atteindre leurs objectifs en matière de transformation des métiers, de développement de nouveaux modèles de revenu et d’innovation technologique. A cet égard, beaucoup de nos clients ont mis en œuvre des programmes d’envergure de transformation pour répondre à ces nouveaux enjeux autour de la donnée.
Lorsqu’ils engagent ces programmes, nous observons chez nos clients des difficultés à engager les sujets d’intégration de la donnée sur l’ensemble de la chaine de valeur – comment elle est collectée, préparée et exposée. Ces sujets d’intégration deviennent de plus en plus prégnants dans un contexte où les données sont silotées et difficilement accessibles.
Ce point de vue, qui s’appuie sur les projets réalisés chez nos clients, présente les problématiques rencontrées en matière d’intégration de données et formalise nos convictions sur les grands principes à mettre en œuvre pour sécuriser les enjeux d’intégration et faciliter la création de la valeur métier.
Difficultés rencontrées dans le cadre d’intégration de données et leurs impacts métiers et techniques
Un constat récurrent est que le Métier se plaint du manque de réactivité de l’IT quant à la prise en compte de ses demandes d’évolution. Ceci est dû à une vision peu claire de l’IT des données produites et des usages qui en sont faits, ceci pour deux raisons.
La première porte sur le shadow IT où, pour satisfaire les besoins métiers, des solutions IT temporaires sont mises en œuvre en dehors du cadre de fonctionnement établi par l’IT. La conséquence est que ce mode dégradé devient pérenne au fil du temps et qu’il est ainsi très difficile d’assurer une cohérence d’ensemble du SI dans sa globalité et de garder le contrôle sur sa trajectoire d’évolution.
La deuxième porte sur la gestion par le Métier lui-même des ses propres besoins pour accélérer le time-to-market. Cette situation engendre un silotage des initiatives métiers, entraînant une redondance des analyses et des calculs d’indicateurs.
La fraicheur de données est un problème critique qui doit être adressée pour améliorer le time-to-market. Ce problème vient du fait que le mode d’acquisition batch est largement présent chez nos clients. Ainsi, pour avoir une vision temps réel des données, certains clients mettent en place une architecture IT complexe, difficilement évolutive et coûteuse autour de systèmes répliqués et des accès utilisateurs directs à ces systèmes.
L’anticipation des besoins futurs a un impact fort dans la stratégie d’acquisition des données. Pour répondre aux cas d’usage, certains attributs d’une donnée sont collectés. Or dans le cas où des évolutions portent sur l’analyse des attributs non présents, il s’avère difficile de s’y adapter car il est nécessaire de modifier la chaine de collecte, l’organisation des données et de vérifier que les performances de traitement ne sont pas dégradées.
L’historisation des données occupe une place et une dimension particulière dans la stratégie d’acquisition des données. Souvent, suite à une demande d’évolution, il est nécessaire de rejouer les règles sur tout ou partie de l’historique. Or il est observé que la plupart des clients n’ont pas une politique claire d’historisation ni d’archivage des données, ce qui implique de solliciter de nouveau les systèmes sources pour les historiques et à en effectuer des reprises complexes.
Sur l’organisation des données, il est constaté chez certains de nos clients qu’elle ne permet pas d’apporter une réponse rapide aux besoins métiers. Très souvent, les clients ont tendance à créer des modélisations souvent rigides, par couches successives (acquisition, harmonisation, transformation métier, restitution), et cela dans un datawarehouse qui peut s’avérer long et complexe à construire et à maintenir.
Enfin, il est constaté que le problème majeur auquel le Métier, les directions Data et Statistiques sont confrontés de façon récurrente porte sur la qualité des données. Une donnée de mauvaise qualité ne permet pas son exploitation opérationnelle de manière fiable : ainsi l’IA ne tiendra pas ses promesses si les algorithmes se basent sur des données de faible qualité.
Points d’attention pour sécuriser les enjeux d’intégration
Pour faire face à ces difficultés, nous avons identifié des bonnes pratiques.
Pour améliorer la capacité de l’IT à répondre rapidement aux évolutions des besoins métiers, il est recommandé de mettre en place un contrat d’usage. Rédigé par le Métier et conclu entre ce dernier et l’IT, il définit les données utilisées, les usages qui en sont faits, les dispositions juridiques ou réglementaires à respecter, les exigences de qualité et d’accessibilité aux données, ainsi que les engagements de service associés. Il doit être un préalable aux projets d’intégration car il sous-tend la construction de la chaine de valeur de la donnée.
La maitrise des données est un sujet critique pour favoriser la création de la valeur métier. A cet égard, la mise en place d’une organisation et d’instances de gouvernance de données dédiées sont nécessaires. Elles permettent de fixer les modalités d’encadrement et d’organisation des activités autour des données dans le but d’assurer leur qualité, leur accessibilité, leur cohérence, leur protection, et donc de préparer des données essentielles à la création de la valeur métier.
La stratégie d’acquisition des données doit tenir compte des besoins métiers en termes de fraicheur de données, identifiés en amont dans le contrat d’usage. Il convient de clarifier la notion de « fraicheur », ce qui permet au métier de décider de la fréquence appropriée de mise à disposition de ses données en fonction de cette clarification. Ainsi, une intégration en mode batch toutes les cinq ou dix minutes par exemple permettra d’avoir un accès à des données avec un taux de fraicheur aussi élevé que pour le temps réel.
Les clients doivent engager une réflexion sur la nécessité de mettre en place une architecture orientée données pour adresser les difficultés mentionnées ci-dessus. Cette architecture doit apporter des bénéfices concrets aux Métiers pour leur offrir une capacité de capitalisation, d’accélération et d’enrichissement de leurs initiatives.
Principes structurants d’une architecture orientée données
La mise en œuvre d’une architecture orientée données doit s’appuyer sur un certain de nombre de principes structurants.
Pour l’organisation des données, une stratégie d’architecture consiste à dissocier la collecte des données de leurs usages en privilégiant un silotage par source. Cette stratégie permet ainsi une agilité dans le développement et le déploiement continu et rapide de nouveaux usages de la donnée.
L’historisation des données collectées permet de faciliter l’évolution des usages : par exemple suite à une demande d’évolution d’une règle de gestion, il est possible de la rejouer sur les données historisées, et ceci sans avoir à solliciter de nouveau les systèmes sources, qui dans certains cas, ne conservent pas d’historiques.
Dans une donnée avec beaucoup d’attributs (par exemple la donnée « Tiers »), au lieu de n’extraire qu’une partie d’attributs pour répondre aux cas d’usages, il est recommandé d’en extraire tout, en prévision des besoins futurs, notamment ceux des data scientists dont les activités peuvent s’étendre à tout le patrimoine de données.
La mise à disposition de données fraiches doit être pilotée par une approche orientée événements. Celle-ci est séduisante car elle ne préjuge pas des usages actuels ou futurs. La fréquence de collecte des données n’est plus alors fonction de chaque usage. Cependant, il est nécessaire d’évaluer les capacités d’intégration événementielle au regard des contraintes technologiques avant d’engager cette approche.
Les clients doivent s’inscrire dans une démarche d’APIsation qui vise à concevoir toute application comme un ensemble de données à exposer. Cette démarche facilite l’accès aux données et leur découverte. Mise en parallèle avec l’approche d’intégration événementielle, elle favorise la circulation des données fraiches et permet ainsi de renforcer la capacité des Métiers dans la création d’usages innovants (IA par exemple).
En synthèse, ce point de vue présente les convictions de Deloitte sur les points d’attention et sur les grands principes à mettre en œuvre pour sécuriser les enjeux d’intégration des données. La mise en place d’un contrat d’usage entre le Métier et l’IT et d’une politique de gouvernance des données, l’anticipation des enjeux de leur fraîcheur et leur historisation, alliées à la construction d’une architecture orientée données, découplée entre collecte et usages, permettront de construire un socle solide pour tirer le maximum de valeur à travers des fonctionnalités avancées comme l’IA, l’analytics, etc.
Nos experts
