Ingénierie et analyse des données

Le choix dépend de votre cloud, de vos volumes, de vos compétences et de votre budget plus que d’un produit en particulier. Snowflake, Databricks, BigQuery et Amazon Redshift conviennent à la plupart des entreprises, et PostgreSQL suffit dans bien des cas. Nous comparons les options à vos exigences et à vos contrats existants, et concevons les transformations, écrites en SQL avec dbt, pour qu’elles restent portables.

Oui. Nous utilisons les méthodes d’extraction prises en charge par l’ERP, comme ses API, ses services d’export ou la capture des changements depuis une réplique, plutôt que des requêtes lourdes sur la base de production. Les chargements sont planifiés en dehors des heures de pointe si nécessaire. Pour SAP, Oracle, Microsoft Dynamics 365, NetSuite et Odoo, nous suivons l’approche recommandée par chaque éditeur.

Chaque chargement exécute des contrôles automatisés de complétude, de doublons, de fraîcheur et de règles métier, par exemple l’équilibre entre débits et crédits. Avant qu’un rapport n’en remplace un autre, nous rapprochons ses chiffres du système source et de l’ancien rapport avec votre responsable finance ou opérations. Un contrôle en échec empêche les données erronées d’atteindre les tableaux de bord et alerte l’équipe.

Uniquement pour les décisions qui ne peuvent pas attendre, comme le filtrage de la fraude, la disponibilité des stocks ou le statut des paiements. Pour la plupart des rapports, des chargements toutes les heures ou chaque nuit suffisent et coûtent bien moins cher à exploiter. Nous utilisons le streaming avec Apache Kafka ou la capture des changements lorsque le temps réel est nécessaire, et le traitement par lots dans les autres cas, et nous décidons avec vous cas d’usage par cas d’usage.

Les accès sont attribués par rôle et suivent votre fournisseur d’identité. Les champs personnels et financiers sont masqués ou tokenisés pour les utilisateurs qui n’en ont pas besoin, les données sont chiffrées au repos et en transit, et les accès sont journalisés. Nous conservons les données dans les régions que vous indiquez et appliquons vos règles de conservation aux données brutes comme aux données modélisées.

Le coût de construction dépend du nombre et de la complexité des sources, de leur propreté, et du nombre de domaines et de rapports concernés. Le coût d’exploitation dépend des volumes de données, de la fréquence d’actualisation et des modes d’interrogation. Nous chiffrons les deux, concevons la plateforme pour maîtriser les dépenses de calcul et mettons en place un suivi des coûts pour que l’usage n’augmente pas à votre insu.

Nous livrons par domaine fonctionnel : le premier, par exemple la trésorerie ou les ventes, parvient aux utilisateurs bien avant l’achèvement de la plateforme. Le calendrier dépend de l’accès aux systèmes sources, de la qualité des données et du travail de rapprochement nécessaire. Nous convenons avec vous de l’ordre des domaines et planifions chacun d’eux après l’évaluation.

Vos équipes ou les nôtres. Nous transmettons la documentation, les tests, la supervision et un manuel d’exploitation, et formons vos ingénieurs s’ils doivent l’exploiter. Si vous le préférez, nous supervisons les chargements et la qualité, corrigeons les incidents, gérons les évolutions des systèmes sources et ajoutons de nouveaux domaines dans le cadre d’un contrat de support.

Là où vous le décidez. Nous convenons de la localisation des données avant le début des travaux et concevons en conséquence, qu’elles doivent rester dans un pays donné, dans votre propre compte cloud ou dans vos locaux. Lorsque des lois sur la protection des données telles que le RGPD s’appliquent, nous travaillons dans le cadre d’un accord de traitement des données et limitons les données personnelles à ce que le travail exige.