هندسة البيانات والتحليلات

يعتمد ذلك على سحابتك وأحجام بياناتك ومهارات فريقك وميزانيتك أكثر مما يعتمد على منتج بعينه. تعمل Snowflake وDatabricks وBigQuery وAmazon Redshift جيدا لدى معظم الشركات، ويكفي PostgreSQL لكثير منها. نقارن الخيارات بمتطلباتك وعقودك القائمة، ونصمم بحيث تبقى التحويلات المكتوبة بلغة SQL باستخدام dbt قابلة للنقل.

نعم. نستخدم طرق الاستخراج التي يدعمها نظام ERP، مثل واجهات API أو خدمات التصدير أو التقاط التغييرات من نسخة متماثلة، بدلا من الاستعلامات الثقيلة على قاعدة البيانات الحية. ونجدول التحميلات خارج ساعات الذروة عند الحاجة. ومع SAP وOracle وMicrosoft Dynamics 365 وNetSuite وOdoo نتبع النهج الذي توصي به كل جهة مطورة.

يخضع كل تحميل لفحوص آلية للاكتمال والتكرار والحداثة وقواعد العمل، مثل تطابق المدين مع الدائن. وقبل أن يحل تقرير محل تقرير قائم، نطابق أرقامه مع النظام المصدر ومع التقرير القديم بحضور المسؤول عنه في المالية أو العمليات. وإذا فشل فحص، يتوقف وصول البيانات غير السليمة إلى لوحات المعلومات ويتلقى الفريق تنبيها.

فقط للقرارات التي لا تحتمل الانتظار، مثل فحص الاحتيال أو توافر المخزون أو حالة الدفع. أما معظم التقارير فيكفيها تحميل كل ساعة أو كل ليلة، وتكلفة تشغيله أقل بكثير. نستخدم البث عبر Apache Kafka أو التقاط التغييرات حيث تلزم البيانات الفورية، والمعالجة الدفعية حيث لا تلزم، ونقرر ذلك معك لكل حالة استخدام.

الصلاحيات قائمة على الأدوار وتتبع مزود الهوية لديك. تخفى الحقول الشخصية والمالية أو ترمز للمستخدمين الذين لا يحتاجون إليها، وتشفر البيانات أثناء التخزين والنقل، وتسجل كل عمليات الوصول. ونحفظ البيانات في المناطق التي تحددها، ونطبق قواعد الاحتفاظ لديك على البيانات الخام والمنمذجة على حد سواء.

تعتمد تكلفة البناء على عدد المصادر ومدى تعقيدها ونظافة بياناتها، وعلى عدد المجالات والتقارير المشمولة بالنطاق. وتعتمد تكلفة التشغيل على أحجام البيانات وتواتر التحديث وأنماط الاستعلام. نقدر التكلفتين، ونصمم لضبط الإنفاق على موارد الحوسبة، ونعد مراقبة للتكلفة كي لا يتزايد الاستخدام دون أن يلاحظ.

ننفذ المنصة مجالا بعد مجال، فيصل المجال الأول، مثل النقد أو المبيعات، إلى المستخدمين قبل اكتمال المنصة بوقت طويل. ويتوقف التوقيت على إتاحة الوصول إلى الأنظمة المصدر، وجودة البيانات، وحجم المطابقة التي تحتاج إليها الأرقام. نتفق معك على ترتيب المجالات ونخطط لكل منها بعد التقييم.

فريقك أو فريقنا. نسلم التوثيق والاختبارات والمراقبة ودليل التشغيل، وندرب مهندسيك إن كانوا سيتولون التشغيل. وإن فضلت، نراقب التحميلات والجودة، ونعالج الأعطال، ونتعامل مع التغييرات في الأنظمة المصدر، ونضيف مجالات جديدة بموجب اتفاقية دعم.

حيث تقرر أنت. نتفق على موقع البيانات قبل بدء العمل ونصمم على أساسه، سواء وجب أن تبقى في بلد واحد، أو في حسابك السحابي الخاص، أو في مقرك. وحيث تنطبق قوانين حماية البيانات مثل GDPR، نعمل بموجب اتفاقية لمعالجة البيانات، ونقصر البيانات الشخصية على ما يحتاج إليه العمل.