Zum Inhalt springen
XSIS
Eine Speicherkarte im Schlitz eines Laptops auf einem Holzschreibtisch

AI & Data

Datenarchitektur, Lakehouses und Echtzeit-Pipelines

Datengrundlagen, die Analytics und KI mit aktuellen, verlässlichen Daten versorgen

KI ist nur so gut wie die Daten darunter

Die meisten Institute halten ihre Daten in Silos: ERP-Tabellen, Kernsysteme, Tabellen und Dokumente, die niemand zusammengeführt hat. Berichte kommen spät, Zahlen widersprechen sich, und jedes neue Projekt beginnt damit, Daten erneut zu kopieren.

Sprachmodelle und Agenten machen die Lücke teurer. Sie brauchen aktuelle Daten, unstrukturierte Dokumente und klare Zugriffsregeln, schnell genug geliefert, um darauf zu handeln. Eine langsame oder fragile Datenbank darunter setzt all das aufs Spiel.

Was Sie erhalten

  1. Daten, wie sie entstehen

    Daten, die mit den Ereignissen eintreffen, nicht in einem nächtlichen Batch.

  2. Eine gesteuerte Plattform

    Ein gesteuertes Lakehouse, aus dem Analytics, Reporting und KI gemeinsam lesen.

  3. Daten, bereit für KI

    Strukturierte und unstrukturierte Daten, aufbereitet für Retrieval, Vektoren und Wissensgraphen.

  4. Datenbanken, die sich wiederherstellen lassen

    Datenbanken, die schnell und verfügbar bleiben, mit Wiederherstellung, die belegt ist, bevor sie gebraucht wird.

Was wir liefern

  • ETL-, ELT- und unstrukturierte KI-Datenpipelines

    Pipelines, die Daten aus Ihren Systemen extrahieren, laden und transformieren und Dokumente, E-Mails und Scans in Text und Metadaten verwandeln, die Modelle nutzen können.

  • Echtzeit-Event-Streaming

    Hochfrequente Aufnahme mit Apache Kafka und Apache Flink, damit Aufträge, Zahlungen und Sensorwerte Analytics und Agenten erreichen, sobald sie entstehen.

  • Data Warehouses und Lakehouses

    Data Warehouses und Lakehouses in Cloud, hybrid und On-Premises auf Snowflake, Databricks und Apache Iceberg, entworfen um die Frage herum, wie Ihre Teams die Daten abfragen.

  • Vektordatenbanken, Wissensgraphen und semantische Schichten

    Vektorspeicher, Wissensgraphen und eine gemeinsame semantische Schicht, damit jeder Bericht und jedes Modell dieselben Definitionen und Beziehungen nutzt.

  • Datenbankdesign und -performance

    Relationale und Dokumentdatenbanken, entworfen nach der Art, wie Ihre Anwendungen lesen und schreiben, mit langsamen Abfragen, die über Pläne, Indizes und Konfiguration gefunden und behoben werden.

  • Datenbank-Gesundheitscheck

    Eine Prüfung von Konfiguration, Performance, Sicherheit, Backups und Kapazität, mit jedem Befund nach Risiko und Aufwand geordnet.

  • Hochverfügbarkeit, Backup, Wiederherstellung und Migration

    Replikation und Failover, dimensioniert nach Ihren Wiederherstellungszielen, verschlüsselte Backups, regelmäßig wiederhergestellt, und Migrationen, geprobt und mit vorher und nachher abgestimmten Daten.

  • Zugriff, Verschlüsselung und Auditierung

    Rollen mit minimalen Rechten, Verschlüsselung im Ruhezustand und bei der Übertragung sowie Protokolle darüber, wer sensible Daten gelesen oder geändert hat.

  • Datenbank-Monitoring und Runbooks

    Warnungen bei Kapazität, Replikationsverzögerung, langsamen Abfragen und fehlgeschlagenen Jobs, routinemäßige Wartung und ein Runbook für jedes Verfahren.

Wie es läuft

  1. Quellen erfassen

    Wir prüfen Ihre Systeme, Datenbanken, Datenmengen und Berichte und vereinbaren, welche Fragen und Modelle die Plattform zuerst bedienen muss.

  2. Zielbild entwerfen

    Wir entwerfen Lakehouse, Streaming-Schicht, Datenmodelle und Wiederherstellungsziele und dokumentieren jede Entscheidung mit ihrem Grund.

  3. In Scheiben bauen

    Wir bringen Quellen Domäne für Domäne ein, mit Qualitätsprüfungen und Datenherkunft, damit nützliche Daten früh ankommen.

  4. Migrieren und abstimmen

    Wir migrieren Altberichte und Datenbanken in geprobten Schritten und stimmen Anzahlen und Summen ab, bevor etwas Altem der Betrieb entzogen wird.

  5. Betreiben und übergeben

    Wir überwachen Pipelines und Datenbanken, belegen Failover und Wiederherstellungen und betreiben die Plattform oder übergeben sie mit Runbooks an Ihr Team.

Technologien und Standards

Die moderne Datengrundlage läuft auf Snowflake, Databricks und Apache Iceberg, mit Streaming über Apache Kafka und Flink und berechtigungsbewusstem GraphRAG darüber. Zugriffsregeln auf Zeilen- und Rollenebene greifen, bevor ein Modell die Daten liest.

Programmiersprachen
  • SQL
Daten und Analytik
  • Apache Kafka
  • Snowflake
  • Databricks
  • Apache Spark
  • Apache Airflow
  • dbt
  • BigQuery
  • Amazon Redshift
Datenbanken
  • pgvector
  • Elasticsearch
Methoden und Verfahren
  • ETL- und ELT-Pipelines
  • Echtzeit-Event-Streaming
  • Vektordatenbanken
  • Wissensgraphen

So beginnen

Kunden mit klarem Umfang erhalten direkt ein Angebot. Sind Quellen, Schemata oder Volumina noch nicht erfasst, beginnen wir mit einer Datenprüfung im Blueprint Studio.

Wie es weitergeht

  1. Beratungsvorgespräch

    Ein kostenlose 30-minütige Online-Vorberatung: Wir gehen Ihre Ziele, Systeme und Rahmenbedingungen durch.

  2. Readiness-Review

    In einer kostenlose 48-stündige Readiness-Review prüft ein Principal Architect Ihr Projekt gegen die 6-Punkte-Definition of Ready und empfiehlt den passenden Track.

  3. Wahl des Tracks

    Projekte mit klarem Leistungsumfang erhalten innerhalb von 3–5 Werktagen ein verbindliches Angebot. Projekte in der Konzeptphase starten im Blueprint Studio. Ein laufendes System, das ausfällt, nicht dokumentiert ist oder integriert werden muss, beginnt mit einer Diagnose von 1–2 Wochen. Blueprint Studio und Diagnose haben jeweils ein festes Honorar, das im Angebot genannt wird.

  4. Umsetzung in fünf Phasen

    Mobilisierung, Sprints mit Live-Demonstrationen, Integration und Härtung, Abnahme und Inbetriebnahme, dann Managed Services. Nach dem Start folgt eine Gewährleistungsfrist, danach optional Support und Wartung.

Fragen und Antworten

Wie beginnt die Datenbankarbeit mit Ihnen?

Meist mit einem Gesundheitscheck. Wir prüfen Konfiguration, Performance, Sicherheit, Backups und Kapazität und geben Ihnen eine schriftliche Liste der Befunde, geordnet nach Risiko und Aufwand. Sie entscheiden dann, was wir beheben, migrieren oder betreiben und in welcher Reihenfolge. Ist der Bedarf bereits klar, etwa eine geplante Migration, beginnen wir stattdessen mit ihrem Entwurf.

Welche Datenplattform sollten wir nutzen?

Das hängt von Ihren Daten, Ihren Kenntnissen, dem vorgeschriebenen Datenstandort und der Art Ihrer Abfragen ab. Wir vergleichen Snowflake, Databricks und ein offenes Lakehouse auf Apache Iceberg anhand Ihrer Workloads und Regeln zum Datenstandort und empfehlen die einfachste passende Option.

Brauchen wir Echtzeitdaten?

Nur wo eine Entscheidung davon abhängt, etwa bei Betrugsprüfungen, Beständen oder Aktionen von Agenten. Diese Ereignisse streamen wir mit Kafka und Flink, und behalten Batch-Lasten, wo Tageswerte reichen, denn Batch ist günstiger im Betrieb.

Können Sie Daten aus unserem ERP holen, ohne es auszubremsen?

Ja. Wir lesen Änderungen über die unterstützten Schnittstellen oder Datenbankprotokolle des ERPs statt über schwere Abfragen und legen Massenladungen außerhalb der Stoßzeiten. Wir messen die Last auf dem ERP vorher und nachher.

Wie stellen Sie sicher, dass die Zahlen stimmen?

Jede Pipeline hat Qualitätsprüfungen für Mengen, Schlüssel, Summen und Aktualität, und Fehler halten schlechte Daten von Berichten fern. Wir stimmen Schlüsselzahlen mit Ihren Verantwortlichen in Finanzen und Betrieb gegen die Quellsysteme ab.

Mit welchem Ausfall und Datenverlust sollten wir planen?

Das ist eine Geschäftsentscheidung, ausgedrückt in zwei Zielen. Das Recovery Point Objective gibt an, wie viele aktuelle Daten Sie verlieren dürften. Das Recovery Time Objective gibt an, wie lange ein System ausfallen darf. Wir gestalten Replikation, Failover und Backups danach und testen sie.

Wie migrieren Sie eine Datenbank, ohne Daten zu verlieren oder das Geschäft anzuhalten?

Wir proben jede Migration an einer geschützten Kopie und stimmen Zeilenanzahlen und Prüfsummen zwischen Quelle und Ziel ab. Für Systeme, die nicht anhalten können, halten wir beide synchron und wechseln in einem kurzen geplanten Fenster, mit getestetem Rückweg.

Mit welchen Datenbankarten arbeiten Sie?

Mit relationalen Datenbanken sowie Dokument-, Key-Value- und Suchdatenbanken, auf Ihren eigenen Servern oder als Managed-Cloud-Dienste. Zu Beginn bestätigen wir Engines und Versionen, die Sie betreiben, und setzen Ingenieure ein, die sie kennen. Wählen Sie eine neue Datenbank oder einen Managed Service, vergleichen wir zuerst die Optionen anhand Ihrer Workloads, Kenntnisse, Lizenzen und Betriebskosten.

Wem gehören die Plattform und die Pipelines?

Ihnen. Code, Datenmodelle, Pipelines und Dokumentation, die wir für Sie erstellen, gehören Ihnen, sobald der jeweilige Meilenstein bezahlt ist, und Ihre Daten bleiben durchgehend Ihre.

Unsere Datenbank ist langsam. Wo beginnen Sie?

Mit Messung, nicht mit Vermutungen. Wir erfassen die langsamsten und häufigsten Abfragen, lesen ihre Ausführungspläne und prüfen Wartezeiten, Sperren, Speicher und Storage. Indizes, Abfrageänderungen und Konfiguration helfen oft mehr als neue Hardware und kosten viel weniger. Wir beheben die größten Ursachen zuerst und messen jede Änderung gegen eine Baseline.

Können Sie die tägliche Datenbankadministration übernehmen?

Ja. Wir können Ihre Datenbanken im Rahmen einer Supportvereinbarung überwachen, patchen, sichern und optimieren, mit schriftlich vereinbarten Reaktionszielen und Berichten. Wenn Sie sie lieber selbst betreiben, dokumentieren wir jedes Verfahren und schulen Ihr Team vor der Übergabe. Sie können die Arbeit auch aufteilen und Routineaufgaben im Haus behalten, während Sie uns für Upgrades, Migrationen und Störungen rufen.

Wie regeln Sie den Zugriff auf Produktivdaten?

Jeder Ingenieur hat ein benanntes Konto mit nur den Rechten, die die Aufgabe braucht, gewährt für die Dauer der Arbeit und protokolliert. Wir arbeiten möglichst mit maskierten oder Beispieldaten. Zugangsdaten bleiben in Ihrem Secrets-Speicher, und jede Änderung an der Produktion folgt Ihrem Änderungsprozess, mit bereitstehendem Rückweg.

Was bestimmt die Kosten der Datenbankarbeit?

Zahl und Größe der Datenbanken, ihre Kritikalität, die beteiligten Engines und Versionen sowie der Zustand von Dokumentation und Backups. Migrationen erfordern zusätzlichen Aufwand für Validierung, Proben und Abstimmung mit den Anwendungsteams. Der laufende Betrieb hängt von den Betreuungsstunden und den benötigten Reaktionszeiten ab.

Beginnen Sie mit einem Gespräch, nicht mit einem Vertrag.

Sagen Sie uns, was Sie bauen, verbinden oder absichern möchten. Ein Architekt geht es mit Ihnen durch und empfiehlt dann, wo Sie beginnen sollten.

Wie es weitergeht

  1. Terminabstimmung

    Unser Team schreibt Ihnen, um einen Termin für das Gespräch zu vereinbaren.

  2. Beratungsvorgespräch

    Ein kostenlose 30-minütige Online-Vorberatung: Wir gehen Ihre Ziele, Systeme und Rahmenbedingungen durch.

  3. Readiness-Review

    In einer kostenlose 48-stündige Readiness-Review prüft ein Principal Architect Ihr Projekt gegen die 6-Punkte-Definition of Ready und empfiehlt den passenden Track.

  4. Wahl des Tracks

    Projekte mit klarem Leistungsumfang erhalten innerhalb von 3–5 Werktagen ein verbindliches Angebot. Projekte in der Konzeptphase starten im Blueprint Studio. Ein laufendes System, das ausfällt, nicht dokumentiert ist oder integriert werden muss, beginnt mit einer Diagnose von 1–2 Wochen. Blueprint Studio und Diagnose haben jeweils ein festes Honorar, das im Angebot genannt wird.