Wissen
Vom organischen Wachstum zum kontrollierten Datenprodukt
dbt Projekte starten oft strukturiert – und wachsen schneller, als Governance und Pflegeprozesse mithalten können. Was zunächst nach Fortschritt aussieht, führt schleichend zu Intransparenz, Redundanzen und ungenutzten Datenobjekten. Wann wird Aufräumen zur Notwendigkeit? Und wie gelingt der Weg zurück zu einem kontrollierten, wartbaren Datenprodukt?
Dieser Beitrag zeigt anhand eines konkreten Beispiels, wie systematische Bereinigung Transparenz schafft und die Basis für nachhaltige Datenarchitekturen legt.
Immer mehr Unternehmen setzen auf moderne Transformationstools wie dbt, um ihre Datenpipelines modular, versionierbar und fachlich nachvollziehbar aufzubauen. In der Praxis zeigt sich jedoch: Mit zunehmender Nutzung erreichen viele dbt-Projekte eine Größenordnung, in der Transparenz, Wartbarkeit und klare Verantwortlichkeiten nicht mehr selbstverständlich sind.
Genau vor dieser Situation stand auch unser Kunde. Über die Zeit entstand ein komplexes Geflecht aus Modellen, Materialisierungen und Datenbankobjekten, das eine strukturierte Bereinigung und Konsolidierung erforderlich machte.
Ausgangslage
Das dbt-Projekt unseres Kunden ist über einen längeren Zeitraum organisch gewachsen und umfasst aktuell 890 dbt-Modelle. Durch kontinuierliche Weiterentwicklung, fachliche Anpassungen sowie Umbenennungen von Modellen war davon auszugehen, dass sich im Projekt inzwischen veraltete, unbenutzte oder redundante Modelle befinden.
Parallel dazu wurden im Data Warehouse (DWH) dbt-Modelle materialisiert, die nicht mehr im aktuellen dbt-Projekt vorhanden sind. Diese Objekte sind historisch entstanden, beispielsweise durch:
- Umbenennung von dbt-Modellen ohne anschließendes Entfernen der alten materialisierten Objekte
- Entfernen von dbt-Modellen aus dem Projekt, ohne die zugehörigen Tabellen oder Views im DWH zu löschen
- Änderungen an Materialisierungen oder Zielschemata
Diese Situation erschwert sowohl die Wartbarkeit des dbt-Projekts als auch die Transparenz und Ordnung im DWH.
Welchen Mehrwert können wir mit der Bereinigung liefern?
Ziel dieser Initiative war es, das dbt-Projekt und das angebundene Data Warehouse systematisch zu bereinigen, zu konsolidieren und langfristig wartbar zu halten.
Die konkreten Ziele lauten:
- Identifikation und Bewertung von veralteten und unbenutzten dbt-Modellen
- Reduktion der Modellanzahl auf tatsächlich genutzte und fachlich relevante Modelle
- Verbesserung der Übersichtlichkeit, Wartbarkeit und Aktualität des dbt-Projekts
- Identifikation und Bereinigung von verwaisten Tabellen und Views im DWH, die nicht mehr durch das dbt-Projekt verwaltet werden
- Sicherstellung einer klaren und konsistenten Beziehung zwischen dbt-Projekt und physischem Datenbestand im DWH
Wie sind wir methodisch vorgegangen?
Die Bereinigung erfolgte in zwei klar voneinander abgegrenzten, aber inhaltlich zusammenhängenden Untersuchungen:
Untersuchung 1: Veraltete und unbenutzte dbt-Modelle
Ziel dieser Untersuchung war es, dbt-Modelle zu identifizieren, die:
- nicht (direkt oder indirekt) von einem Exposure genutzt werden
- fachlich obsolet sind oder durch neuere Modelle ersetzt wurden
Diese Untersuchung erfolgte über die Ausführung des nachfolgenden dbt-Befehls
Die ausgegebene Liste an Modellen muss im Nachgang fachlich geprüft werden um sicherzustellen, dass keine in Entwicklung befindlichen Modelle oder relevante marts, die nicht in den Exposures aufgeführt sind, als obsolet betrachtet und gelöscht werden.
Diese Ausführung ist gleichzeitig eine Qualitätsprüfung dafür, ob die Exposures korrekt gepflegt und alle fachlich relevanten Tabellen dort gelistet sind.
Untersuchung 2: Verwaiste Objekte im Data Warehouse
Zusätzlich wurde das DWH selbst analysiert. Dabei lag der Fokus auf den Schemata, die explizit im dbt-Projekt unseres Kunden verwendet werden - Für ein tieferes Verständnis dieses Aufbaus empfehlen wir den Blogpost zu unserem dbt Schichtenmodell:
- BASE
- PSTA
- CORE
- MART
Für diese Schemata wurde geprüft, ob Tabellen oder Views im DWH existieren, für die kein entsprechendes Modell im aktuellen dbt-Projekt vorhanden ist. Diese Objekte sind mit hoher Wahrscheinlichkeit:
- Überbleibsel gelöschter oder umbenannter dbt-Modelle
- initial erstellte Tabellen oder Views, die aufgrund überarbeiteter fachlicher Anforderungen nicht weiter relevant sind
Da diese Objekte nicht mehr durch dbt verwaltet werden, gelten sie als unbenutzt und fachlich nicht mehr relevant.
Die Untersuchung erfolgte über ein von uns erstelltes dbt-Makro, welches die Objekte in den jeweiligen Schematas im DWH scannt und mit den Modellen im dbt Projekt abgleicht.
Die Ausführung des Makros selbst löscht nichts automatisch - Vielmehr erzeugt es ein SQL-Statement, welches zur Löschung dieser Tabellen/Views explizit manuell ausgeführt werden muss. Dadurch stellen wir sicher, dass keine relevanten Daten automatisch gelöscht werden und die Löschung erst nach fachlicher Prüfung dieser Inhalte erfolgt.
Erzielter Impact beim Kunden
Zum Zeitpunkt der Erstellung dieses Beitrags befindet sich der Kunde in der fachlichen Validierungsphase der identifizierten dbt-Modelle sowie der potenziell verwaisten Datenbankobjekte im Data Warehouse.
Bereits in dieser frühen Phase konnte jedoch ein signifikanter Mehrwert erzielt werden: Erstmals liegt eine vollständige, strukturierte und nachvollziehbare Übersicht über den tatsächlichen Zustand des dbt-Projekts und der physischen DWH-Objekte vor.
In der initialen Analyse wurden insgesamt identifiziert:
- 129 Datenbankobjekte (Tabellen bzw. Views) im DWH ohne Referenz im aktuellen dbt-Projekt
- 137 dbt-Modelle in den Schichten BASE, PSTA und CORE ohne fachliche Nutzung
- 61 dbt-Mart-Modelle, die zwar größtenteils aktiv genutzt werden, jedoch bislang nicht in den Exposures dokumentiert sind
Insbesondere die Identifikation der nicht in Exposures aufgeführten Mart-Modelle hat einen wichtigen Governance-Effekt: Sie macht fachliche Abhängigkeiten sichtbar, schärft das Bewusstsein für die Rolle von Exposures und liefert eine belastbare Grundlage für deren vollständige und konsistente Pflege.
Darüber hinaus versetzt die geschaffene Transparenz den Kunden erstmals in die Lage, fundierte fachliche Entscheidungen über Löschung, Konsolidierung oder Weiterentwicklung einzelner Modelle zu treffen – anstatt auf Basis historisch gewachsener Strukturen arbeiten zu müssen.
Fazit:
Die durchgeführte Analyse zeigt deutlich: Stark wachsende dbt-Projekte verlieren ohne gezielte Bereinigung an Transparenz und Wartbarkeit. Veraltete Modelle, ungenutzte Transformationen und verwaiste Tabellen sind dabei keine Ausnahme, sondern eine natürliche Folge iterativer Entwicklung.
Durch den im Rahmen unserer Untersuchung entwickelten Power BI Report konnten wir diese Schwachstellen gezielt sichtbar machen und eine fundierte Grundlage für fachliche Entscheidungen schaffen – von der Bereinigung einzelner Modelle bis hin zur Konsolidierung des Data Warehouses. Die tägliche Aktualisierung des Reports sorgt dabei für dauerhafte Transparenz und eine gemeinsame Sicht auf den Projektzustand.
Unsere Empfehlung ist daher klar: Die Analyse und Bereinigung sollte nicht als einmalige Maßnahme verstanden werden, sondern als wiederkehrender Prozess etabliert werden. Insbesondere die konsequente Pflege der Exposures spielt dabei eine zentrale Rolle, um Governance und Nachvollziehbarkeit langfristig sicherzustellen.
Über den Autor:
Ala Anghaie war zuletzt als Analytics Consultant bei einem der führenden deutschen Lebensmitteleinzelhändler tätig, ehe er 2025 als BI & Data Engineer Consultant zur drjve wechselte. Dort unterstützt er Kund:innen beim Aufbau skalierbarer Datenmodelle, moderner Datenarchitekturen auf Basis von Microsoft Fabric und bei der Datentransformation mit dbt.
