Datenpipeline mit Microsoft Fabric und Offline-Bereitstellung von Container-Anwendungen
MEINE ROLLEProjektleiter, Daten-/Softwarearchitekt und Entwickler
Als Projektleiter, Daten-/Softwarearchitekt und Entwickler realisierte ich eine Python-Datenpipeline für operative Ereignisse und Zeitreihen sowie ein Verfahren zur Offline-Bereitstellung einer Container-Anwendung.
Quelldaten wurden über APIs aufgenommen, validiert und in ein Microsoft-Fabric-Lakehouse mit DeltaTables überführt. Tests für Datenqualität, wiederholbare Verarbeitung und Fehlerbehandlung begleiteten die Implementierung. Deployment und Monitoring wurden automatisiert.
Für eine Container-Anwendung in einer abgeschotteten Umgebung wurde ein Bereitstellungsverfahren entwickelt. Images und Abhängigkeiten wurden versioniert vorbereitet und über eine lokale Registry ausgeliefert. Installation, Update und Rollback wurden ohne externen Netzzugriff geprüft und im Betriebshandbuch dokumentiert.
Ergebnis: Datenpipeline mit Fabric-Lakehouse und Qualitätsprüfungen aufgebaut und eine dokumentierte Offline-Bereitstellung für Container-Anwendungen umgesetzt.