Laravel Ingest: Ein robustes ETL-Framework

Als mein erstes großes Open-Source-Projekt habe ich Laravel Ingest entwickelt – ein robustes ETL (Extract, Transform, Load) Framework, das speziell dafür entwickelt wurde, Datenimporte in PHP-Anwendungen zu vereinfachen und zu stabilisieren.

Das Problem

Datenimporte (CSV, Excel, JSON) führen oft zu fragilen Skripten, die manuell über Zeilen iterieren, Daten validieren und bei großen Dateien schnell an Speichergrenzen (Memory Leaks) stoßen.

Die Lösung

Laravel Ingest ersetzt prozedurale Skripte durch eine deklarative Fluent API. Das Framework übernimmt die schwere Arbeit im Hintergrund: Streaming, Chunking, Queueing, Validierung und Fehlerbehandlung.

Hauptfeatures

• Unendliche Skalierbarkeit: Nutzt PHP Generators und Laravel Queues, um Dateien jeder Größe mit konstantem Speicherverbrauch zu verarbeiten.
• Deklarative Syntax: Definiere was importiert werden soll, nicht wie.
• Auto-Relations: Löst automatisch BelongsTo und BelongsToMany Beziehungen auf (z.B. Suche nach IDs anhand von Namen).
• Fehlerbehandlung: Trackt jede fehlgeschlagene Zeile und generiert eine CSV-Datei, die nur die Fehler enthält – ideal für Korrekturen durch den Endnutzer.
• API & CLI Ready: Bringt automatisch REST-Endpunkte und Artisan Commands mit.

Code Beispiel

Statt hunderten Zeilen Controller-Code wird ein Import in einer einzigen Konfigurationsklasse definiert:

class ProductImporter implements IngestDefinition
{
    public function getConfig(): IngestConfig
    {
        return IngestConfig::for(Product::class)
            // Unterstützt Uploads, S3, FTP, URLs, etc.
            ->fromSource(SourceType::UPLOAD)
 
            // Intelligente Duplikat-Erkennung
            ->keyedBy('sku')
            ->onDuplicate(DuplicateStrategy::UPDATE_IF_NEWER)
 
            // Mapping & Transformation
            ->map('Produkt Name', 'name')
            ->mapAndTransform('Preis', 'price_cents', fn($val) => $val * 100)
 
            // Automatische Beziehungsauflösung
            ->relate('Kategorie', 'category', Category::class, 'name', createIfMissing: true)
 
            // Zeilenbasierte Validierung
            ->validate(['sku' => 'required|string']);
    }
}

Architektur & Technik

Bei der Entwicklung habe ich besonderen Wert auf saubere Architektur gelegt:

1. Speichermanagement: Durch die Implementierung von SourceHandler Interfaces und striktem Streaming werden Dateien speichereffizient verarbeitet.
2. Design Patterns: Einsatz von Factory Patterns für verschiedene Datenquellen und DTOs für den Datentransfer.
3. Developer Experience (DX): Features wie "Dry Runs" (Simulation ohne DB-Schreibvorgänge) und Events erleichtern die Integration in Frontend-Applikationen.

Qualitätssicherung

Das Projekt folgt strikten Standards:

• 100% Test Coverage: Getestet mit Pest PHP.
• Statische Analyse: Larastan/PHPStan Level 5.
• CI/CD: Automatisierte GitHub Actions Pipeline für Tests, Linting und Publishing.

Dokumentation ansehen | Auf GitHub ansehen