ETL staat voor Extract, Transform, Load: gegevens uit bronsystemen halen (extract), omvormen naar een bruikbare structuur (transform) en wegschrijven naar een doelsysteem zoals een database of dashboard (load). Het is het standaardpatroon achter rapportages en dashboards die data uit meerdere systemen combineren.
ETL in de praktijk
Het zwaartepunt zit vrijwel altijd in de T van transform: bedragen in verschillende valuta gelijktrekken, klantnamen ontdubbelen, datums normaliseren en bronnen aan elkaar relateren. Wie die stap overslaat en ruwe data rechtstreeks in een dashboard laadt, krijgt cijfers die nét niet kloppen — en daarmee discussies over de data in plaats van over het resultaat.
In de Microsoft-wereld is Power Query het bekendste ETL-gereedschap: het zit in Excel en Power BI ingebouwd. Voor terugkerende rapportages is een geautomatiseerde ETL-stroom de oplossing voor knip- en plakwerk; zie Excel-rapportage automatiseren.
Gerelateerde begrippen
- Power Query — Power Query is het hulpmiddel in Excel en Power BI waarmee je data uit bronnen ophaalt, opschoont en omvormt — zonder te programmeren.
- Datamodel — Een datamodel is de structuur waarin gegevens en hun onderlinge relaties zijn vastgelegd: welke tabellen er zijn (klanten, orders, producten), welke velden ze bevatten en hoe ze aan elkaar gekoppeld zijn.
- BI — BI (business intelligence) is het verzamelen, combineren en visualiseren van bedrijfsdata om er beslissingen op te baseren — meestal in de vorm van dashboards en rapportages.
- Middleware — Middleware is software die tussen twee of meer systemen in zit en het verkeer ertussen regelt: gegevens ophalen, vertalen naar het juiste formaat en afleveren bij het doelsysteem.