Open source-tools. Wat we bouwen, blijft van jou.
dbt, Spark, Delta Lake, MLflow, Unity Catalog, Python. De open laag van de stack, die draait binnen de platformen waar je al voor betaalt. Je logica blijft in jouw repository en je data in een formaat dat meer dan één engine kan lezen. Van gedacht veranderen kost je later dus een beslissing, geen herbouw.
VOOR WE BEGINNEN
Klinkt dit bekend?
Waarom teams bij ons aankloppen voor de open delen van de stack, nog voor er werk begint. Elk ervan heeft een uitweg, en de rest van deze pagina is hoe we er geraken.
Hoe we het aanpakken
Transformatielogica die vastzit in de gesloten interface van een leverancier, tabellen in een formaat dat alleen die leverancier kan lezen, orkestratie in een console die niemand kan exporteren. De exitkost is de echte prijs van de licentie, en die staat nooit op de offerte.
Hoe we het aanpakken
Experimenten die in notebooks draaien, parameters die iemand onthouden heeft in plaats van ze vast te leggen, het winnende model met de hand naar productie gekopieerd. Als de toezichthouder of de business vraagt wat er veranderd is, is het eerlijke antwoord: niemand weet het.
Hoe we het aanpakken
Jaren historiek die vastzit in een gesloten tabelformaat. Elke nieuwe tool vraagt een export, elke export vraagt een reconciliatie, en de kopieën groeien uit elkaar. Met open formaten wordt de opslaglaag een beslissing waar je later op kan terugkomen.
Hoe we het aanpakken
Pipelines die alleen voor één engineer logisch waren, geen tests, geen documentatie, geen lineage. Open tooling met echte community's betekent dat je volgende nieuwe collega er waarschijnlijk al mee gewerkt heeft, en dat het antwoord op de meeste vragen al ergens publiek beschreven staat.
Wat we echt gebruiken
Geen lijst van alles wat er bestaat. Dit zijn de tools waarvoor we conventies uitschreven en die we in productie draaien. Dat is een veel kortere lijst dan op de meeste consultancywebsites.
dbt
Onze transformatielaag, welk platform er ook onder zit. Gelaagde projectstructuur, volle testdekking op sources en gold, documentatie naast de models, dbt build in de CI. Het heeft een eigen pagina, zoveel meningen hebben we erover.
Versneld naar dbt→Apache Spark
De engine onder alles wat we met lakehouses bouwen, op Databricks en op Fabric. PySpark voor de workflows in data engineering en data science, notebooks om te verkennen, incrementele pipelines voor alles wat elke nacht moet draaien.
Delta Lake
Het open tabelformaat waar we standaard voor kiezen. ACID-transacties en time travel zijn het praktische deel. Het strategische deel: je historiek staat in Parquet-bestanden die van jou zijn, leesbaar voor meer dan één engine.
MLflow
Experiment tracking en de Model Registry. Elke run vastgelegd met zijn parameters, elke stap naar productie via de registry in plaats van met copy-paste. Zo kan je maanden later nog zeggen wat er veranderd is, en wanneer.
Unity Catalog
Databricks heeft het open source gemaakt, en dat telt: een governance-laag met een rollout over je hele organisatie, ook in een multi-cloud- of hybride omgeving. Rechten, lineage en de catalog op één plek, niet op drie.
Python
Python 3.11 is de standaard voor pipelines, modellen en de lijm ertussen. Saai, en dat is bewust. Iedereen die we aanwerven kent het, en elk platform waar we op werken draait het.
SQLFluff en dbt-utils
SQLFluff lint de SQL en de Jinja, zodat reviews over logica gaan in plaats van over opmaak. dbt-utils dekt de macro's en tests die elk project anders zelf zou herschrijven. Vastgepinde versies, een kleine set, geëvalueerd voor we iets opnemen.
Model Context Protocol
De open standaard om AI-assistenten te verbinden met echte systemen. We bouwen MCP-servers zodat een assistent je echte data en tools leest in plaats van te gokken, en zodat dezelfde integratie werkt met meer dan één modelleverancier.
Hoe we beslissen wat erin komt.
Open source is een middel, geen etiket. Vier regels die dat zo houden.
Eerst open formaten. De exit hoort bij het ontwerp.
Data in Delta en Parquet, transformaties in SQL en Python in jouw Git-repository, modellen in de MLflow-registry. Vervang je ons of vervang je het platform, dan gaan je assets mee. Dat is geen gunst, zo hoort het gewoon gebouwd te worden.
Open source waar het wint. Managed waar het zijn prijs waard is.
We zijn partner van Microsoft en Databricks, en dat zeggen we ook. Het eerlijke verhaal is dat open tooling binnen die platformen draait, niet ertegen. dbt op Databricks SQL, Spark op Fabric-capaciteit. Je betaalt een leverancier voor compute en beheer, niet voor het recht om je eigen tabellen te lezen.
Een kleine set met vaste versies klopt een grote set die blijft schuiven.
Elke dependency is een onderhoudsbelofte. Voor we iets opnemen, bekijken we hoe actief het onderhouden wordt, welke adapters het ondersteunt en hoe het presteert. We pinnen de versies vast en houden de lijst kort genoeg dat een upgrade een gewone dinsdag is, geen project.
Ook ons eigen playbook is open.
De conventies die we bij klanten toepassen, staan publiek op GitHub. We houden ze niet geheim voor de concurrentie. Lees ze voor je met ons praat, neem over wat nuttig is, fork de rest. Kennis delen over organisaties heen, daar draait het net om.
Draait binnen je platform
Open tooling is geen alternatief voor Databricks of Fabric. Het is de laag die we erbovenop bouwen, en net dat houdt het werk verplaatsbaar als de platformkeuze ooit verandert.
ONZE AANPAK →Spark, Delta en Unity Catalog
Het grootste deel van deze lijst ontstond bij Databricks en werd van daaruit open source gemaakt. We draaien het met Unity Catalog voor governance en Asset Bundles om het uit te rollen.
ONZE AANPAK →Open formaten op OneLake
Fabric slaat op in Delta op OneLake en draait Spark native, dus dezelfde conventies gaan gewoon mee. Ook native dbt jobs komen daar terecht.
Open tooling is hoe we bouwen, in elk domein.
Strategie beslist welke delen van de stack open moeten zijn. Wij bouwen het zo. Experts houden het draaiende zodra je team er eigenaar van is.
Strategie
Van zakelijke vragen naar een richting voor data, AI en software die je organisatie kan volgen.
Bekijken →Bouwen
Data en analytics, AI en software op maat. Gebouwd met adoptie en eigenaarschap vanaf dag één.
Bekijken →Experts
Specialisten die meedenken als teamgenoten. Ze houden je motor draaiend en je team scherp.
Bekijken →Ongerust over wat er gebeurt als je eruit wil?
Een gesprek van een halfuur. Vertel ons met welke stack je werkt, en we zeggen je eerlijk welke delen je vastzetten en welke je echt zou houden.
Spreek een expert