Open Source - MIT

Mako

Pipelines de donnees en temps reel

Framework declaratif pour orchestrer des pipelines de donnees. Configurez vos sources, transforms et sinks en YAML — Mako s'occupe du reste.

go install github.com/Stefen-Taime/mako@latest
GitHub

Fonctionnalites

Declaratif

Tout se configure en YAML. Pas de code a ecrire pour les pipelines standards.

Temps reel

Support natif Kafka, CDC PostgreSQL et streaming HTTP.

Transforms WASM

Plugins Go/Rust/TinyGo compiles en WebAssembly pour des transformations performantes.

Observabilite

Metriques Prometheus, dashboards Grafana et alertes Slack integres.

Quick Start

# pipeline.yaml
source:
  type: http
  url: https://api.example.com/data
  format: json

transforms:
  - type: field
    operations:
      - rename: { from: "old_name", to: "new_name" }
      - drop: ["unused_field"]

sink:
  type: postgres
  connection: postgres://user:pass@host/db
  table: events
  mode: upsert

Sources

  • • HTTP/REST APIs (pagination, OAuth2, rate limiting)
  • • Fichiers JSON, CSV, Parquet (gzip)
  • • Apache Kafka
  • • PostgreSQL CDC (Change Data Capture)
  • • DuckDB (requetes SQL embarquees)

Sinks

  • • PostgreSQL, Snowflake, BigQuery, ClickHouse
  • • S3, Google Cloud Storage
  • • DuckDB, Kafka, stdout

Transforms

  • • Enrichissement SQL via DuckDB
  • • Plugins WASM (Go/Rust/TinyGo)
  • • Validation de schema (Confluent Schema Registry)
  • • Controles qualite des donnees
  • • Masquage PII (SHA-256)
  • • Operations sur champs (rename, drop, cast, flatten, deduplicate)

Orchestration

Moteur de workflows DAG avec execution parallele et quality gates SQL.

Licence MIT - Maintenu par mcsEdition

godatapipelineskafkayamlwasm

Go 1.21+ requis