Añadida guía completa de utilidades de Marquez CLI.
Contenido:
- Descripción del binario marquez-cli y sus capacidades
- Conceptos clave: datasets, jobs, runs
- Reglas de lineage tracking (SIEMPRE/NUNCA)
- Métodos para recuperar lineage (CLI, Web UI, API REST)
- Quick start y ejemplos de uso
- Comandos útiles y tips
- Referencia a ejemplos y documentación adicional
Archivo: MARQUEZ_UTILITIES.md
Añadido binario CLI en Go para gestionar datasets, jobs y runs en Marquez.
Características:
- Enviar eventos OpenLineage (START, RUNNING, COMPLETE, FAIL)
- Registrar y consultar datasets
- Registrar y consultar jobs y runs
- Consultar lineage de datasets con formato texto/JSON
- Listar recursos (namespaces, jobs, datasets)
- Sin dependencias externas (solo Go stdlib)
- Binario estático compilado de ~5MB
Archivos:
- tools/marquez-cli/main.go: CLI principal con comandos
- tools/marquez-cli/openlineage.go: Cliente HTTP y estructuras OpenLineage
- tools/marquez-cli/go.mod: Módulo de Go
- tools/marquez-cli/Makefile: Build automation
- tools/marquez-cli/README.md: Documentación completa
- tools/marquez-cli/QUICKSTART.md: Guía rápida de uso
Instalación: make install en ~/.local/bin/marquez-cli
Temporal era overkill para nuestros pipelines de datos típicos.
Cambios:
- Eliminado docker-compose-temporal.yml y configuración
- Removido Temporal de Homer dashboard
- Actualizado README y CLAUDE.md sin referencias a Temporal
- Añadida documentación completa de transformaciones con Dagu
Dagu es suficiente porque:
- Workflows terminan en minutos, no días
- Transformaciones simples/medias (Python/SQL)
- No necesitamos pausar/reanudar workflows
- Menor overhead y más simple de mantener
Si en el futuro necesitamos workflows de larga duración o state complejo,
podemos volver a levantar Temporal.
Co-Authored-By: Claude Sonnet 4.5 <noreply@anthropic.com>
Añadidas nuevas secciones en Homer dashboard para los servicios de orquestación y mensajería.
Orchestration:
- Temporal UI (puerto 3400)
- Dagu (puerto 8090) - DAG scheduler nativo en WSL
Messaging:
- NATS Monitoring (puerto 8222)
Actualizados iconos para usar favicon.ico de los servicios correspondientes.
Añadido NATS con JetStream habilitado para streaming de mensajes y comunicación entre microservicios.
Configuración:
- Puerto 4222: Cliente NATS
- Puerto 8222: HTTP Monitoring
- Puerto 6222: Clustering
- Credenciales: nats/nats123
- JetStream con 23.42 GB RAM y 694 GB storage
- Persistencia en volumen nats-data
Añadido Temporal con PostgreSQL dedicado para orquestación de workflows y transformaciones de datos.
Servicios incluidos:
- Temporal Server (puerto 7233)
- Temporal UI (puerto 3400)
- Temporal PostgreSQL (puerto 5435)
- Temporal Admin Tools
Configuración dinámica en temporal-dynamicconfig/ con features habilitadas para desarrollo.
Stack completo de servicios Docker incluyendo:
- Homer dashboard para gestión de servicios
- Marquez/OpenLineage para lineage de datos
- Metabase/Rill analytics para análisis
- PostgreSQL/ClickHouse databases
- Configuraciones de Homer y Marquez
Co-Authored-By: Claude Sonnet 4.5 <noreply@anthropic.com>
egutierrez