Añadido directorio temporal de Rill al .gitignore.
El directorio rill-data/tmp/ contiene archivos binarios generados
automáticamente por Rill (como meta.db) que no deben versionarse.
Archivo: .gitignore (rill-data/tmp/)
Añadida documentación de configuración de herramientas de visualización.
Cambios:
- Nuevo archivo VISUALIZATION_SETUP.md con guía de setup de Grafana/Metabase/Rill
- Actualizada configuración de Rill (rill-data/rill.yaml) con nuevas fuentes de datos
Contenido de VISUALIZATION_SETUP.md:
- Configuración de datasources para Grafana
- Setup de Metabase con PostgreSQL/ClickHouse
- Configuración de Rill con DuckDB
- Ejemplos de queries y dashboards
Actualizada la sección de Marquez en CLAUDE.md para referenciar marquez-cli.
Cambios:
- Cambió categoría de "Medio - API REST" a "Fácil - CLI Nativo"
- Añadida información sobre instalación de marquez-cli
- Añadidos ejemplos de uso del CLI (run start/complete/fail, lineage)
- Referencia a MARQUEZ_UTILITIES.md para guía completa
- Actualizada sección de Scripts Helper con marquez-cli como RECOMENDADO
El CLI nativo simplifica la gestión de lineage en comparación con curl/Python.
Añadida guía completa de utilidades de Marquez CLI.
Contenido:
- Descripción del binario marquez-cli y sus capacidades
- Conceptos clave: datasets, jobs, runs
- Reglas de lineage tracking (SIEMPRE/NUNCA)
- Métodos para recuperar lineage (CLI, Web UI, API REST)
- Quick start y ejemplos de uso
- Comandos útiles y tips
- Referencia a ejemplos y documentación adicional
Archivo: MARQUEZ_UTILITIES.md
Añadido binario CLI en Go para gestionar datasets, jobs y runs en Marquez.
Características:
- Enviar eventos OpenLineage (START, RUNNING, COMPLETE, FAIL)
- Registrar y consultar datasets
- Registrar y consultar jobs y runs
- Consultar lineage de datasets con formato texto/JSON
- Listar recursos (namespaces, jobs, datasets)
- Sin dependencias externas (solo Go stdlib)
- Binario estático compilado de ~5MB
Archivos:
- tools/marquez-cli/main.go: CLI principal con comandos
- tools/marquez-cli/openlineage.go: Cliente HTTP y estructuras OpenLineage
- tools/marquez-cli/go.mod: Módulo de Go
- tools/marquez-cli/Makefile: Build automation
- tools/marquez-cli/README.md: Documentación completa
- tools/marquez-cli/QUICKSTART.md: Guía rápida de uso
Instalación: make install en ~/.local/bin/marquez-cli
Temporal era overkill para nuestros pipelines de datos típicos.
Cambios:
- Eliminado docker-compose-temporal.yml y configuración
- Removido Temporal de Homer dashboard
- Actualizado README y CLAUDE.md sin referencias a Temporal
- Añadida documentación completa de transformaciones con Dagu
Dagu es suficiente porque:
- Workflows terminan en minutos, no días
- Transformaciones simples/medias (Python/SQL)
- No necesitamos pausar/reanudar workflows
- Menor overhead y más simple de mantener
Si en el futuro necesitamos workflows de larga duración o state complejo,
podemos volver a levantar Temporal.
Co-Authored-By: Claude Sonnet 4.5 <noreply@anthropic.com>
Añadidas nuevas secciones en Homer dashboard para los servicios de orquestación y mensajería.
Orchestration:
- Temporal UI (puerto 3400)
- Dagu (puerto 8090) - DAG scheduler nativo en WSL
Messaging:
- NATS Monitoring (puerto 8222)
Actualizados iconos para usar favicon.ico de los servicios correspondientes.
Añadido NATS con JetStream habilitado para streaming de mensajes y comunicación entre microservicios.
Configuración:
- Puerto 4222: Cliente NATS
- Puerto 8222: HTTP Monitoring
- Puerto 6222: Clustering
- Credenciales: nats/nats123
- JetStream con 23.42 GB RAM y 694 GB storage
- Persistencia en volumen nats-data
Añadido Temporal con PostgreSQL dedicado para orquestación de workflows y transformaciones de datos.
Servicios incluidos:
- Temporal Server (puerto 7233)
- Temporal UI (puerto 3400)
- Temporal PostgreSQL (puerto 5435)
- Temporal Admin Tools
Configuración dinámica en temporal-dynamicconfig/ con features habilitadas para desarrollo.
Stack completo de servicios Docker incluyendo:
- Homer dashboard para gestión de servicios
- Marquez/OpenLineage para lineage de datos
- Metabase/Rill analytics para análisis
- PostgreSQL/ClickHouse databases
- Configuraciones de Homer y Marquez
Co-Authored-By: Claude Sonnet 4.5 <noreply@anthropic.com>
egutierrez