feat(ml): núcleo subsistema comfyui-skill + ask_llm_vision

Grupo nuevo comfyui-skill: recetas versionadas de generación ComfyUI que
compilan a un workflow cambiando solo el subject.

- comfyui_build_skill_workflow (pura): receta -> workflow API format,
  despacha base (txt2img/flux/sdxl_refiner), sustituye {subject}+triggers,
  encadena loras e inject blocks (facedetailer, hires_fix). SkillWorkflowError tipada.
- comfyui_inject_hires_fix (pura): inyecta 2ª pasada UltimateSDUpscale sobre dict.
- comfyui_save/load/list_skill (impuras): CRUD de la librería en disco con
  versionado por snapshots, round-trip idéntico, filtro NSFW.
- ask_llm_vision (core, claude-direct): pregunta multimodal imagen+texto via
  API directa Anthropic, para puntuar generaciones.
- Página madre docs/capabilities/comfyui-skill.md con schema canónico de recipe.json.

Tests offline: 11 verdes (6 builder + 5 inject_hires_fix). Sin GPU.
This commit is contained in:
agent
2026-06-24 14:35:46 +02:00
parent e8a66f0dad
commit 70d541fca9
15 changed files with 1666 additions and 0 deletions
@@ -0,0 +1,83 @@
---
name: comfyui_inject_hires_fix
kind: function
lang: py
domain: ml
version: "1.0.0"
purity: pure
signature: "def comfyui_inject_hires_fix(workflow: dict, *, upscale_by: float = 1.5, denoise: float = 0.4, steps: int = 20, cfg: float = 7.0, seed: int = 0, upscale_model: str = '4x_foolhardy_Remacri.pth', sampler_name: str = 'euler', scheduler: str = 'normal', tile_width: int = 512, tile_height: int = 512) -> dict"
description: "Inyecta una segunda pasada hires-fix en un workflow ComfyUI ya construido (API format) que termina en VAEDecode -> SaveImage. Anade UpscaleModelLoader + UltimateSDUpscale (re-difusion por tiles) conectados a la imagen del VAEDecode y al model/vae del CheckpointLoaderSimple, y repunta el SaveImage a la imagen ampliada. Version encadenable-sobre-dict de comfyui_build_hires_fix_workflow. Pura: no muta el dict de entrada (copia profunda)."
tags: [comfyui, comfyui-skill, ml, hires-fix, upscale, workflow, stable-diffusion]
uses_functions: []
uses_types: []
returns: []
returns_optional: false
error_type: ""
imports: []
params:
- name: workflow
desc: "dict en API format (ej. salida de comfyui_build_txt2img_workflow) que termina en VAEDecode -> SaveImage. No se muta; se devuelve una copia."
- name: upscale_by
desc: "Factor de ampliacion de UltimateSDUpscale sobre la imagen base (1.5 -> 512 pasa a 768). keyword-only."
- name: denoise
desc: "Fuerza de re-difusion de la segunda pasada (0.4 por defecto). <1 conserva la composicion base y solo anade detalle; 1.0 la re-generaria entera. keyword-only."
- name: steps
desc: "Pasos de sampling de la re-difusion tiled. keyword-only."
- name: cfg
desc: "Classifier-free guidance de la re-difusion. keyword-only."
- name: seed
desc: "Semilla de UltimateSDUpscale. keyword-only."
- name: upscale_model
desc: "Modelo de upscale en models/upscale_models/ que usa UltimateSDUpscale para escalar antes de re-difundir (ej. '4x_foolhardy_Remacri.pth'). keyword-only."
- name: sampler_name
desc: "Sampler de la re-difusion. keyword-only."
- name: scheduler
desc: "Scheduler de la re-difusion. keyword-only."
- name: tile_width
desc: "Ancho de tile de UltimateSDUpscale (px). Tiles mas pequenos = menos VRAM, mas costuras. keyword-only."
- name: tile_height
desc: "Alto de tile de UltimateSDUpscale (px). keyword-only."
output: "copia del workflow con UpscaleModelLoader + UltimateSDUpscale anadidos (node_ids = max id numerico + 1 y + 2) y el SaveImage repuntado a la salida [ultimatesdupscale_id, 0]. Si no habia SaveImage, se anade uno con filename_prefix 'hires'."
tested: true
tests: ["no muta el dict de entrada (pureza)", "inserta UltimateSDUpscale y UpscaleModelLoader", "repunta el SaveImage al UltimateSDUpscale", "params reflejados (upscale_by/denoise/seed)", "lanza ValueError si falta VAEDecode"]
test_file_path: "python/functions/ml/tests/test_comfyui_inject_hires_fix.py"
file_path: "python/functions/ml/comfyui_inject_hires_fix.py"
---
## Ejemplo
```python
import sys, os
sys.path.insert(0, os.path.join(os.environ["HOME"], "fn_registry", "python", "functions"))
from ml.comfyui_build_txt2img_workflow import comfyui_build_txt2img_workflow
from ml.comfyui_inject_hires_fix import comfyui_inject_hires_fix
base = comfyui_build_txt2img_workflow("dreamshaper_8.safetensors", "a fox in a forest, detailed")
# El base termina en VAEDecode ["8",0] -> SaveImage ["9"].
wf = comfyui_inject_hires_fix(base, upscale_by=2.0, denoise=0.35, seed=42)
# Ahora: VAEDecode -> UltimateSDUpscale -> SaveImage, con UpscaleModelLoader cargando Remacri.
# El SaveImage["9"].inputs["images"] apunta al nuevo UltimateSDUpscale, no al VAEDecode.
```
## Cuando usarla
Cuando ya tengas un workflow txt2img/img2img construido (o devuelto por otro
builder) y quieras anadirle el hires fix sin reescribir el grafo desde cero.
A diferencia de `comfyui_build_hires_fix_workflow`, que construye el grafo entero
de una vez, esta lo ENCADENA sobre un dict existente: util tras inyectar LoRAs
con `comfyui_inject_lora` o partiendo de cualquier base que termine en
VAEDecode -> SaveImage. Una sola llamada anade la segunda pasada completa.
## Gotchas
- Pura: no muta el `workflow` de entrada (trabaja sobre una copia profunda) y NO
valida que `upscale_model` exista en el servidor. Valida con `comfyui_validate_workflow`.
- Requiere el custom node UltimateSDUpscale instalado en el servidor ComfyUI; el
dict se construye igual aunque no este, pero el submit fallara.
- Detecta el VAEDecode (fuente de imagen), el CheckpointLoaderSimple (model slot 0,
vae slot 2) y los CLIPTextEncode positive/negative por el KSampler existente. Si
no hay VAEDecode o CheckpointLoaderSimple, lanza ValueError.
- Si el workflow tiene varios VAEDecode/SaveImage, se usa el PRIMERO encontrado.
Para grafos multi-salida construye con un builder dedicado.
- El nuevo node_id es `max(ids numericos) + 1` (y +2). Si tu workflow usa ids no
numericos, el contador cae a `len(workflow) + 1`.