feat(ml): núcleo subsistema comfyui-skill + ask_llm_vision
Grupo nuevo comfyui-skill: recetas versionadas de generación ComfyUI que
compilan a un workflow cambiando solo el subject.
- comfyui_build_skill_workflow (pura): receta -> workflow API format,
despacha base (txt2img/flux/sdxl_refiner), sustituye {subject}+triggers,
encadena loras e inject blocks (facedetailer, hires_fix). SkillWorkflowError tipada.
- comfyui_inject_hires_fix (pura): inyecta 2ª pasada UltimateSDUpscale sobre dict.
- comfyui_save/load/list_skill (impuras): CRUD de la librería en disco con
versionado por snapshots, round-trip idéntico, filtro NSFW.
- ask_llm_vision (core, claude-direct): pregunta multimodal imagen+texto via
API directa Anthropic, para puntuar generaciones.
- Página madre docs/capabilities/comfyui-skill.md con schema canónico de recipe.json.
Tests offline: 11 verdes (6 builder + 5 inject_hires_fix). Sin GPU.
This commit is contained in:
@@ -0,0 +1,83 @@
|
||||
---
|
||||
name: comfyui_inject_hires_fix
|
||||
kind: function
|
||||
lang: py
|
||||
domain: ml
|
||||
version: "1.0.0"
|
||||
purity: pure
|
||||
signature: "def comfyui_inject_hires_fix(workflow: dict, *, upscale_by: float = 1.5, denoise: float = 0.4, steps: int = 20, cfg: float = 7.0, seed: int = 0, upscale_model: str = '4x_foolhardy_Remacri.pth', sampler_name: str = 'euler', scheduler: str = 'normal', tile_width: int = 512, tile_height: int = 512) -> dict"
|
||||
description: "Inyecta una segunda pasada hires-fix en un workflow ComfyUI ya construido (API format) que termina en VAEDecode -> SaveImage. Anade UpscaleModelLoader + UltimateSDUpscale (re-difusion por tiles) conectados a la imagen del VAEDecode y al model/vae del CheckpointLoaderSimple, y repunta el SaveImage a la imagen ampliada. Version encadenable-sobre-dict de comfyui_build_hires_fix_workflow. Pura: no muta el dict de entrada (copia profunda)."
|
||||
tags: [comfyui, comfyui-skill, ml, hires-fix, upscale, workflow, stable-diffusion]
|
||||
uses_functions: []
|
||||
uses_types: []
|
||||
returns: []
|
||||
returns_optional: false
|
||||
error_type: ""
|
||||
imports: []
|
||||
params:
|
||||
- name: workflow
|
||||
desc: "dict en API format (ej. salida de comfyui_build_txt2img_workflow) que termina en VAEDecode -> SaveImage. No se muta; se devuelve una copia."
|
||||
- name: upscale_by
|
||||
desc: "Factor de ampliacion de UltimateSDUpscale sobre la imagen base (1.5 -> 512 pasa a 768). keyword-only."
|
||||
- name: denoise
|
||||
desc: "Fuerza de re-difusion de la segunda pasada (0.4 por defecto). <1 conserva la composicion base y solo anade detalle; 1.0 la re-generaria entera. keyword-only."
|
||||
- name: steps
|
||||
desc: "Pasos de sampling de la re-difusion tiled. keyword-only."
|
||||
- name: cfg
|
||||
desc: "Classifier-free guidance de la re-difusion. keyword-only."
|
||||
- name: seed
|
||||
desc: "Semilla de UltimateSDUpscale. keyword-only."
|
||||
- name: upscale_model
|
||||
desc: "Modelo de upscale en models/upscale_models/ que usa UltimateSDUpscale para escalar antes de re-difundir (ej. '4x_foolhardy_Remacri.pth'). keyword-only."
|
||||
- name: sampler_name
|
||||
desc: "Sampler de la re-difusion. keyword-only."
|
||||
- name: scheduler
|
||||
desc: "Scheduler de la re-difusion. keyword-only."
|
||||
- name: tile_width
|
||||
desc: "Ancho de tile de UltimateSDUpscale (px). Tiles mas pequenos = menos VRAM, mas costuras. keyword-only."
|
||||
- name: tile_height
|
||||
desc: "Alto de tile de UltimateSDUpscale (px). keyword-only."
|
||||
output: "copia del workflow con UpscaleModelLoader + UltimateSDUpscale anadidos (node_ids = max id numerico + 1 y + 2) y el SaveImage repuntado a la salida [ultimatesdupscale_id, 0]. Si no habia SaveImage, se anade uno con filename_prefix 'hires'."
|
||||
tested: true
|
||||
tests: ["no muta el dict de entrada (pureza)", "inserta UltimateSDUpscale y UpscaleModelLoader", "repunta el SaveImage al UltimateSDUpscale", "params reflejados (upscale_by/denoise/seed)", "lanza ValueError si falta VAEDecode"]
|
||||
test_file_path: "python/functions/ml/tests/test_comfyui_inject_hires_fix.py"
|
||||
file_path: "python/functions/ml/comfyui_inject_hires_fix.py"
|
||||
---
|
||||
|
||||
## Ejemplo
|
||||
|
||||
```python
|
||||
import sys, os
|
||||
sys.path.insert(0, os.path.join(os.environ["HOME"], "fn_registry", "python", "functions"))
|
||||
from ml.comfyui_build_txt2img_workflow import comfyui_build_txt2img_workflow
|
||||
from ml.comfyui_inject_hires_fix import comfyui_inject_hires_fix
|
||||
|
||||
base = comfyui_build_txt2img_workflow("dreamshaper_8.safetensors", "a fox in a forest, detailed")
|
||||
# El base termina en VAEDecode ["8",0] -> SaveImage ["9"].
|
||||
wf = comfyui_inject_hires_fix(base, upscale_by=2.0, denoise=0.35, seed=42)
|
||||
# Ahora: VAEDecode -> UltimateSDUpscale -> SaveImage, con UpscaleModelLoader cargando Remacri.
|
||||
# El SaveImage["9"].inputs["images"] apunta al nuevo UltimateSDUpscale, no al VAEDecode.
|
||||
```
|
||||
|
||||
## Cuando usarla
|
||||
|
||||
Cuando ya tengas un workflow txt2img/img2img construido (o devuelto por otro
|
||||
builder) y quieras anadirle el hires fix sin reescribir el grafo desde cero.
|
||||
A diferencia de `comfyui_build_hires_fix_workflow`, que construye el grafo entero
|
||||
de una vez, esta lo ENCADENA sobre un dict existente: util tras inyectar LoRAs
|
||||
con `comfyui_inject_lora` o partiendo de cualquier base que termine en
|
||||
VAEDecode -> SaveImage. Una sola llamada anade la segunda pasada completa.
|
||||
|
||||
## Gotchas
|
||||
|
||||
- Pura: no muta el `workflow` de entrada (trabaja sobre una copia profunda) y NO
|
||||
valida que `upscale_model` exista en el servidor. Valida con `comfyui_validate_workflow`.
|
||||
- Requiere el custom node UltimateSDUpscale instalado en el servidor ComfyUI; el
|
||||
dict se construye igual aunque no este, pero el submit fallara.
|
||||
- Detecta el VAEDecode (fuente de imagen), el CheckpointLoaderSimple (model slot 0,
|
||||
vae slot 2) y los CLIPTextEncode positive/negative por el KSampler existente. Si
|
||||
no hay VAEDecode o CheckpointLoaderSimple, lanza ValueError.
|
||||
- Si el workflow tiene varios VAEDecode/SaveImage, se usa el PRIMERO encontrado.
|
||||
Para grafos multi-salida construye con un builder dedicado.
|
||||
- El nuevo node_id es `max(ids numericos) + 1` (y +2). Si tu workflow usa ids no
|
||||
numericos, el contador cae a `len(workflow) + 1`.
|
||||
Reference in New Issue
Block a user