feat(gamedev): comfyui_build_emote_workflow — emotes/expresiones de personaje
Builder puro (dict API format) del grupo gamedev: genera el workflow de UN emote/expresion facial del mismo personaje (alegre, triste, enfadado, sorprendido, neutral) para sistema de dialogo, retratos reactivos o emotes de chat. La clave es la consistencia del personaje entre expresiones: ref_face encadena IPAdapter-FaceID para que varie solo la expresion y el rostro sea el mismo; facedetailer regenera la cara conservando la expresion. Compone comfyui_build_ipadapter_workflow / comfyui_build_txt2img_workflow + comfyui_inject_lora + comfyui_build_facedetailer_workflow. Hermano de comfyui_build_portrait_avatar/sprite_sheet_workflow. 12 tests offline verdes (golden + edge + error) y 1 generacion real verificada en GPU (8GB lowvram): la expresion happy/smiling se lee claramente. Fila en docs/capabilities/gamedev-2d.md. Evidencia en reports/0151. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -37,6 +37,7 @@ VFX (ver `reports/0143`).
|
||||
| `comfyui_build_vfx_spritesheet_workflow_py_ml` | `(prompt, *, motion_model="mm_sd_v15_v2.ckpt", num_frames=16, closed_loop=True, lora=None, …) -> dict` | N frames AnimateDiff loop sobre negro (insumo de luma→alpha). 8GB: 16f@512² revienta, usar ≤8f@512² o bajar resolución. |
|
||||
| `comfyui_build_item_icon_workflow_py_ml` | `(item, *, style="game icon, clean, centered", checkpoint="dreamshaper_8…", size=512, transparent=True, lora=None, …) -> dict` | UN icono de item de inventario (espada/poción/anillo/libro/escudo): txt2img cuadrado + prompt scaffold de icono + LoRA estilo opcional + Rembg (alpha). Set coherente = mismo style/checkpoint/lora por item. SD1.5. |
|
||||
| `comfyui_build_portrait_avatar_workflow_py_ml` | `(character, *, style="character portrait", ref_face=None, checkpoint="dreamshaper_8…", size=512, facedetailer=True, lora=None, …) -> dict` | UN retrato/avatar de personaje (busto centrado, cara al espectador, fondo simple): txt2img + prompt scaffold de retrato + FaceDetailer (cara nítida) + LoRA estilo opcional; `ref_face` → IPAdapter-FaceID para rostro consistente entre retratos. Diálogo/perfil/selección. SD1.5. |
|
||||
| `comfyui_build_emote_workflow_py_ml` | `(character, expression, *, ref_face=None, style="character portrait", checkpoint="dreamshaper_8…", size=512, facedetailer=True, lora=None, …) -> dict` | UN emote/expresión facial del MISMO personaje (alegre/triste/enfadado/sorprendido/neutral…) para diálogo, retratos reactivos o emotes de chat: txt2img + prompt scaffold de emote (`portrait of {character}, {expression} expression, emote, clean background`) + FaceDetailer (conserva la expresión); `ref_face` → IPAdapter-FaceID para que varíe SOLO la expresión y el rostro sea el mismo. UNA expresión por llamada; set = mismas claves variando `expression` → `comfyui_build_grid`. Probado e2e en GPU (`reports/0151`). SD1.5. |
|
||||
| `comfyui_build_parallax_background_workflow_py_ml` | `(scene, *, style="game background, side-scroller…", layers=3, checkpoint="dreamshaper_8…", depth_node="DepthAnythingV2Preprocessor", width=1024, height=512, …) -> dict` | Fondo en capas para parallax 2.5D: genera el fondo apaisado (txt2img) + su depth map (`DepthAnythingV2Preprocessor` sobre el VAEDecode), dos SaveImage. El split en N bandas por profundidad es post (GAP: `split_parallax_layers`, aún no creada). Probado e2e en GPU (`reports/0149`). SD1.5. |
|
||||
| `comfyui_build_normal_map_workflow_py_ml` | `(image, *, method="normal", strength=1.0, resolution=512, bg_threshold=0.1, filename_prefix="normal_map") -> dict` | Normal/depth map de un sprite existente para iluminación dinámica 2.5D (Godot CanvasItem `normal_map`, Unity sprite normal). `LoadImage → preprocesador controlnet_aux → SaveImage`. `method`: `normal` (default, `BAE-NormalMapPreprocessor`, normal canónico **azul/violeta** usable directo en motor), `normal_midas` (MiDaS, único con `strength`→`a`, paleta no canónica), `normal_dsine` (DSINE), `depth` (`DepthAnythingV2`, height en gris). `image` debe estar en `input/` de ComfyUI. Coste VRAM ≈0. Probado e2e en GPU (`reports/0150`). |
|
||||
|
||||
|
||||
@@ -0,0 +1,133 @@
|
||||
---
|
||||
name: comfyui_build_emote_workflow
|
||||
kind: function
|
||||
lang: py
|
||||
domain: ml
|
||||
version: "1.0.0"
|
||||
purity: pure
|
||||
signature: "def comfyui_build_emote_workflow(character: str, expression: str, *, ref_face: str | None = None, style: str = \"character portrait\", checkpoint: str = \"dreamshaper_8.safetensors\", size: int = 512, facedetailer: bool = True, seed: int = 0, lora: str | None = None, lora_strength: float = 1.0, weight: float = 0.85, negative: str | None = None, steps: int = 28, cfg: float = 7.0, sampler_name: str = \"dpmpp_2m\", scheduler: str = \"karras\", fd_denoise: float = 0.45, bbox_model: str = \"face_yolov8m.pt\", filename_prefix: str = \"emote\") -> dict"
|
||||
description: "Construye el dict (API format) del workflow de UN emote/expresion facial de personaje 2D (alegre, triste, enfadado, sorprendido, neutral...) para sistema de dialogo, retratos reactivos o emotes de chat. La clave es la consistencia del personaje entre expresiones: con ref_face encadena IPAdapter-FaceID para que el rostro sea el mismo y varie SOLO la expresion; con facedetailer regenera la cara con detalle conservando la expresion (Impact-Pack). Compone comfyui_build_ipadapter_workflow / comfyui_build_txt2img_workflow + comfyui_inject_lora + comfyui_build_facedetailer_workflow. Hermano de comfyui_build_portrait_avatar/sprite_sheet_workflow. Pura, sin red ni I/O. class_types verificados contra /object_info (8GB lowvram)."
|
||||
tags: [comfyui, ml, gamedev, gamedev-2d, emote, expression, character, dialogue, faceid, ipadapter, facedetailer, workflow]
|
||||
uses_functions: [comfyui_build_txt2img_workflow_py_ml, comfyui_build_ipadapter_workflow_py_ml, comfyui_inject_lora_py_ml, comfyui_build_facedetailer_workflow_py_ml]
|
||||
uses_types: []
|
||||
returns: []
|
||||
returns_optional: false
|
||||
error_type: ""
|
||||
imports: []
|
||||
params:
|
||||
- name: character
|
||||
desc: "Descripcion del personaje (ej. 'a knight woman with red hair', 'an old wizard with a long white beard'). Se inserta en un prompt scaffold de emote. No puede estar vacio. Manten el MISMO character en todas las expresiones de un set para coherencia de personaje."
|
||||
- name: expression
|
||||
desc: "Expresion facial a representar (ej. 'happy, smiling', 'sad', 'angry', 'surprised', 'neutral'). Es lo unico que deberia cambiar entre los emotes de un mismo personaje. No puede estar vacio."
|
||||
- name: ref_face
|
||||
desc: "Nombre de una imagen de rostro de referencia del personaje en input/ del servidor. Si se pasa, encadena IPAdapter-FaceID para que todos los emotes tengan el MISMO rostro (identidad consistente entre expresiones). None = identidad solo por prompt + seed. keyword-only."
|
||||
- name: style
|
||||
desc: "Descriptor de estilo que mantiene consistentes los emotes de un set (ej. 'character portrait', 'anime portrait', 'realistic RPG portrait'). Pasa el MISMO style + checkpoint + lora a todas las expresiones para coherencia visual. keyword-only."
|
||||
- name: checkpoint
|
||||
desc: "Checkpoint del servidor. 'dreamshaper_8.safetensors' (SD1.5, holgado en 8GB lowvram) por defecto. FaceID solo instalado para SD1.5: con checkpoint SDXL deja ref_face=None. keyword-only."
|
||||
- name: size
|
||||
desc: "Lado del cuadrado en px (width = height = size). 512 SD1.5 por defecto, encuadre tipico de retrato/emote. keyword-only."
|
||||
- name: facedetailer
|
||||
desc: "Si True encadena FaceDetailer (Impact-Pack) para regenerar la cara con detalle (donde se lee la expresion) y descarta el SaveImage base (el unico PNG guardado es el refinado). False deja la imagen tal cual sale del VAEDecode. keyword-only."
|
||||
- name: seed
|
||||
desc: "Semilla del KSampler (y del sampler del FaceDetailer). Misma seed + mismo character/ref_face -> mismo personaje; variar solo expression mantiene la identidad y cambia la cara. keyword-only."
|
||||
- name: lora
|
||||
desc: "LoRA de estilo opcional en models/loras (ej. 'anime_lineart_sd15.safetensors'). None = sin LoRA. keyword-only."
|
||||
- name: lora_strength
|
||||
desc: "Fuerza del LoRA sobre model y clip. Se clampa a [0.0, 2.0]. keyword-only."
|
||||
- name: weight
|
||||
desc: "Peso del IPAdapter-FaceID (solo si ref_face). 0.85 = parecido alto; baja para mas libertad expresiva, sube para mas parecido. keyword-only."
|
||||
- name: negative
|
||||
desc: "Prompt negativo. None usa el negativo por defecto pensado para emotes (una cara bien formada, sin texto/recorte; NO filtra ninguna expresion). keyword-only."
|
||||
- name: steps
|
||||
desc: "Pasos del KSampler. keyword-only."
|
||||
- name: cfg
|
||||
desc: "CFG del KSampler (y del sampler del FaceDetailer). keyword-only."
|
||||
- name: sampler_name
|
||||
desc: "Sampler del KSampler. keyword-only."
|
||||
- name: scheduler
|
||||
desc: "Scheduler del KSampler. keyword-only."
|
||||
- name: fd_denoise
|
||||
desc: "Fuerza de re-difusion de la cara en el FaceDetailer (0.45: refina sin perder la identidad de FaceID ni la expresion). Solo si facedetailer=True. keyword-only."
|
||||
- name: bbox_model
|
||||
desc: "Modelo de deteccion de caras de Ultralytics para el FaceDetailer ('face_yolov8m.pt'). Solo si facedetailer=True. keyword-only."
|
||||
- name: filename_prefix
|
||||
desc: "Prefijo del PNG en output/. keyword-only."
|
||||
output: "dict en API format listo para comfyui_submit_workflow: base txt2img (o IPAdapter-FaceID si ref_face) con prompt scaffold de emote ('portrait of {character}, {expression} expression, emote, {style}, expressive face, ..., clean background') + LoRA de estilo opcional + FaceDetailer (si facedetailer, con SaveImage base descartado y la expresion conservada en el prompt del detailer). UN emote; un set coherente -> llamar por expression con mismo character/style/checkpoint/(lora) y, para el mismo personaje, el mismo ref_face/seed."
|
||||
tested: true
|
||||
tests: ["golden facedetailer: clases CheckpointLoaderSimple/KSampler/VAEDecode/FaceDetailer/UltralyticsDetectorProvider; 'portrait of'+'{expression} expression'+'emote'+'clean background' en prompt; un solo SaveImage = fd_save <- FaceDetailer; FaceDetailer.image <- VAEDecode; sin IPAdapterFaceID si no ref_face", "golden detailer conserva expresion: >=2 CLIPTextEncode con la expresion (base + fd_pos), fd_pos enfoca 'detailed face'", "edge facedetailer=False: sin FaceDetailer, SaveImage base <- VAEDecode", "edge ref_face: IPAdapterUnifiedLoaderFaceID/IPAdapterFaceID presentes, LoadImage con ref_face, weight reflejado, KSampler.model <- rama FaceID (consistencia)", "edge expression en prompt", "edge style en prompt", "edge size: width==height==768 (cuadrado)", "edge lora: LoraLoader con strength", "edge seed reflejado en KSampler", "error character vacio -> ValueError", "error expression vacio -> ValueError", "determinismo"]
|
||||
test_file_path: "python/functions/ml/comfyui_build_emote_workflow_test.py"
|
||||
file_path: "python/functions/ml/comfyui_build_emote_workflow.py"
|
||||
---
|
||||
|
||||
## Ejemplo
|
||||
|
||||
```python
|
||||
import sys, os
|
||||
sys.path.insert(0, os.path.join(os.environ["HOME"], "fn_registry", "python", "functions"))
|
||||
from ml.comfyui_build_emote_workflow import comfyui_build_emote_workflow
|
||||
|
||||
# UN emote con cara nitida (FaceDetailer), identidad por prompt + seed.
|
||||
wf = comfyui_build_emote_workflow(
|
||||
"a knight woman with red hair",
|
||||
"happy, smiling",
|
||||
style="realistic RPG portrait",
|
||||
facedetailer=True,
|
||||
seed=7,
|
||||
)
|
||||
# -> comfyui_submit_workflow(wf) -> comfyui_wait_result -> comfyui_fetch_output_image
|
||||
|
||||
# Set de emotes del MISMO personaje: sube una cara de referencia a input/ del
|
||||
# servidor y pasala como ref_face (IPAdapter-FaceID). Mismo character/ref_face/seed,
|
||||
# varia SOLO expression -> mismo rostro, distinta expresion.
|
||||
# for expr in ["happy, smiling", "sad", "angry", "surprised", "neutral"]:
|
||||
# wf = comfyui_build_emote_workflow(
|
||||
# "a knight woman with red hair", expr,
|
||||
# ref_face="hero_face.png", style="realistic RPG portrait", seed=7)
|
||||
# # submit + wait + fetch cada uno -> luego comfyui_build_grid para una hoja.
|
||||
```
|
||||
|
||||
O lanzable directo con: `./fn run comfyui_build_emote_workflow` (imprime nodos + class_types del ejemplo).
|
||||
|
||||
## Cuando usarla
|
||||
|
||||
Cuando necesites el set de expresiones/emotes de un personaje para un sistema de
|
||||
dialogo, retratos reactivos (la cara del NPC cambia segun el tono de la
|
||||
conversacion) o emotes de chat: alegre, triste, enfadado, sorprendido, neutral...
|
||||
Es UNA expresion por llamada. Para que sea el MISMO personaje en todas, sube una
|
||||
foto de su cara a `input/` y pasala como `ref_face` -> IPAdapter-FaceID fija el
|
||||
rostro y solo cambia la expresion entre llamadas. Mantén `character` + `style` +
|
||||
`checkpoint` + (`lora`) + `seed` constantes y varia solo `expression`. Un set
|
||||
completo se monta en una hoja de emotes con `comfyui_build_grid` sobre los PNG.
|
||||
Para un busto generico (sin expresion concreta) usa el hermano
|
||||
`comfyui_build_portrait_avatar_workflow`.
|
||||
|
||||
## Gotchas
|
||||
|
||||
- **La expresion es lo unico que debe variar**: para coherencia de personaje en
|
||||
un set, cambia SOLO `expression` y deja `character`/`style`/`checkpoint`/`lora`/
|
||||
`seed`/`ref_face` igual. Cambiar otros parametros rompe la identidad entre
|
||||
emotes.
|
||||
- **FaceID solo SD1.5**: `ref_face` requiere los modelos IPAdapter-FaceID, que en
|
||||
este servidor solo estan para SD1.5 (dreamshaper_8). Con un checkpoint SDXL deja
|
||||
`ref_face=None` (identidad por prompt + seed) o usa un checkpoint SD1.5.
|
||||
- **El detailer conserva la expresion**: el prompt del FaceDetailer incluye
|
||||
`{expression} expression` para no perder el emote al refinar la cara. Reutiliza
|
||||
el `CheckpointLoaderSimple` crudo (no la rama IPAdapter); por eso `fd_denoise`
|
||||
es bajo (0.45): refina ojos/boca/cejas preservando la identidad de FaceID. Si la
|
||||
expresion se diluye al refinar, sube `fd_denoise` ligeramente; si se aleja el
|
||||
parecido, bajalo (0.3-0.4) o sube `weight`.
|
||||
- **SaveImage unico con facedetailer**: cuando `facedetailer=True` se descarta el
|
||||
SaveImage base y solo se guarda el PNG del detailer (`fd_save`) — no hay doble
|
||||
guardado. Con `facedetailer=False` el SaveImage base toma del VAEDecode.
|
||||
- **Requiere custom nodes instalados**: IPAdapter_plus (cubiq) para FaceID e
|
||||
Impact-Pack para FaceDetailer/UltralyticsDetectorProvider. Si un nodo falta, el
|
||||
submit fallara; consulta `/object_info` del servidor para confirmar.
|
||||
- **El negativo por defecto no filtra expresiones**: 'neutral', 'sad', etc. son
|
||||
expresiones validas, por eso el negativo solo cubre defectos de cara/anatomia,
|
||||
no estados de animo. Si pasas un `negative` propio, no incluyas terminos que
|
||||
contradigan la `expression` pedida.
|
||||
- **8GB lowvram**: `size=512` con dreamshaper_8 va holgado; SDXL pide mas VRAM y
|
||||
resolucion mayor. Si hay OOM, baja `size` o desactiva `facedetailer`.
|
||||
- Es una funcion **pura**: solo arma el dict. La generacion real (GPU) la hacen
|
||||
`comfyui_submit_workflow` + `comfyui_wait_result` + `comfyui_fetch_output_image`.
|
||||
@@ -0,0 +1,272 @@
|
||||
"""Construye el workflow ComfyUI de UN emote/expresion facial de personaje (API format).
|
||||
|
||||
Emotes/expresiones del MISMO personaje (alegre, triste, enfadado, sorprendido,
|
||||
neutral...) para un sistema de dialogo, retratos reactivos o emotes de chat. La
|
||||
clave es la consistencia del personaje entre expresiones: el rostro debe ser el
|
||||
mismo y variar SOLO la expresion. Es el builder hermano de
|
||||
comfyui_build_portrait_avatar_workflow / comfyui_build_sprite_sheet_workflow:
|
||||
mismo patron (PURO, dict API format) que compone funciones existentes del
|
||||
registry, no reescribe el grafo.
|
||||
|
||||
Cableado segun los argumentos:
|
||||
|
||||
[IPAdapter-FaceID si ref_face] -> mismo rostro entre emotes
|
||||
CheckpointLoaderSimple -> [LoraLoader si lora] -> KSampler
|
||||
-> CLIPTextEncode (scaffold de emote) ...
|
||||
-> VAEDecode -> SaveImage
|
||||
-> [FaceDetailer si facedetailer] -> SaveImage final
|
||||
|
||||
Compone:
|
||||
- comfyui_build_ipadapter_workflow (mode='faceid') -> identidad de rostro
|
||||
consistente desde una imagen de referencia del personaje (o
|
||||
comfyui_build_txt2img_workflow si no hay ref_face)
|
||||
- comfyui_inject_lora -> LoRA de estilo opcional
|
||||
- comfyui_build_facedetailer_workflow (modo dict) -> cara nitida (regenera la
|
||||
cara detectada con un sampler de difusion, el 'pain #1' de los retratos)
|
||||
|
||||
Por que IPAdapter-FaceID y no solo prompt: para un set de emotes coherente el
|
||||
MISMO personaje tiene que aparecer en todas las expresiones; FaceID extrae el
|
||||
embedding de la cara de `ref_face` y lo impone, de modo que cambia la expresion
|
||||
pero no la identidad (report 0137 / report 0148). Sin `ref_face`, la identidad la
|
||||
dan solo el prompt + la seed (estable entre llamadas con la misma seed y el mismo
|
||||
character, pero no anclada a una cara concreta de referencia).
|
||||
|
||||
Por que FaceDetailer al final: el primer render pierde detalle en la cara a 512px
|
||||
(ojos, boca, cejas) y la expresion es precisamente donde se lee el emote;
|
||||
FaceDetailer detecta la cara (YOLO) y la regenera ampliada conservando la
|
||||
expresion. Cuando se activa, se descarta el SaveImage base para que el unico PNG
|
||||
guardado sea el de la cara ya refinada.
|
||||
|
||||
Una expresion por llamada. Un set de emotes del mismo personaje se obtiene
|
||||
llamando N veces (mismo character/ref_face/seed/style/checkpoint, cambiando solo
|
||||
`expression`) y montando los PNG resultantes con comfyui_build_grid en una hoja.
|
||||
|
||||
class_types/inputs verificados contra /object_info del servidor (8GB lowvram) a
|
||||
traves de los builders que compone (IPAdapterUnifiedLoaderFaceID/IPAdapterFaceID,
|
||||
LoraLoader, UltralyticsDetectorProvider/FaceDetailer de Impact-Pack).
|
||||
|
||||
Funcion pura: sin red, sin I/O. No muta dicts de entrada (los builders/inyectores
|
||||
que compone trabajan sobre copias). Determinista para los mismos argumentos.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import os
|
||||
import sys
|
||||
|
||||
sys.path.insert(0, os.path.join(os.path.dirname(__file__), ".."))
|
||||
|
||||
# Negativo por defecto pensado para emotes: una sola cara bien formada, sin
|
||||
# texto/marcas ni recortes que ensucien el busto centrado. No filtra ninguna
|
||||
# expresion concreta (neutral, triste, etc. son expresiones validas).
|
||||
_EMOTE_NEGATIVE = (
|
||||
"blurry, lowres, deformed face, disfigured, bad anatomy, extra limbs, "
|
||||
"extra fingers, mutated hands, ugly, text, watermark, signature, "
|
||||
"cropped, out of frame, multiple faces, two heads, jpeg artifacts"
|
||||
)
|
||||
|
||||
|
||||
def comfyui_build_emote_workflow(
|
||||
character: str,
|
||||
expression: str,
|
||||
*,
|
||||
ref_face: str | None = None,
|
||||
style: str = "character portrait",
|
||||
checkpoint: str = "dreamshaper_8.safetensors",
|
||||
size: int = 512,
|
||||
facedetailer: bool = True,
|
||||
seed: int = 0,
|
||||
lora: str | None = None,
|
||||
lora_strength: float = 1.0,
|
||||
weight: float = 0.85,
|
||||
negative: str | None = None,
|
||||
steps: int = 28,
|
||||
cfg: float = 7.0,
|
||||
sampler_name: str = "dpmpp_2m",
|
||||
scheduler: str = "karras",
|
||||
fd_denoise: float = 0.45,
|
||||
bbox_model: str = "face_yolov8m.pt",
|
||||
filename_prefix: str = "emote",
|
||||
) -> dict:
|
||||
"""Construye el dict (API format) del workflow de un emote/expresion de personaje.
|
||||
|
||||
Args:
|
||||
character: descripcion del personaje (ej. "a knight woman with red hair",
|
||||
"an old wizard with a long white beard"). Se inserta en un prompt
|
||||
scaffold de emote. No puede estar vacio. Manten el MISMO character en
|
||||
todas las expresiones de un set para coherencia de personaje.
|
||||
expression: expresion facial a representar (ej. "happy, smiling", "sad",
|
||||
"angry", "surprised", "neutral"). Es lo unico que deberia cambiar
|
||||
entre los emotes de un mismo personaje. No puede estar vacio.
|
||||
ref_face: nombre de una imagen de rostro de referencia del personaje en el
|
||||
directorio input/ del servidor ComfyUI. Si se pasa, encadena
|
||||
IPAdapter-FaceID para que todos los emotes tengan el MISMO rostro
|
||||
(identidad consistente entre expresiones). None = identidad solo por
|
||||
prompt + seed. keyword-only.
|
||||
style: descriptor de estilo que mantiene consistentes los emotes de un set
|
||||
(ej. "character portrait", "anime portrait", "realistic RPG
|
||||
portrait"). Pasa el MISMO style + checkpoint + (lora) a todas las
|
||||
expresiones para coherencia visual. keyword-only.
|
||||
checkpoint: checkpoint del servidor. 'dreamshaper_8.safetensors' (SD1.5,
|
||||
holgado en 8GB lowvram) por defecto. FaceID solo esta instalado para
|
||||
SD1.5: si usas un checkpoint SDXL, deja ref_face=None. keyword-only.
|
||||
size: lado del cuadrado en px (width = height = size). 512 SD1.5 por
|
||||
defecto, encuadre tipico de retrato/emote. keyword-only.
|
||||
facedetailer: si True encadena FaceDetailer (Impact-Pack) para regenerar la
|
||||
cara con detalle (donde se lee la expresion) y descarta el SaveImage
|
||||
base (el unico PNG guardado es el refinado). False deja la imagen tal
|
||||
cual sale del VAEDecode. keyword-only.
|
||||
seed: semilla del KSampler (y del sampler del FaceDetailer). Misma seed +
|
||||
mismo character/ref_face -> mismo personaje; variar solo expression
|
||||
mantiene la identidad y cambia la cara. keyword-only.
|
||||
lora: LoRA de estilo opcional en models/loras (ej.
|
||||
'anime_lineart_sd15.safetensors'). None = sin LoRA. keyword-only.
|
||||
lora_strength: fuerza del LoRA sobre model y clip. Se clampa a [0.0, 2.0].
|
||||
keyword-only.
|
||||
weight: peso del IPAdapter-FaceID (solo si ref_face). 0.85 = parecido alto;
|
||||
baja para mas libertad expresiva, sube para mas parecido. keyword-only.
|
||||
negative: prompt negativo. None usa el negativo por defecto pensado para
|
||||
emotes (una cara, bien formada, sin texto/recorte; no filtra ninguna
|
||||
expresion). keyword-only.
|
||||
steps: pasos del KSampler. keyword-only.
|
||||
cfg: CFG del KSampler (y del sampler del FaceDetailer). keyword-only.
|
||||
sampler_name: sampler del KSampler. keyword-only.
|
||||
scheduler: scheduler del KSampler. keyword-only.
|
||||
fd_denoise: fuerza de re-difusion de la cara en el FaceDetailer (0.45 por
|
||||
defecto: refina sin perder la identidad de FaceID ni la expresion).
|
||||
Solo se usa si facedetailer=True. keyword-only.
|
||||
bbox_model: modelo de deteccion de caras de Ultralytics para el
|
||||
FaceDetailer ('face_yolov8m.pt'). Solo si facedetailer=True.
|
||||
keyword-only.
|
||||
filename_prefix: prefijo del PNG generado en output/. keyword-only.
|
||||
|
||||
Returns:
|
||||
dict en API format listo para comfyui_submit_workflow: base txt2img (o
|
||||
IPAdapter-FaceID si ref_face) con prompt scaffold de emote + LoRA de estilo
|
||||
opcional + FaceDetailer (si facedetailer). Es UN emote; un set coherente
|
||||
-> llamar por expression con el mismo character/style/checkpoint/(lora) y,
|
||||
para el mismo personaje, el mismo ref_face/seed.
|
||||
|
||||
Raises:
|
||||
ValueError: si character o expression estan vacios, o si la base/inyectores
|
||||
no encuentran los nodos donde enganchar (propagado por los builders que
|
||||
compone).
|
||||
"""
|
||||
from ml.comfyui_build_txt2img_workflow import comfyui_build_txt2img_workflow
|
||||
|
||||
if not character or not character.strip():
|
||||
raise ValueError(
|
||||
"comfyui_build_emote_workflow: 'character' no puede estar vacio"
|
||||
)
|
||||
if not expression or not expression.strip():
|
||||
raise ValueError(
|
||||
"comfyui_build_emote_workflow: 'expression' no puede estar vacio"
|
||||
)
|
||||
|
||||
character = character.strip()
|
||||
expression = expression.strip()
|
||||
lora_strength = max(0.0, min(2.0, float(lora_strength)))
|
||||
neg = _EMOTE_NEGATIVE if negative is None else negative
|
||||
|
||||
# Prompt scaffold de emote: retrato del personaje con la expresion marcada,
|
||||
# encuadre de emote (cara expresiva mirando al espectador) y fondo limpio para
|
||||
# recorte/uso en UI de dialogo.
|
||||
positive = (
|
||||
f"portrait of {character}, {expression} expression, emote, "
|
||||
f"{style}, expressive face, head and shoulders, looking at viewer, "
|
||||
"clean background, high detail"
|
||||
)
|
||||
|
||||
if ref_face:
|
||||
from ml.comfyui_build_ipadapter_workflow import comfyui_build_ipadapter_workflow
|
||||
|
||||
wf = comfyui_build_ipadapter_workflow(
|
||||
positive,
|
||||
ref_face,
|
||||
base_checkpoint=checkpoint,
|
||||
mode="faceid",
|
||||
weight=weight,
|
||||
negative=neg,
|
||||
steps=steps,
|
||||
cfg=cfg,
|
||||
width=size,
|
||||
height=size,
|
||||
seed=seed,
|
||||
sampler_name=sampler_name,
|
||||
scheduler=scheduler,
|
||||
filename_prefix=filename_prefix,
|
||||
)
|
||||
else:
|
||||
wf = comfyui_build_txt2img_workflow(
|
||||
checkpoint,
|
||||
positive,
|
||||
neg,
|
||||
steps=steps,
|
||||
cfg=cfg,
|
||||
width=size,
|
||||
height=size,
|
||||
seed=seed,
|
||||
sampler_name=sampler_name,
|
||||
scheduler=scheduler,
|
||||
filename_prefix=filename_prefix,
|
||||
)
|
||||
|
||||
if lora:
|
||||
from ml.comfyui_inject_lora import comfyui_inject_lora
|
||||
|
||||
wf = comfyui_inject_lora(
|
||||
wf, lora, strength_model=lora_strength, strength_clip=lora_strength
|
||||
)
|
||||
|
||||
if facedetailer:
|
||||
from ml.comfyui_build_facedetailer_workflow import (
|
||||
comfyui_build_facedetailer_workflow,
|
||||
)
|
||||
|
||||
# Descarta el SaveImage base: el FaceDetailer toma la imagen del VAEDecode y
|
||||
# anhade su propio SaveImage (fd_save). Asi el unico PNG guardado es el de la
|
||||
# cara ya refinada (sin doble guardado). dict-comprehension = copia, no muta.
|
||||
wf = {k: v for k, v in wf.items() if v.get("class_type") != "SaveImage"}
|
||||
|
||||
# Prompt del detailer enfocado en la cara CONSERVANDO la expresion: la
|
||||
# expresion es lo que distingue un emote, no debe perderse al refinar.
|
||||
fd_positive = (
|
||||
f"{character}, {expression} expression, {style}, "
|
||||
"detailed face, sharp eyes, expressive"
|
||||
)
|
||||
wf = comfyui_build_facedetailer_workflow(
|
||||
wf,
|
||||
checkpoint,
|
||||
fd_positive,
|
||||
neg,
|
||||
bbox_model=bbox_model,
|
||||
denoise=fd_denoise,
|
||||
steps=steps,
|
||||
cfg=cfg,
|
||||
seed=seed,
|
||||
sampler_name=sampler_name,
|
||||
scheduler=scheduler,
|
||||
filename_prefix=filename_prefix,
|
||||
)
|
||||
|
||||
return wf
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
import json
|
||||
|
||||
wf = comfyui_build_emote_workflow(
|
||||
"a knight woman with red hair",
|
||||
"happy, smiling",
|
||||
style="realistic RPG portrait",
|
||||
facedetailer=True,
|
||||
seed=7,
|
||||
)
|
||||
print(
|
||||
json.dumps(
|
||||
{
|
||||
"nodes": list(wf),
|
||||
"classes": sorted({n["class_type"] for n in wf.values()}),
|
||||
},
|
||||
indent=2,
|
||||
)
|
||||
)
|
||||
@@ -0,0 +1,188 @@
|
||||
"""Tests offline de comfyui_build_emote_workflow (estructura del dict, sin GPU)."""
|
||||
|
||||
import os
|
||||
import sys
|
||||
|
||||
sys.path.insert(0, os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
|
||||
from ml.comfyui_build_emote_workflow import ( # noqa: E402
|
||||
comfyui_build_emote_workflow,
|
||||
)
|
||||
|
||||
|
||||
def _classes(wf):
|
||||
return sorted({n["class_type"] for n in wf.values()})
|
||||
|
||||
|
||||
def _by_class(wf, cls):
|
||||
return [n for n in wf.values() if n["class_type"] == cls]
|
||||
|
||||
|
||||
def _positive_node(wf, needle):
|
||||
return next(
|
||||
n
|
||||
for n in wf.values()
|
||||
if n["class_type"] == "CLIPTextEncode" and needle in n["inputs"]["text"]
|
||||
)
|
||||
|
||||
|
||||
def test_golden_recipe_facedetailer():
|
||||
wf = comfyui_build_emote_workflow(
|
||||
"a knight woman with red hair", "happy, smiling", seed=7
|
||||
)
|
||||
cls = _classes(wf)
|
||||
# Cadena base txt2img + FaceDetailer (default facedetailer=True).
|
||||
assert "CheckpointLoaderSimple" in cls
|
||||
assert "KSampler" in cls
|
||||
assert "VAEDecode" in cls
|
||||
assert "FaceDetailer" in cls
|
||||
assert "UltralyticsDetectorProvider" in cls
|
||||
# Sin ref_face -> no hay rama IPAdapter-FaceID.
|
||||
assert "IPAdapterFaceID" not in cls
|
||||
# El personaje y la expresion aparecen en el prompt con el scaffold de emote.
|
||||
pos = _positive_node(wf, "a knight woman with red hair")
|
||||
assert "portrait of" in pos["inputs"]["text"]
|
||||
assert "happy, smiling expression" in pos["inputs"]["text"]
|
||||
assert "emote" in pos["inputs"]["text"]
|
||||
assert "clean background" in pos["inputs"]["text"]
|
||||
# FaceDetailer activado -> el unico SaveImage es el del detailer (fd_save).
|
||||
saves = _by_class(wf, "SaveImage")
|
||||
assert len(saves) == 1
|
||||
fd_face_id = next(nid for nid, n in wf.items() if n["class_type"] == "FaceDetailer")
|
||||
assert saves[0]["inputs"]["images"] == [fd_face_id, 0]
|
||||
# El FaceDetailer toma la imagen del VAEDecode del base.
|
||||
vd_id = next(nid for nid, n in wf.items() if n["class_type"] == "VAEDecode")
|
||||
fd = _by_class(wf, "FaceDetailer")[0]
|
||||
assert fd["inputs"]["image"] == [vd_id, 0]
|
||||
|
||||
|
||||
def test_golden_facedetailer_keeps_expression():
|
||||
wf = comfyui_build_emote_workflow(
|
||||
"a knight woman with red hair", "happy, smiling", seed=7
|
||||
)
|
||||
# Hay al menos dos nodos positivos que mencionan la expresion: base + detailer.
|
||||
matches = [
|
||||
n
|
||||
for n in wf.values()
|
||||
if n["class_type"] == "CLIPTextEncode"
|
||||
and "happy, smiling expression" in n["inputs"]["text"]
|
||||
]
|
||||
assert len(matches) >= 2
|
||||
# El CLIPTextEncode del detailer (fd_pos) conserva la expresion y enfoca la cara.
|
||||
fd_pos = _positive_node(wf, "detailed face")
|
||||
assert "happy, smiling expression" in fd_pos["inputs"]["text"]
|
||||
|
||||
|
||||
def test_edge_no_facedetailer_keeps_base_save():
|
||||
wf = comfyui_build_emote_workflow("an old wizard", "angry", facedetailer=False)
|
||||
cls = _classes(wf)
|
||||
assert "FaceDetailer" not in cls
|
||||
# SaveImage base presente y toma del VAEDecode.
|
||||
saves = _by_class(wf, "SaveImage")
|
||||
assert len(saves) == 1
|
||||
vd_id = next(nid for nid, n in wf.items() if n["class_type"] == "VAEDecode")
|
||||
assert saves[0]["inputs"]["images"] == [vd_id, 0]
|
||||
|
||||
|
||||
def test_edge_ref_face_activates_faceid():
|
||||
wf = comfyui_build_emote_workflow(
|
||||
"a knight woman with red hair",
|
||||
"surprised",
|
||||
ref_face="hero_face.png",
|
||||
weight=0.9,
|
||||
facedetailer=False,
|
||||
)
|
||||
cls = _classes(wf)
|
||||
assert "IPAdapterUnifiedLoaderFaceID" in cls
|
||||
assert "IPAdapterFaceID" in cls
|
||||
# La imagen de referencia del personaje se carga con LoadImage.
|
||||
loads = _by_class(wf, "LoadImage")
|
||||
assert any(n["inputs"]["image"] == "hero_face.png" for n in loads)
|
||||
# weight reflejado en el nodo FaceID.
|
||||
faceid = _by_class(wf, "IPAdapterFaceID")[0]
|
||||
assert faceid["inputs"]["weight"] == 0.9
|
||||
# El KSampler consume el MODEL condicionado por la rama IPAdapter (consistencia).
|
||||
ks = _by_class(wf, "KSampler")[0]
|
||||
apply_id = next(nid for nid, n in wf.items() if n["class_type"] == "IPAdapterFaceID")
|
||||
assert ks["inputs"]["model"] == [apply_id, 0]
|
||||
|
||||
|
||||
def test_edge_expression_reflected_in_prompt():
|
||||
wf = comfyui_build_emote_workflow(
|
||||
"a cheerful bard", "sad, crying", facedetailer=False
|
||||
)
|
||||
pos = _positive_node(wf, "a cheerful bard")
|
||||
assert "sad, crying expression" in pos["inputs"]["text"]
|
||||
|
||||
|
||||
def test_edge_style_reflected_in_prompt():
|
||||
wf = comfyui_build_emote_workflow(
|
||||
"a cheerful bard",
|
||||
"neutral",
|
||||
style="anime portrait, cel shaded",
|
||||
facedetailer=False,
|
||||
)
|
||||
pos = _positive_node(wf, "a cheerful bard")
|
||||
assert "anime portrait, cel shaded" in pos["inputs"]["text"]
|
||||
|
||||
|
||||
def test_edge_size_reflected_square():
|
||||
wf = comfyui_build_emote_workflow(
|
||||
"a stoic paladin", "angry", size=768, facedetailer=False
|
||||
)
|
||||
latent = _by_class(wf, "EmptyLatentImage")[0]["inputs"]
|
||||
assert latent["width"] == 768
|
||||
assert latent["height"] == 768 # cuadrado (retrato/emote)
|
||||
|
||||
|
||||
def test_edge_lora_reflected():
|
||||
wf = comfyui_build_emote_workflow(
|
||||
"a dark sorceress",
|
||||
"smug",
|
||||
lora="anime_lineart_sd15.safetensors",
|
||||
lora_strength=0.8,
|
||||
facedetailer=False,
|
||||
)
|
||||
loras = _by_class(wf, "LoraLoader")
|
||||
assert len(loras) == 1
|
||||
assert loras[0]["inputs"]["lora_name"] == "anime_lineart_sd15.safetensors"
|
||||
assert loras[0]["inputs"]["strength_model"] == 0.8
|
||||
|
||||
|
||||
def test_edge_seed_reflected():
|
||||
wf = comfyui_build_emote_workflow(
|
||||
"a grizzled mercenary", "neutral", seed=123, facedetailer=False
|
||||
)
|
||||
ks = _by_class(wf, "KSampler")[0]
|
||||
assert ks["inputs"]["seed"] == 123
|
||||
|
||||
|
||||
def test_error_empty_character():
|
||||
try:
|
||||
comfyui_build_emote_workflow(" ", "happy")
|
||||
assert False
|
||||
except ValueError as e:
|
||||
assert "character" in str(e)
|
||||
|
||||
|
||||
def test_error_empty_expression():
|
||||
try:
|
||||
comfyui_build_emote_workflow("a knight", " ")
|
||||
assert False
|
||||
except ValueError as e:
|
||||
assert "expression" in str(e)
|
||||
|
||||
|
||||
def test_determinism():
|
||||
a = comfyui_build_emote_workflow(
|
||||
"a knight woman with red hair",
|
||||
"happy, smiling",
|
||||
lora="anime_lineart_sd15.safetensors",
|
||||
seed=7,
|
||||
)
|
||||
b = comfyui_build_emote_workflow(
|
||||
"a knight woman with red hair",
|
||||
"happy, smiling",
|
||||
lora="anime_lineart_sd15.safetensors",
|
||||
seed=7,
|
||||
)
|
||||
assert a == b
|
||||
Reference in New Issue
Block a user