GUION PARA ENSAYAR LA PRESENTACIÓN DE MODELOS DE DIFUSIÓN Sesión del 5 de noviembre de 2026 · Revisión v12 73 diapositivas · 137 minutos: 122 de exposición y 15 de debate. Versión actual: 73 diapositivas y 137 minutos, incluidos quince de debate. El bloque D36–D43 está condensado, los esquemas finales se conservan en D44–D45 y la difusión de texto ocupa D58–D63. El objetivo original de 120 minutos sigue pendiente. Usa este guion para explicar la idea central, dirigir la atención y enlazar con la siguiente diapositiva. El guion completo conserva las precisiones y las fuentes. ============================================================================ D01 · Modelos de difusión 00:00–00:30 · 0,5 min IDEA QUE DEBE QUEDAR QUÉ EXPLICAR La pregunta de hoy es cómo una red puede aprender a crear imágenes nuevas empezando con ruido. Primero veremos el resultado y situaremos la tarea. Después abriremos el mecanismo, compararemos qué cambia en varios artículos y volveremos a un caso concreto para decidir cómo evaluar sus respuestas. La sesión reserva quince minutos finales de debate. Antes del mecanismo situaremos DDPM en el estado del arte de 2020: los modelos que ya existían, las métricas y las condiciones de comparación. Después utilizaremos ese contexto para interpretar lo que aporta la difusión. Único autor de esta presentación: Petter Peñafiel. La revisión incorpora difusión para texto y un panorama fechado al 4 de noviembre de 2026. QUÉ SEÑALAR JOURNAL 5 NOVIEMBRE 2026 Del ruido a imágenes y texto: mecanismo, control y evaluación Petter Peñafiel · 5 de noviembre de 2026 TRANSICIÓN Seguimos con: Qué significa generar una imagen. ============================================================================ D02 · Qué significa generar una imagen 00:30–02:30 · 2 min IDEA QUE DEBE QUEDAR Un generador aprende de muchos ejemplos para producir nuevas muestras. QUÉ EXPLICAR Cuando analizamos una imagen, partimos de una observación y obtenemos una etiqueta, una medida o una descripción. En generación, la salida es una nueva imagen. Para aprender esa tarea necesitamos una colección de ejemplos y un modelo que aproxime cómo se distribuyen. Las habitaciones de la derecha son muestras publicadas por los autores de DDPM. No son fotografías de entrada que hayamos entregado al modelo. Una imagen llamativa permite mostrar la tarea, aunque todavía no demuestra variedad ni utilidad. Durante la sesión iremos separando el resultado visual de la evidencia necesaria para evaluarlo. QUÉ SEÑALAR Analizar Partimos de una imagen y buscamos una descripción. Generar Aprendemos de muchas imágenes y producimos nuevas muestras. TRANSICIÓN Antes de entrar en las recetas, veamos cuánto ha crecido la investigación. ============================================================================ D03 · La investigación generativa se multiplica 02:30–04:00 · 1,5 min IDEA QUE DEBE QUEDAR El número de trabajos se multiplicó por 2,6 de 2023 a 2024. QUÉ EXPLICAR Después de definir qué significa generar, situamos la escala de la investigación. Señala primero el eje temporal y después las barras: son publicaciones anuales de IA generativa, en general, clasificadas por el AI Index de Stanford. En 2020 registra 1.822, en 2021 2.345, en 2022 2.719, en 2023 13.060 y en 2024 34.207. El cociente 34.207/13.060 es 2,619, que redondeamos a 2,6 veces. Son datos de la edición 2026, no publicaciones de 2026. Toda la serie procede de la misma edición y de su CSV oficial, que revisa ligeramente los históricos respecto a informes anteriores. Una publicación puede recibir varias etiquetas temáticas. El número mide actividad científica, no calidad, modelos distintos ni trabajos de imagen exclusivamente. No se extrapola la serie a 2025 o 2026. QUÉ SEÑALAR Eje de años, barras 2023 y 2024, cifra 34.207 y fuente Stanford. TRANSICIÓN Pasemos del conjunto de la IA generativa a la investigación sobre imágenes. ============================================================================ D04 · CVPR: títulos con «image generation» 04:00–05:30 · 1,5 min IDEA QUE DEBE QUEDAR De 8 a 52 títulos con «image generation» en CVPR, entre 2020 y 2025. QUÉ EXPLICAR CVPR es una conferencia internacional de visión por computador. Para mirar imagen usamos un indicador sencillo y reproducible: cuántos títulos de la conferencia principal CVPR contienen la frase contigua image generation, sin distinguir mayúsculas. El repositorio oficial de la Computer Vision Foundation registra 8 en 2020, 7 en 2021, 16 en 2022, 18 en 2023, 42 en 2024 y 52 en 2025. Las barras son un recuento propio sobre ese repositorio, no una estadística publicada por la organización. La cifra no pretende abarcar toda la generación de imágenes: quedan fuera títulos que hablan de synthesis, edición u otras tareas sin esa frase. El corpus excluye workshops y se deduplica por URL de artículo. Como contexto cualitativo, sitúa tres aportaciones concretas que se explicarán después: GAN en 2014 introduce el aprendizaje adversario, DDPM en 2020 desarrolla una receta de generación desde ruido y la difusión latente publicada en CVPR 2022 mueve las correcciones a una representación compacta. Estos hitos son ejemplos de mecanismos, no las causas cuantificadas del aumento de las barras. El año de LDM es el de su publicación en CVPR, cuya prepublicación original es de 2021. Las diapositivas 4 y 5 cuentan búsquedas léxicas diferentes en el mismo corpus, no dos categorías temáticas anidadas. En CVPR 2025 hay 52 títulos con la frase exacta «image generation» y 342 con la palabra «diffusion»; 13 contienen ambas. Por ejemplo, un artículo sobre generación de pelo 3D por difusión puede incluir «diffusion» sin incluir «image generation». Por eso la primera serie no engloba la segunda y no deben sumarse. El recuento no demuestra cuántos artículos tratan realmente de generación de imágenes o de difusión generativa. QUÉ SEÑALAR Las seis barras y los tres hitos de la derecha. TRANSICIÓN Dentro de ese movimiento, observemos la presencia del término difusión en visión. ============================================================================ D05 · CVPR: títulos con «diffusion» 05:30–07:00 · 1,5 min IDEA QUE DEBE QUEDAR En 2025, casi 12 de cada 100 títulos de CVPR incluyen «diffusion». QUÉ EXPLICAR Ahora mantenemos la misma fuente oficial y cambiamos el indicador: títulos que contienen la palabra completa diffusion. Mostramos CVPR 2022–2025: 13, 97, 320 y 342 títulos. En 2025 son 342 de las 2.871 entradas únicas del repositorio oficial, un 11,912 por ciento que redondeamos a 11,9. El denominador es el repositorio, no el total de aceptaciones anunciado. La presencia del término crece con fuerza hasta 2024 y en 2025 aumenta de forma más moderada. Se empieza en 2022 porque las escasas apariciones anteriores incluyen difusión no generativa. Aun desde 2022 este es un indicador léxico, no una clasificación exhaustiva de modelos de difusión: puede incluir generación, edición, restauración, 3D y otras tareas de visión, y también usos no generativos del término. Tampoco todos los trabajos de difusión contienen esa palabra en el título. No sumar esta serie con la de image generation: las categorías se solapan. El contexto actual llega a 2025; el recorrido que seguirá vuelve a las familias y a DDPM en torno a 2020. La figura no afirma que todos esos artículos describan modelos nuevos ni que el volumen pruebe una mejora de calidad. Las diapositivas 4 y 5 cuentan búsquedas léxicas diferentes en el mismo corpus, no dos categorías temáticas anidadas. En CVPR 2025 hay 52 títulos con la frase exacta «image generation» y 342 con la palabra «diffusion»; 13 contienen ambas. Por ejemplo, un artículo sobre generación de pelo 3D por difusión puede incluir «diffusion» sin incluir «image generation». Por eso la primera serie no engloba la segunda y no deben sumarse. El recuento no demuestra cuántos artículos tratan realmente de generación de imágenes o de difusión generativa. QUÉ SEÑALAR Las barras 13→97→320→342, el porcentaje y su denominador. TRANSICIÓN Con esa escala en mente, volvamos al mecanismo: ¿qué recibe el modelo cuando le pedimos una imagen? ============================================================================ D06 · De qué partimos al generar 07:00–08:30 · 1,5 min IDEA QUE DEBE QUEDAR El azar aporta variedad y la condición orienta el resultado. QUÉ EXPLICAR Distinguir la información que aporta el usuario del azar que usa el generador. Puede no haber condición, o haber texto, imagen o ambas. En difusión texto a imagen se comienza con ruido y el texto orienta las predicciones. En tareas con imagen puede añadirse ruido a una representación o utilizarse una observación como condición, según el método. En un autorregresivo el azar se usa para elegir valores sucesivos: no implica una cuadrícula completa de ruido inicial. Los ejemplos de esta tabla son tareas ilustrativas, no resultados medidos. QUÉ SEÑALAR Qué aporta el usuario Proceso Resultado Sin condición Sin texto ni imagen Generador Retrato nuevo + azar Texto «Flores en primavera» Generador Imagen descrita + azar Imagen Una imagen incompleta Generador Propuesta para el hueco + azar Imagen y texto Bordes y «cute dog» Generador Nueva imagen guiada + azar TRANSICIÓN Veamos primero un ejemplo publicado que utiliza texto. ============================================================================ D07 · Generar con una descripción de texto 08:30–10:00 · 1,5 min IDEA QUE DEBE QUEDAR Un mismo texto puede orientar imágenes diferentes. QUÉ EXPLICAR Siglas de esta diapositiva: LDM: Latent Diffusion Models, modelos de difusión latente. Este ejemplo posterior (LDM, CVPR2022) anticipa una tarea antes del recorrido histórico anterior a DDPM. El texto original de la figura17 es Flowers on a field in spring, aquí traducido como Flores en un campo en primavera. Ambas imágenes son muestras publicadas bajo ese mismo texto. Cada ejecución utiliza una realización aleatoria. El diagrama es un resumen del muestreo, no la arquitectura completa ni un solo paso del modelo. No atribuir estas muestras al DDPM incondicional de2020. QUÉ SEÑALAR Ruido nuevo «Flores en un campo en primavera» Generador de imágenes Dos muestras para el mismo texto Ejemplo posterior: LDM (2022) LDM: Latent Diffusion Models, modelos de difusión latente. TRANSICIÓN Veamos ahora un caso en el que aportamos una imagen parcial. ============================================================================ D08 · Completar a partir de una imagen 10:00–11:30 · 1,5 min IDEA QUE DEBE QUEDAR La parte observada condiciona distintas propuestas para la zona ausente. QUÉ EXPLICAR Siglas de esta diapositiva: SDE: Stochastic Differential Equation, ecuación diferencial estocástica. Ejemplo publicado de inpainting en LSUN bedrooms de Song et al., Score-Based Generative Modeling through Stochastic Differential Equations (2020/2021), figura14 del apéndice, páginaPDF33. Se aporta la parte observada de una habitación y una máscara. La generación utiliza azar y esa información visual, sin una descripción textual en este ejemplo. Las salidas A y B son propuestas diferentes, no fotogramas sucesivos. El diagrama resume el proceso de muestreo condicionado, no una sola pasada por la red. El original se reserva para la evaluación posterior del caso. QUÉ SEÑALAR Imagen parcial y máscara Ruido nuevo Proceso de completado Propuesta A Propuesta B Misma observación, distintas propuestas TRANSICIÓN Podemos añadir también texto a una condición visual. ============================================================================ D09 · Generar con imagen y texto 11:30–13:30 · 2 min IDEA QUE DEBE QUEDAR La imagen aporta estructura y el texto orienta el contenido. QUÉ EXPLICAR Ejemplo oficial de StableDiffusion1.5 con ControlNetCanny, publicado en2023. Se aporta una fotografía, se calculan bordes Canny y se utiliza el texto cute dog. El generador recibe el mapa de bordes y el texto, además del estado aleatorio de muestreo. La fotografía no entra necesariamente como sus píxeles completos al modelo: en este caso condiciona a través del mapa. La salida mostrada es una de las muestras de la demostración oficial. Distinguir fotografía de entrada, mapa calculado y resultado generado. Estos ejemplos de tarea son posteriores al contexto histórico que sigue. QUÉ SEÑALAR Fotografía de entrada Bordes calculados Muestra generada Texto: «cute dog» + ruido nuevo Generador con ControlNet Ejemplo posterior: ControlNet (2023) TRANSICIÓN La información inicial permite distinguir generar, restaurar y completar. ============================================================================ D10 · Generar, restaurar y completar 13:30–15:30 · 2 min IDEA QUE DEBE QUEDAR La información de partida determina qué tarea estamos resolviendo. QUÉ EXPLICAR Estas tareas comparten herramientas, pero parten de información distinta. En generación sin una observación de entrada, comenzamos con ruido nuevo y obtenemos una muestra. En restauración disponemos de una observación deteriorada que restringe las respuestas. En completar una zona, parte de la imagen se conoce y parte permanece desconocida. Cuanto menos sabemos, más respuestas pueden ser compatibles con la entrada. Nuestro objetivo inicial será entender la generación desde ruido. El caso de completar una habitación servirá después para discutir qué debe conservarse y qué puede variar. Los ejemplos de hoy proceden de imágenes naturales. QUÉ SEÑALAR Tarea / Información de partida / Resultado buscado Generar / Ruido nuevo y una condición opcional / Una muestra nueva Restaurar / Una imagen deteriorada / Una estimación con menos deterioro Completar / Una parte observada / Una propuesta para la parte ausente TRANSICIÓN Situemos ahora las familias que ya generaban imágenes antes de DDPM. ============================================================================ D11 · Mapa de familias: Autorregresivos 15:30–16:00 · 0,5 min IDEA QUE DEBE QUEDAR Cada valor se genera a partir de los valores anteriores. QUÉ EXPLICAR Siglas de esta diapositiva: RNN: Recurrent Neural Network · CNN: Convolutional Neural Network · IQN: Implicit Quantile Network. Recuperar el mismo mapa y resaltar únicamente la familia que empieza. Presentar autores, trabajos y fechas antes de abrir su mecanismo. Las familias muestran recetas distintas y los casos se sitúan en sus publicaciones originales. QUÉ SEÑALAR Trabajos de referencia Pixel Recurrent Neural Networks van den Oord et al. · 2016 Conditional Image Generation with PixelCNN Decoders van den Oord et al. · 2016 Autoregressive Quantile Networks for Generative Modeling Ostrovski et al. · 2018 RNN: Recurrent Neural Network · CNN: Convolutional Neural Network · IQN: Implicit Quantile Network. Familia / Cómo genera Autorregresivos / Un valor tras otro GAN / Todas las capas del generador VAE / Decodifica un código Flujos invertibles / Invierte transformaciones TRANSICIÓN Veamos cómo la máscara y las capas respetan ese orden. ============================================================================ D12 · PixelRNN: Pixel Recurrent Neural Network 16:00–18:00 · 2 min IDEA QUE DEBE QUEDAR La memoria resume valores anteriores de la imagen. QUÉ EXPLICAR Siglas de esta diapositiva: LSTM: Long Short-Term Memory, unidad recurrente con memoria. Significado del nombre: PixelRNN: Pixel Recurrent Neural Network. PixelRNN (van den Oord, Kalchbrenner y Kavukcuoglu, ICML2016) utiliza capasLSTM por filas o diagonales. El bloque residual publicado se repite; no es la red completa. RowLSTM tiene contexto triangular y DiagonalBiLSTM alcanza el contexto disponible. La salida es una distribución de256valores por canal, que permite elegir el siguiente valor. La memoria es del contexto de la imagen, no de un texto. Un patrón azul puede favorecer una continuación azul, sin fijarla. El GIF es un esquema construido, no una ejecución de PixelRNN; cada casilla agrupa los canalesRGB para simplificar. Los parámetros conceptualmente permanecen fijos mientras cambia el estado recurrente. QUÉ SEÑALAR Un bloque LSTM publicado Capas por filas o diagonales Estado interno: contexto acumulado Salida: probabilidades Ejemplo de contexto LSTM: Long Short-Term Memory, unidad recurrente con memoria. TRANSICIÓN El artículo muestra cómo un mismo contexto admite distintas continuaciones. ============================================================================ D13 · PixelRNN: contexto en una Pixel Recurrent Neural Network 18:00–19:30 · 1,5 min IDEA QUE DEBE QUEDAR Un mismo contexto puede admitir completados diferentes. QUÉ EXPLICAR Significado del nombre: PixelRNN: contexto en una Pixel Recurrent Neural Network. Señalar el agua azul de la parte observada y comparar los completados de la primera fila. Las imágenes son muestras alternativas publicadas, no estados consecutivos. Una animación didáctica del patrón azul debe rotularse como esquema: la memoria no fija un color, sino que influye en la distribución condicional aprendida. La primera columna es la entrada ocluida y la última es el original. Entre ambas hay seis completados alternativos de cada observación. Señala la continuidad del agua azul y también los cambios en la zona desconocida. Las filas muestran ejemplos diferentes, no una cadena de generación. La figura es evidencia publicada separada de la animación esquemática anterior. QUÉ SEÑALAR Mismo contexto azul, varias continuaciones Las columnas centrales son alternativas para la misma imagen parcial. TRANSICIÓN PixelCNN conserva la dependencia de valores anteriores y utiliza convoluciones para procesarla. ============================================================================ D14 · Gated PixelCNN: Pixel Convolutional Neural Network con compuertas 19:30–21:00 · 1,5 min IDEA QUE DEBE QUEDAR Las compuertas regulan la contribución de rasgos del contexto. QUÉ EXPLICAR Significado del nombre: Gated PixelCNN: Pixel Convolutional Neural Network con compuertas. Señalar la figura1 para el contexto y la2 para una capa. Las entradas están abajo y las salidas arriba. La pila vertical alimenta la horizontal. Las compuertas combinan tanh y sigmoide mediante multiplicación. La salida softmax representa256 opciones por canal. Durante generación se sortea un valor y se incorpora al contexto. La figura publicada muestra un bloque que se repite, no una red completa. Autorregresivo describe la dependencia de los valores. PixelCNN es una red convolucional, distinta de PixelRNN. El resumen nativo separa contexto, capas, probabilidades y sorteo. El entrenamiento admite muchas predicciones en paralelo porque conoce la imagen completa. En generación cada nuevo valor amplía el contexto. El GIF es un esquema didáctico de cómo avanza la imagen. La máscara excluye valores futuros. Las compuertas son continuas y calculadas a partir de la entrada. No son interruptores que autorizan colores. Para el mismo contexto y pesos las activaciones no cambian arbitrariamente: solo se resalta el cálculo; las barras ilustrativas cambian cuando cambia la entrada. Las opciones del siguiente valor son esquemáticas y no probabilidades medidas. QUÉ SEÑALAR Un bloque que se repite Compuertas suaves sobre rasgos internos. TRANSICIÓN PixelIQN conserva esta estructura y cambia cómo obtiene el siguiente valor. ============================================================================ D15 · PixelIQN: Implicit Quantile Network para píxeles 21:00–22:30 · 1,5 min IDEA QUE DEBE QUEDAR El contexto y un cuantil aleatorio producen el siguiente valor. QUÉ EXPLICAR Significado del nombre: PixelIQN: Implicit Quantile Network para píxeles. Señalarτ como entrada adicional. Cada posición/canal usa su propio τ. La red devuelve un valor condicional sin softmax. El aprendizaje usa regresión cuantílica. Las muestras publicadas muestran tres grupos, no una trayectoria. El artículo no presenta PixelIQN como un modelo de NLL explícita. La figura2 muestra un bloque. Las flechas suben y la pila vertical alimenta la horizontal. τ se transforma mediante su embedding y se incorpora a las capas. No hay una únicaτ compartida por toda la imagen. El valor de salida se añade al contexto y se repite la consulta. La regresión cuantílica reemplaza la salida categórica, sin atribuir una NLL explícita al modelo. En el GIF se compara un único canal azul de una posición con contexto fijo. τ0,2/0,5/0,8 y valores80/150/220 pertenecen a una función ilustrativa construida, no a predicciones medidas de PixelIQN. Se vuelve al mismoτ para mostrar que recupera el mismo valor con ese contexto. Solo al final se incorpora una elección; no se mezcla un contexto nuevo con la misma función. Cada canal y posición utilizará su propioτ. QUÉ SEÑALAR Un bloque del artículo TRANSICIÓN Comparemos las muestras publicadas y recordemos el orden de generación. ============================================================================ D16 · PixelCNN: Convolutional Neural Network · PixelIQN: Implicit Quantile Network 22:30–24:30 · 2 min IDEA QUE DEBE QUEDAR Ambos generan valores sucesivos a partir de los ya construidos. QUÉ EXPLICAR Significado del nombre: PixelCNN: Convolutional Neural Network · PixelIQN: Implicit Quantile Network. En ambos métodos, el siguiente valor depende de los valores que ya se han generado. Esa dependencia es lo que llamamos autorregresión. Gated PixelCNN aprende una distribución condicional y se entrena por máxima verosimilitud. Durante el entrenamiento puede calcular muchas predicciones en paralelo porque conoce la imagen completa, aunque el muestreo conserva decisiones sucesivas. PixelIQN mantiene esa estructura y cambia la salida y el aprendizaje: introduce un cuantil aleatorio y aprende el valor correspondiente mediante regresión cuantílica. No debemos atribuirle por ello una probabilidad softmax ni una NLL explícita. Las imágenes publicadas comparan datos reales con muestras de ambos modelos. Son grupos distintos, no estados de una cadena. Su comparación de FID procede del estudio de PixelIQN de 2018. ANIMACIÓN Deja que avance la cuadrícula lateral y señala que solo puede decidir el valor siguiente a partir de los anteriores. La figura publicada de la izquierda contiene tres grupos distintos, no fotogramas de esta animación. El esquema no ejecuta un modelo entrenado. QUÉ SEÑALAR Datos reales Gated PixelCNN PixelIQN Gated PixelCNN: probabilidades discretas. PixelIQN: cuantiles para el siguiente valor. Cada valor depende de los anteriores. TRANSICIÓN Cambiemos de familia: en una GAN se aprende un generador mediante un discriminador. ============================================================================ D17 · Mapa: GAN, Generative Adversarial Network 24:30–25:00 · 0,5 min IDEA QUE DEBE QUEDAR Un generador aprende mediante un objetivo adversarial. QUÉ EXPLICAR Significado del nombre: Mapa: GAN, Generative Adversarial Network. Recuperar el mismo mapa y resaltar únicamente la familia que empieza. Presentar autores, trabajos y fechas antes de abrir su mecanismo. Las familias muestran recetas distintas y los casos se sitúan en sus publicaciones originales. QUÉ SEÑALAR Trabajos de referencia Generative Adversarial Nets Goodfellow et al. · 2014 DCGAN Radford et al. · 2015/2016 StyleGAN2 Karras et al. · 2019/2020 Familia / Cómo genera Autorregresivos / Un valor tras otro GAN / Todas las capas del generador VAE / Decodifica un código Flujos invertibles / Invierte transformaciones TRANSICIÓN Empecemos por las dos redes que participan en el aprendizaje. ============================================================================ D18 · GAN: Generative Adversarial Network, generador y discriminador 25:00–27:00 · 2 min IDEA QUE DEBE QUEDAR G produce la imagen. D aporta una señal durante el aprendizaje. QUÉ EXPLICAR Significado del nombre: GAN: Generative Adversarial Network, generador y discriminador. Presenta primero el paper de 2014. Explica dos redes y dos tareas. La imagen real entrena al discriminador y no constituye la entrada obligatoria del generador. Durante generación se conserva G y se muestrea z. A la izquierda se representan G y D como redes neuronales esquemáticas con capas. La distribución de neuronas no es la arquitectura exacta de DCGAN. A la derecha se define la función de cada red. Durante aprendizaje llegan imágenes reales y generadas aD; su respuesta aporta una señal para ajustarG con su propio objetivo. Durante generación solo se evalúan las capas deG con parámetros fijos, hasta producir todos los valores de la imagen. Una pasada significa este recorrido completo por la red, no una sola capa ni un bucle de un píxel por consulta. QUÉ SEÑALAR Aprender: se ajustan G y D z Generador G Imagen generada Discriminador D Imágenes reales Estima real o generada Señal para ajustar G Generar con G fija z nuevo G fija Imagen completa Generador G Red que transforma un código aleatorio en una imagen. Discriminador D Red que aprende a distinguir imágenes reales y generadas. Al generar G queda fija y produce la imagen al recorrer sus capas. TRANSICIÓN DCGAN permite ver qué capas contiene un generador concreto. ============================================================================ D19 · DCGAN: Deep Convolutional Generative Adversarial Network 27:00–29:00 · 2 min IDEA QUE DEBE QUEDAR El código atraviesa todas las capas hasta obtener la imagen completa. QUÉ EXPLICAR Significado del nombre: DCGAN: Deep Convolutional Generative Adversarial Network. Recorre z, los mapas pequeños y la expansión hasta la imagen. Después mira la cuadrícula: son dormitorios diferentes del mismo modelo, no fotogramas. La figura 3 procede de cinco épocas; muestra variedad y defectos visibles. Una cuadrícula por sí sola no mide cobertura ni memorizar. La entrada de esta arquitectura es un vector uniforme de100dimensiones. El generador expande mapas de características mediante convoluciones fraccionariamente estridadas hasta64×64×3. La cuadrícula contiene dormitorios LSUN después de cincoépocas. Hay variedad y también defectos visibles. Esta arquitectura es una evolución convolucional de GAN, no la receta de todas las GAN. Señala el vectorz y recorre las capas de la figura hasta64×64×3. Eso concreta una evaluación completa del generador: las capas se calculan una tras otra y al final obtenemos la imagen entera. No se generan primero un píxel final y luego el siguiente. Los mapas intermedios son características internas. Las miniaturas de dormitorios son muestras distintas y no estados de esas capas. QUÉ SEÑALAR El código recorre las capas de G Imágenes completas producidas por G 100 valores aleatorios. Capas intermedias. Imagen RGB de 64 × 64 al terminar. Cada celda es otra imagen, no una capa ni un paso. TRANSICIÓN La misma familia evolucionó hacia generadores como StyleGAN2. ============================================================================ D20 · StyleGAN2: GAN basada en estilos 29:00–30:30 · 1,5 min IDEA QUE DEBE QUEDAR El diseño del generador también cambia la calidad de las muestras. QUÉ EXPLICAR Siglas de esta diapositiva: GAN: Generative Adversarial Network · ADA: Adaptive Discriminator Augmentation. Significado del nombre: StyleGAN2: generador por estilos (Generative Adversarial Network). Presenta el paper de 2019, publicado en CVPR 2020. Señala cuatro retratos generados diferentes de la misma familia de modelo. El caso conserva el aprendizaje adversarial, aunque rediseña la arquitectura del generador. Los estilos no equivalen aquí a instrucciones textuales. La tira ilustra calidad visual y no mide cobertura ni un ranking. Un vector aleatorio pasa por una red de mapeo y sus estilos modulan la red de síntesis. Esta red también parte de una constante aprendida y recibe ruido por capa. El recorrido visible es un resumen conceptual. Los estilos son variables internas, no instrucciones textuales. StyleGAN2 es un trabajo de2019publicadoenCVPR2020; la comparación posterior utilizaStyleGAN2+ADA y sus condiciones específicas. QUÉ SEÑALAR Ruido z Red de mapeo Estilos w Red de síntesis Retrato GAN: Generative Adversarial Network · ADA: Adaptive Discriminator Augmentation. TRANSICIÓN Veamos ahora una familia que aprende una distribución del código para cada imagen. ============================================================================ D21 · Mapa: VAE, Variational Autoencoder 30:30–31:00 · 0,5 min IDEA QUE DEBE QUEDAR Aprendemos una distribución del código y un decodificador. QUÉ EXPLICAR Significado del nombre: Mapa: VAE, Variational Autoencoder. Recuperar el mismo mapa y resaltar únicamente la familia que empieza. Presentar autores, trabajos y fechas antes de abrir su mecanismo. Las familias muestran recetas distintas y los casos se sitúan en sus publicaciones originales. QUÉ SEÑALAR Trabajos de referencia Auto-Encoding Variational Bayes Kingma y Welling · 2013/2014 Stochastic Backpropagation Rezende et al. · 2014 Familia / Cómo genera Autorregresivos / Un valor tras otro GAN / Todas las capas del generador VAE / Decodifica un código Flujos invertibles / Invierte transformaciones TRANSICIÓN Separemos cómo aprende el VAE y cómo genera una imagen nueva. ============================================================================ D22 · VAE: Variational Autoencoder, codificador y decodificador 31:00–33:00 · 2 min IDEA QUE DEBE QUEDAR El codificador describe códigos; el decodificador produce imágenes. QUÉ EXPLICAR Significado del nombre: VAE: Variational Autoencoder, codificador y decodificador. Distingue que el encoder produce parámetros de una distribución del código. La nueva generación empieza con un código muestreado del prior. En el ejemplo gaussiano, μ y σ describen qφ; el prior utilizado es N(0,I). La reconstrucción pertenece al entrenamiento y a inferencia de imágenes conocidas. En el ejemplo gaussiano, el codificador produce media y desviación. Para entrenar usamos la reparametrización z=μ+σ⊙ε con ε normalestándar. El objetivo combina reconstrucción y regularización hacia el prior mediante una cota variacional. El dibujo muestra dos recorridos: aprender/reconstruir desde una imagen y generar desde el prior. No se necesita una fotografía inicial para generar desde cero. El dibujo de neuronas es esquemático. A la izquierda: imagen→codificador→μ,σ→muestreo de z→decodificador→reconstrucción. La perturbaciónε entra en el muestreo con reparametrización por componentes. A la derecha: codificador, muestreo y decodificador se definen por su función. Debajo se separa generar desde cero: nuevozdelprior→decodificador fijo→imagen, sin necesitar un codificador ni una foto inicial. QUÉ SEÑALAR Aprender a reconstruir x Codificador μ, σ z Decodificador x′ ε z = μ + σ ⊙ ε Generar desde z z del prior Decodificador fijo Imagen nueva Codificador Recibe una imagen y describe una distribución de códigos. Muestreo El azar permite obtener un código de esa distribución. Decodificador Convierte códigos en imágenes. El prior permite generar. TRANSICIÓN El ejemplo clásico de MNIST permite ver qué representa ese espacio latente. ============================================================================ D23 · VAE: Variational Autoencoder, dígitos y espacio latente 33:00–35:00 · 2 min IDEA QUE DEBE QUEDAR Cambiar el código cambia la imagen que produce el decodificador. QUÉ EXPLICAR Significado del nombre: VAE: Variational Autoencoder, dígitos y espacio latente. La figura 4b recorre coordenadas de un único espacio bidimensional; explica el cambio entre posiciones vecinas sin presentarlo como una animación temporal. La figura 5 muestra muestras de cuatro modelos con dimensiones diferentes. No son fotografías reales codificadas en la lámina. Estas figuras son cualitativas. QUÉ SEÑALAR Rejilla latente 2D Muestras de modelos con distintos códigos 2 dimensiones 5 dimensiones 10 dimensiones 20 dimensiones La rejilla recorre un espacio. Cada grupo de la derecha utiliza un modelo distinto. TRANSICIÓN Una familia distinta exige que la transformación pueda recorrerse exactamente al revés. ============================================================================ D24 · Mapa de familias: Flujos invertibles 35:00–35:30 · 0,5 min IDEA QUE DEBE QUEDAR Una transformación reversible conecta imagen y latente. QUÉ EXPLICAR Siglas de esta diapositiva: NICE: Non-linear Independent Components Estimation · Real NVP: Real-valued Non-Volume Preserving. Recuperar el mismo mapa y resaltar únicamente la familia que empieza. Presentar autores, trabajos y fechas antes de abrir su mecanismo. Las familias muestran recetas distintas y los casos se sitúan en sus publicaciones originales. QUÉ SEÑALAR Trabajos de referencia NICE Dinh et al. · 2014/2015 Real NVP Dinh et al. · 2016/2017 Glow Kingma y Dhariwal · 2018 NICE: Non-linear Independent Components Estimation · Real NVP: Real-valued Non-Volume Preserving. Familia / Cómo genera Autorregresivos / Un valor tras otro GAN / Todas las capas del generador VAE / Decodifica un código Flujos invertibles / Invierte transformaciones TRANSICIÓN Veamos cómo se recorre esa transformación en ambos sentidos. ============================================================================ D25 · Flujos invertibles: una cadena, dos sentidos 35:30–37:30 · 2 min IDEA QUE DEBE QUEDAR Un flujo invertible aprende una cadena de transformaciones reversibles entre imagen y latente. QUÉ EXPLICAR Siglas de esta diapositiva: Real NVP: Real-valued Non-Volume Preserving, transformaciones reversibles que pueden cambiar volúmenes. Usa la analogía de una receta con operaciones que se pueden deshacer. No se recorta información: se cambia su representación. Primero sigue el GIF de izquierda a derecha, desde x=(2,4) hasta z=(5,13). Después parte del mismo z y deshaz f3, f2 y f1 para recuperar (2,4). Por último, otro punto z=(4,10) produce (1,3). Estos números solo demuestran reversibilidad; no son píxeles ni salidas de un modelo entrenado. En un flujo de imagen real, el entrenamiento ajusta capas para relacionar la distribución de imágenes con una distribución latente sencilla. Para generar se extrae un z de esa distribución y se aplica la inversa. La igualdad de ida y vuelta corresponde a las variables continuas del modelo y a precisión ideal; no promete recuperar bytes que un preprocesamiento o cuantización haya descartado. Se conserva la dimensión total, aunque un diseño multiescala reparta variables entre niveles. QUÉ SEÑALAR Cadena aprendida Cada capa transforma la representación y permite deshacer exactamente su operación. Misma dimensión Se conserva el número total de valores. El latente no es una versión reducida de la imagen. Recuperar o generar Mismo z: recuperamos la entrada. Otro z: obtenemos una imagen nueva. Real NVP: Real-valued Non-Volume Preserving, transformaciones reversibles que pueden cambiar volúmenes. TRANSICIÓN «La idea ya está: ida y vuelta sin descartar valores. Veamos cómo una capa con una red neuronal puede garantizarlo». ============================================================================ D26 · Una capa guarda lo necesario para volver 37:30–39:00 · 1,5 min IDEA QUE DEBE QUEDAR Conservar una parte permite recalcular el cambio aplicado a la otra y deshacerlo. QUÉ EXPLICAR Siglas de esta diapositiva: NICE: Non-linear Independent Components Estimation. Explica solo el caso aditivo para que se vea la razón de la reversibilidad. Conservamos a=2. Una pequeña red recibe a y entrega t(a)=3. Sumamos3 a b=4 y obtenemos7. En la vuelta seguimos teniendo a=2, por lo que podemos volver a calcular exactamente el mismo3 y restarlo:7−3=4. No necesitamos invertir t ni inferir qué entrada pudo producirla. La capa completa se invierte porque conserva a y aplica a b una operación sencilla de deshacer. NICE utiliza acoplamientos aditivos; Real NVP generaliza con una escala positiva y un desplazamiento. Las capas alternan qué parte conservan y cuál modifican para transformar finalmente todos los componentes. Las redes t y s no tienen por qué ser invertibles por sí solas. El flujo aprende por verosimilitud con cambio de variables, no por el ejemplo numérico de esta diapositiva. QUÉ SEÑALAR Ida: conservar una parte, cambiar la otra a = 2 a′ = 2 b = 4 + 3 b′ = 7 Red t(a) t(2) = 3 La primera parte pasa sin cambios Vuelta: a = 2 t(2) = 3 b = 7 − 3 = 4 Una parte se conserva a pasa sin cambios. Por eso también la conocemos al volver. La red calcula un cambio t(a) da un desplazamiento que se suma a b. Volver es restarlo Recalculamos t con el mismo a y recuperamos b = b′ − t(a). NICE: Non-linear Independent Components Estimation. TRANSICIÓN «Repitiendo capas de este tipo se construye un modelo completo. Glow muestra qué imágenes puede producir al recorrer la cadena al revés». ============================================================================ D27 · Glow: caras nuevas y cambios en el latente 39:00–41:00 · 2 min IDEA QUE DEBE QUEDAR Generar e interpolar utilizan el mismo modelo reversible. QUÉ EXPLICAR La cuadrícula de la izquierda contiene ocho de las24caras generadas de la figura4 deGlow, con temperatura0,7. A la derecha se seleccionan tres paneles de la primera fila de la figura5: extremos reales A y B y una imagen intermedia generada por interpolación en el latente. No es una cadena de difusión. La transformación se recorre al revés para producir imágenes desde latentes. Las figuras son cualitativas y no demuestran por sí solas cobertura o calidad comparativa. QUÉ SEÑALAR Muestras generadas Interpolar entre dos fotos Foto A Intermedio Foto B Extremos reales e imagen intermedia generada al recorrer el latente. TRANSICIÓN Podemos reunir las cuatro recetas antes de comparar sus resultados. ============================================================================ D28 · Cuatro formas de aprender y generar 41:00–42:00 · 1 min IDEA QUE DEBE QUEDAR La receta de aprendizaje determina cómo obtenemos una muestra. QUÉ EXPLICAR Recuperar las cuatrofamilias: autorregresivos predicencondicionales sucesivas; GANaprendemedianteunobjetivoadversarial;VAEaprendeunacotavariacionalconrepresentaciónlatente;flujosajustanunadensidadcontinuamediantecambiodevariablesinvertibles. Los recorridos visibles son resúmenes. La probabilidad, calidadvisual, variedad y coste requieren medidas y protocolos separados. QUÉ SEÑALAR Familia / Qué aprende / Cómo genera Autorregresivos / Condicionales según lo anterior / Valores sucesivos GAN / Un generador adversarial / Todas las capas del generador VAE / Código probabilístico y decodificador / Muestreo del prior y decodificación Flujos invertibles / Una transformación reversible / Latente nuevo y proceso inverso TRANSICIÓN Para comparar estas recetas debemos entender primero qué mide cada métrica. ============================================================================ D29 · Qué medían las métricas generativas 42:00–44:00 · 2 min IDEA QUE DEBE QUEDAR La calidad de las muestras, la probabilidad y el coste responden a preguntas diferentes. QUÉ EXPLICAR Siglas de esta diapositiva: FID: Fréchet Inception Distance · IS: Inception Score · NLL: Negative Log-Likelihood. FID compara medias y covarianzas de rasgos de Inception extraídos de imágenes reales y generadas. Un valor menor indica más cercanía según esa representación; no es un porcentaje de error ni mide la exactitud de una imagen individual. Inception Score utiliza sólo muestras generadas y predicciones de clase: combina confianza por muestra y variedad de clases en el conjunto. Un valor mayor es favorable según ese criterio, sin demostrar por sí solo generalización. NLL pregunta qué probabilidad asigna el modelo a datos nuevos; suele expresarse en bits por dimensión y preferimos valores menores. Debemos comprobar discretización, preprocesamiento y si se reporta un cálculo exacto o una cota. Estas medidas pueden discrepar porque están respondiendo a preguntas diferentes. QUÉ SEÑALAR FID: Fréchet Inception Distance · IS: Inception Score · NLL: Negative Log-Likelihood. Métrica / Qué resume / Mejor / Qué hay que distinguir FID / Compara estadísticas de rasgos reales y generados / Menor / Depende de la referencia y del número de muestras Inception Score / Confianza y variedad de clases predichas / Mayor / No usa imágenes reales como referencia NLL (bits/dim) / Coste de codificación de los datos / Menor / Distinguir NLL exacta y cota variacional Coste / Tiempo y recursos para generar / Según tarea / Indicar hardware, lote, resolución y pasos TRANSICIÓN Seguimos con: El protocolo cambia la interpretación. ============================================================================ D30 · El protocolo cambia la interpretación 44:00–46:00 · 2 min IDEA QUE DEBE QUEDAR El número FID necesita identificar las muestras y el conjunto real de referencia. QUÉ EXPLICAR Siglas de esta diapositiva: FID: Fréchet Inception Distance · CIFAR: Canadian Institute for Advanced Research (10 clases). La tabla que veremos utiliza CIFAR-10, imágenes en color de 32 por 32 píxeles, y separa generación condicionada e incondicional. Compararemos la parte incondicional. DDPM calcula FID e IS sobre cincuenta mil muestras generadas y declara las implementaciones utilizadas. Su FID 3,17 toma como referencia imágenes de entrenamiento; con el conjunto de prueba reporta 5,24. El modelo es el mismo y cambia la referencia. El artículo selecciona el checkpoint con menor FID y declara un entrenamiento para sus experimentos finales. Estas decisiones importan al interpretar la variabilidad y diseñar una evaluación independiente. La tabla recopila resultados de varias publicaciones, no un reentrenamiento único bajo idéntico presupuesto. El signo más menos de IS tampoco representa automáticamente incertidumbre entre entrenamientos independientes. El artículo complementa los scores con la cota de NLL en datos de prueba y con vecinos cercanos de las muestras en píxeles y rasgos Inception. Los vecinos permiten inspeccionar similitud con entrenamiento, sin constituir una prueba exhaustiva de ausencia de memorización. QUÉ SEÑALAR FID del mismo DDPM CIFAR-10, 32 × 32, RGB 50.000 imágenes para entrenar 10.000 imágenes de prueba 50.000 muestras generadas para calcular FID e IS NLL en prueba y vecinos cercanos al entrenamiento FID: Fréchet Inception Distance · CIFAR: Canadian Institute for Advanced Research (10 clases). TRANSICIÓN Seguimos con: Comparación histórica de métodos (1/2). ============================================================================ D31 · Comparación histórica de métodos (1/2) 46:00–48:00 · 2 min IDEA QUE DEBE QUEDAR La historia y las métricas requieren conservar sus condiciones. QUÉ EXPLICAR Siglas de esta diapositiva: MLP: Multilayer Perceptron · CNN: Convolutional Neural Network · LSTM: Long Short-Term Memory. FID: Fréchet Inception Distance · IS: Inception Score · NLL: Negative Log-Likelihood. Los años se refieren al origen/publicación del método y no al año en que se calculó cada métrica. Se recopilan resultados históricos; los entrenamientos, checkpoints y protocolos no son completamente idénticos. No convertir esta tabla en una afirmación de superioridad estadística. La tabla numérica omite costes medidos porque no hay hardware/lote/configuración comunes. Se pueden explicar los recorridos mediante el campo generation del registro maestro. Para una comparación FID estricta con el mismo cuadro publicado usar solo las cuatrofilasGatedPixelCNN/PixelIQN/StyleGAN2+ADAv1/DDPM deDDPMtabla1. VAE: El paper fundacional evalúaMNIST/FreyFaces. No asignar sus nats o cotas a CIFAR-10; N/D no es cero ni indica que los VAE carezcan de otras evaluaciones. GAN: Los estimadores Parzen del paper fundacional no son una NLL explícita equivalente. FID aún no existía. NICE: 4,48 está publicado en PixelRNNtabla5; la fuenteNICE original informa5371,78log-likelihood,CIFAR-10 conZCAydequantización. Es densidad continua exacta, no un cálculo exacto de la integral discreta sobre cada píxel. DCGAN: Cifras recopiladas en PixelIQN2018tabla1, atribuidas allí a DC-GAN. No son medidas originales de2015 ni un entrenamiento nuevo con el protocolo DDPM. Para una tabla estrictamente limitada a DDPMtabla1, sustituir estas dos celdas porN/D. PixelRNN: Mejor varianteDiagonalBiLSTM en pruebaCIFAR-10; RowLSTM obtiene3,07. No intercambiartrain2,93/test3,00. PixelCNN: ArquitecturaPixelCNNoriginal del mismo artículo dePixelRNN; no es GatedPixelCNN. Test3,14/train3,08. QUÉ SEÑALAR CIFAR-10, 32 × 32, incondicional. Año: origen/publicación. N/D: sin cifra equivalente seleccionada. *DCGAN: evaluación de 2018. †Densidad continua con dequantización. MLP: Multilayer Perceptron · CNN: Convolutional Neural Network · LSTM: Long Short-Term Memory. FID: Fréchet Inception Distance · IS: Inception Score · NLL: Negative Log-Likelihood. Método / Año / Arquitectura / FID ↓ / IS ↑ / NLL / cota ↓ (bits/dim) VAE / 2013/14 / Codificador y decodificador / N/D / N/D / N/D GAN / 2014 / Dos MLP: G y D / N/D / N/D / N/D NICE / 2014/15 / Acoplamientos aditivos (MLP) / N/D / N/D / 4,48† DCGAN / 2015/16 / Generador y discriminador CNN / 37,11* / 6,40* / N/D PixelRNN / 2016 / LSTM 2D (Diagonal BiLSTM) / N/D / N/D / 3,00 PixelCNN / 2016 / Convoluciones con máscara / N/D / N/D / 3,14 TRANSICIÓN Continuamos con los métodos posteriores. ============================================================================ D32 · Comparación histórica de métodos (2/2) 48:00–50:00 · 2 min IDEA QUE DEBE QUEDAR La historia y las métricas requieren conservar sus condiciones. QUÉ EXPLICAR Siglas de esta diapositiva: ADA: Adaptive Discriminator Augmentation · FID: Fréchet Inception Distance. IS: Inception Score · NLL: Negative Log-Likelihood. Los años se refieren al origen/publicación del método y no al año en que se calculó cada métrica. Se recopilan resultados históricos; los entrenamientos, checkpoints y protocolos no son completamente idénticos. No convertir esta tabla en una afirmación de superioridad estadística. La tabla numérica omite costes medidos porque no hay hardware/lote/configuración comunes. Se pueden explicar los recorridos mediante el campo generation del registro maestro. Para una comparación FID estricta con el mismo cuadro publicado usar solo las cuatrofilasGatedPixelCNN/PixelIQN/StyleGAN2+ADAv1/DDPM deDDPMtabla1. Gated PixelCNN: DDPMrecopila3,03bits/dim del paperGated2016 yFID/IS del estudioPixelIQN2018. Una fila es una recopilación por método, no necesariamente un único checkpoint compartido entre todas las métricas. Real NVP: Tabla1RealNVP y tabla2Glow. Preprocesamiento/dequantización del artículo. No interpretar como NLL discreta exacta idéntica al cálculo autoregresivo. PixelIQN: El modelo es implícito, sin NLL explícita reportada. Tabla1DDPM, fila incondicional. Glow: PDFfinalNeurIPS tabla2p7. La web inicial/arXiv muestra otras cifras; mantener versión final declarada. No añadir FID/IS de muestras con temperatura reducida como si compartieran protocolo de tabla1DDPM. StyleGAN2 + ADA (v1): 2019origenStyleGAN2;2020ADA. Fila incondicional deDDPMtabla1. La fila condicional2,67/10,06es otra comparación. ADA modificaentrenamiento, no es otra arquitectura del generador. No usar cifrasADA v2. DDPM: FilaLsimple: NLL≤3,75test(3,72train); FIDtrain3,17. FID frente a test5,24. La fila entrenada conLvariacional tieneNLL≤3,70peroFID13,51; no mezclarlo con la mejor fila de calidad. QUÉ SEÑALAR CIFAR-10, 32 × 32, incondicional. Año: origen/publicación. N/D: sin cifra equivalente seleccionada. †Densidad continua con dequantización. DDPM: cota variacional de NLL. ADA: Adaptive Discriminator Augmentation · FID: Fréchet Inception Distance. IS: Inception Score · NLL: Negative Log-Likelihood. Método / Año / Arquitectura / FID ↓ / IS ↑ / NLL / cota ↓ (bits/dim) Gated PixelCNN / 2016 / CNN con máscaras y compuertas / 65,93 / 4,60 / 3,03 Real NVP / 2016/17 / Acoplamientos afines multiescala / N/D / N/D / 3,49† PixelIQN / 2018 / CNN y regresión cuantílica / 49,46 / 5,29 / N/D Glow / 2018 / Convolución 1×1 y acoplamientos / N/D / N/D / 3,35† StyleGAN2+ADA v1 / 2019/20 / CNN por estilos; ADA al entrenar / 3,26 / 9,74 / N/D DDPM / 2020 / U-Net con atención y nivel / 3,17 / 9,46 / ≤ 3,75 TRANSICIÓN La comparación en barras permite recuperar los cuatro FID del cuadro DDPM. ============================================================================ D33 · La comparación histórica de CIFAR-10 50:00–52:00 · 2 min IDEA QUE DEBE QUEDAR DDPM destaca en FID; el resultado depende de la métrica y del protocolo. QUÉ EXPLICAR Siglas de esta diapositiva: ADA: Adaptive Discriminator Augmentation · FID: Fréchet Inception Distance · IS: Inception Score. Esta es una fotografía histórica de la generación incondicional en CIFAR-10. Los valores de Gated PixelCNN y PixelIQN proceden de la comparación de Ostrovski y colaboradores que DDPM incorpora. El rival visual cercano es StyleGAN2 con ADA en su primera versión, no StyleGAN2 sin ADA. Esa versión apareció el 11 de junio de 2020 y DDPM el 19; son contemporáneos. DDPM reporta FID 3,17 frente a 3,26, pero la tabla no aporta incertidumbre entre entrenamientos que permita interpretar ese margen como superioridad estadística. En IS, ADA obtiene 9,74 y DDPM 9,46. La probabilidad también requiere cuidado: 3,03 es la NLL de prueba de Gated PixelCNN y 3,75 es una cota superior para DDPM, no una NLL exacta. Las celdas sin valor representan métricas no publicadas, nunca ceros. QUÉ SEÑALAR CIFAR-10 incondicional: FID menor es mejor 3,26 frente a 3,17 Resultados próximos en FID, sin incertidumbre entre entrenamientos en esta tabla. En IS: ADA 9,74 y DDPM 9,46 ADA: Adaptive Discriminator Augmentation · FID: Fréchet Inception Distance · IS: Inception Score. TRANSICIÓN Seguimos con: El coste de generar también cuenta. ============================================================================ D34 · El coste de generar también cuenta 52:00–54:00 · 2 min IDEA QUE DEBE QUEDAR El coste depende de los pasos y de las condiciones de ejecución. QUÉ EXPLICAR Siglas de esta diapositiva: TPU: Tensor Processing Unit, acelerador de cálculo · RGB: Red, Green, Blue, canales de color. La comparación de muestras debe acompañarse de la pregunta sobre recursos. En un autorregresivo hay dependencias entre valores sucesivos. Una GAN puede utilizar directamente su generador entrenado sin el discriminador. DDPM actualiza el estado completo, pero su configuración original consulta la red mil veces; actualizar globalmente no implica ser más rápido. El artículo reporta para CIFAR-10 un lote de 256 imágenes en 17 segundos sobre una TPU v3-8. Ese dato es rendimiento por lote, no latencia de una sola imagen. También reporta aproximadamente 10,6 horas de entrenamiento en esa configuración. Para comparar familias necesitamos hardware, resolución, tamaño de lote, modelo y calidad acordes. Separaremos coste de entrenamiento y de generación. Esta limitación del muestreo explica por qué después preguntaremos cómo reducir las consultas con DDIM. QUÉ SEÑALAR 1.000 consultas a la red por muestra DDPM 17 s por lote de 256 imágenes CIFAR-10 en TPU v3-8 La cifra mide un lote en ese equipo y configuración. TPU: Tensor Processing Unit, acelerador de cálculo · RGB: Red, Green, Blue, canales de color. TRANSICIÓN Seguimos con: DDPM: Denoising Diffusion Probabilistic Models, aportación histórica. ============================================================================ D35 · DDPM: Denoising Diffusion Probabilistic Models, aportación histórica 54:00–55:30 · 1,5 min IDEA QUE DEBE QUEDAR ¿Cómo permite la predicción de ruido construir una imagen nueva? QUÉ EXPLICAR Significado del nombre: DDPM: Denoising Diffusion Probabilistic Models, aportación histórica. La aportación que vamos a estudiar consiste en construir un aprendizaje sobre datos perturbados y utilizar predicciones repetidas para generar. DDPM conecta modelos de difusión, un objetivo variacional y la predicción de ruido, y obtiene muestras competitivas en la comparación histórica que acabamos de leer. Esto no significa que invente toda la idea de difusión ni que domine cada métrica, conjunto o presupuesto. La pregunta didáctica será cómo una tarea con ruido conocido enseña información suficiente para empezar después desde ruido nuevo. Primero veremos una secuencia de generación aprendida publicada con NCSN y dinámica de Langevin, identificada con su propio algoritmo. Después utilizaremos la receta DDPM para explicar los ejercicios, el ajuste de parámetros y el muestreo. Al final volveremos a preguntarnos qué evidencia respalda el resultado. QUÉ SEÑALAR Antecedente / Qué aporta al recorrido 2015: difusión probabilística / Una cadena aprendida que revierte una corrupción gradual 2019: score y Langevin / Predicciones locales a distintos niveles de ruido 2020: DDPM / Predicción de ruido, objetivo simplificado y muestras de alta calidad TRANSICIÓN Seguimos con: De una imagen a una distribución de ruido. ============================================================================ D36 · De una imagen a una distribución de ruido 55:30–57:30 · 2 min IDEA QUE DEBE QUEDAR La corrupción prepara los ejercicios; la generación utilizará transiciones aprendidas. QUÉ EXPLICAR Observa el GIF de corrupción calculada. La señal se atenúa mientras entra ruido independiente. El extremo se aproxima a una distribución sencilla. El camino inverso necesitará aprendizaje; esta animación no muestra una red generando. QUÉ SEÑALAR TRANSICIÓN ============================================================================ D37 · Ruido gaussiano: centro y amplitud 57:30–59:30 · 2 min IDEA QUE DEBE QUEDAR El nivel t fija la mezcla de señal y ruido; cada perturbación concreta es aleatoria. QUÉ EXPLICAR La campana describe los valores del ruido. Media cero no significa una imagen toda blanca ni una muestra con media exactamente cero. Su amplitud y la independencia de coordenadas permiten construir la corrupción y resumir el ruido acumulado. QUÉ SEÑALAR TRANSICIÓN ============================================================================ D38 · Cómo fabricamos un ejercicio de entrenamiento 59:30–61:30 · 2 min IDEA QUE DEBE QUEDAR Podemos preparar directamente cualquier nivel de ruido, sin simular toda la cadena. QUÉ EXPLICAR Conservamos tres cosas: la imagen limpia, el nivel escogido y el ruido sorteado. La mezcla produce la entrada. El ruido que añadimos queda guardado como respuesta conocida. La fórmula marginal evita simular todas las transiciones para preparar cada ejemplo. QUÉ SEÑALAR TRANSICIÓN ============================================================================ D39 · Qué recibe la red y qué aprende a predecir 61:30–63:30 · 2 min IDEA QUE DEBE QUEDAR Los ejercicios cambian; todos ajustan los mismos parámetros de una única red. QUÉ EXPLICAR El nivel ya se conoce. La red debe estimar el patrón espacial de ruido. El objetivo es conocido porque fabricamos el ejercicio. Al comparar predicción y objetivo, el optimizador ajusta una única red compartida entre imágenes y niveles. QUÉ SEÑALAR Recibe La imagen ruidosa xₜ y el nivel t. Predice Un mapa de ruido ε̂, con coordenadas como xₜ. Aprende Compara ε̂ con ε y ajusta los mismos pesos θ. TRANSICIÓN ============================================================================ D40 · Por qué estimar ruido enseña estructura 63:30–67:00 · 3,5 min IDEA QUE DEBE QUEDAR Para estimar el ruido, la red aprende la estructura habitual de los datos. QUÉ EXPLICAR Para explicar el puente, usamos puntos 2D en lugar de imágenes. Los datos forman dos grupos. El checkpoint de una red pequeña fue entrenado a predecir el ruido añadido, sin etiquetas de grupo. En 320 ejemplos nuevos a t=0,05, la estimación de x0 desde el ruido predicho recupera parte de la estructura de los grupos. Los colores solo siguen la procedencia de los mismos puntos y no son entradas del modelo. Es una corrección supervisada a nivel fijo, no una cadena de generación. La estimación aproxima una media condicional, por lo que puede quedar entre alternativas cuando hay ambigüedad. Para el punto x_t=(0,0), la mezcla simétrica tiene dos posibilidades equiprobables: su media condicional está entre ambos grupos. El generador necesita además una regla de transiciones y su recorrido; esta nube estimada no reproduce por sí sola la distribución de los datos. La red encuentra regularidades porque el ruido cambia entre ejercicios, mientras que los datos conservan estructuras frecuentes. Bajo error cuadrático, el predictor ideal es E[ε|x_t,t]. No tiene por qué adivinar el sorteo individual. En la parametrización de ruido, x0hat=(x_t−√(1−ᾱ_t) εhat)/√ᾱ_t convierte esa predicción en una estimación limpia. Esta relación hace visible qué información aprendida contiene predecir ruido. Detalle original conservado: Bajo error cuadrático la predicción ideal es una media condicional del ruido. No exige recuperar infaliblemente la perturbación individual. Esa estimación parametriza la distribución del siguiente paso de la cadena inversa. Con una observación muy ruidosa puede haber muchas parejas imagen-ruido compatibles. Bajo error cuadrático, el predictor ideal estima la esperanza condicional E[ε|x_t,t], no recupera infaliblemente el sorteo individual. Esa predicción depende de las regularidades aprendidas en la colección y parametriza el proceso inverso. No significa que el sistema almacene un árbol escondido dentro de cada mapa de ruido. La red aproxima lo plausible en cada nivel; la regla de generación utiliza esa información. QUÉ SEÑALAR TRANSICIÓN ============================================================================ D41 · Cómo usamos la predicción para generar 67:00–69:30 · 2,5 min IDEA QUE DEBE QUEDAR En generación cambian la muestra y el nivel; los pesos de la red permanecen fijos. QUÉ EXPLICAR La red predice el ruido. El muestreador combina esa predicción con el estado actual, el nivel y la aleatoriedad que corresponda para calcular un paso parcial. Se repite el proceso desde ruido nuevo con la red fija. No hay imagen limpia de referencia, pérdida ni ajuste de pesos. El esquema completo del bucle aparece al final del bloque. QUÉ SEÑALAR TRANSICIÓN ============================================================================ D42 · Una entrada ruidosa puede admitir varias salidas 69:30–71:00 · 1,5 min IDEA QUE DEBE QUEDAR El modelo aporta regularidades; el azar permite distintas continuaciones compatibles. QUÉ EXPLICAR La figura publicada por los autores de DDPM muestra un mismo latente ruidoso x_750 y cuatro decodificaciones p_theta(x0|x_750), en CelebA-HQ 256×256. Son alternativas desde el mismo estado, no etapas de una secuencia temporal ni reconstrucciones de una fotografía limpia mostrada al público. Las salidas comparten atributos como pose o gafas, mientras cambian otros rasgos. Esto hace visible la variación de las continuaciones. En el DDPM estocástico, variar x_T cambia el punto inicial y variar los sorteos z de los pasos puede cambiar el resultado aun con la misma entrada. Para reproducir se controla todo el flujo aleatorio, además del modelo y la configuración. La figura no identifica semillas concretas y no prueba diversidad o calidad sobre un conjunto completo. QUÉ SEÑALAR TRANSICIÓN ============================================================================ D43 · El papel de la U-Net 71:00–73:00 · 2 min IDEA QUE DEBE QUEDAR U-Net predice el mapa de ruido; los esquemas siguientes reúnen el proceso completo. QUÉ EXPLICAR Siglas de esta diapositiva: Conv: convolución · θ: parámetros de la red. Significado del nombre: U-Net: red en forma de U, estructura global y detalle. La U-Net de DDPM incluye bloques residuales, normalización y atención. El dibujo es un esquema de su backbone, no un desglose de todas sus capas. La salida conserva la estructura de coordenadas necesaria para estimar ruido. U-Net reduce resolución para reunir contexto y la recupera para predecir un mapa espacial. Las conexiones laterales acercan rasgos de detalle a la rama de subida. La información del nivel t se convierte en una representación que condiciona los bloques. El esquema muestra la organización del backbone, no todas las capas de DDPM, que incluye bloques residuales, normalización y atención. Esas conexiones no hacen que la U-Net sea un flujo invertible. La misma arquitectura y los mismos pesos se reutilizan en los niveles de entrenamiento y en las consultas de generación. Esta versión muestra tres funciones del recorrido en U: reducir resolución, integrar contexto y recuperar detalle con conexiones laterales. Es una simplificación funcional, no el número real de bloques. A continuación se mantienen los dos esquemas completos originales de entrenamiento e inferencia. QUÉ SEÑALAR TRANSICIÓN ============================================================================ D44 · Entrenamiento: arquitectura completa 73:00–75:30 · 2,5 min IDEA QUE DEBE QUEDAR La respuesta conocida permite calcular el error y actualizar los pesos. QUÉ EXPLICAR Lee el sistema de izquierda a derecha y después sigue las dos ramas. Elegimos x0 de la colección, sorteamos t y ε, y construimos x_t con la fórmula marginal. Solo x_t y t entran en la U-Net. ε̂ entra en el cálculo del error; ε llega por una rama de objetivo, sin entrar en la red. El error alimenta al optimizador y este actualiza θ. La imagen limpia sirve para preparar el ejercicio. El diagrama es la arquitectura funcional completa del entrenamiento de predicción de ruido, con U-Net abreviada y sin detallar todas sus capas internas. QUÉ SEÑALAR Dataset x0 + sorteo t + ruido ε → preparación de x_t → U-Net(x_t,t)→ε̂; rama ε→pérdida; pérdida→optimizador→θ. TRANSICIÓN Al generar conservamos la red y eliminamos el cálculo del error. ============================================================================ D45 · Inferencia: arquitectura completa 75:30–78:00 · 2,5 min IDEA QUE DEBE QUEDAR Partimos de ruido nuevo y repetimos predicción y actualización con la red fija. QUÉ EXPLICAR Lee primero el camino principal y después el bucle. Sorteamos x_T nuevo, entregamos el estado y t a la U-Net fija, obtenemos ε̂ y la regla DDPM combina la predicción con el estado y el nivel. Añade z cuando corresponde y produce x_(t−1). Ese estado vuelve a entrar a un nivel menor. En t=1 termina el bucle y se devuelve la imagen. No hay objetivo ε, pérdida ni optimizador. Las ramas de estado y nivel hacia la regla son necesarias: una predicción aislada no constituye todo el generador. El dibujo es funcional y esquemático; no una medición de resultados. QUÉ SEÑALAR xT nuevo → bucle [x_t,t→U-Net θ fija→ε̂→actualización DDPM→x_(t−1)] → imagen; rama z_t al actualizador cuando t>1. TRANSICIÓN A continuación veremos qué cambia si queremos generar con menos consultas. ============================================================================ D46 · Siguiente artículo: DDIM 78:00–79:00 · 1 min IDEA QUE DEBE QUEDAR Pasamos de aprender a predecir ruido a cambiar el recorrido de generación. QUÉ EXPLICAR Cambiamos de artículo: Denoising Diffusion Implicit Models, de Jiaming Song, Chenlin Meng y Stefano Ermon. La primera prepublicación es de octubre de 2020 y el trabajo se presenta en ICLR 2021. Ya hemos explicado cómo se entrena el predictor de ruido de DDPM. Ahora la pregunta es si podemos aprovechar ese aprendizaje para construir un recorrido de muestreo con menos consultas a la red. DDIM desarrolla procesos no markovianos con el mismo objetivo de entrenamiento que DDPM y permite reutilizar el predictor entrenado. Presenta la cabecera del artículo y anuncia la pregunta; las siguientes diapositivas explican el recorrido y revisan sus resultados. No presentar menos pasos como una garantía de mantener siempre la misma calidad. QUÉ SEÑALAR Título y autores en la captura, ICLR 2021 y la pregunta sobre el número de consultas a la red. TRANSICIÓN Veamos primero el coste de repetir consultas y después cómo DDIM propone otro recorrido. ============================================================================ D47 · DDIM: Denoising Diffusion Implicit Models 79:00–81:00 · 2 min IDEA QUE DEBE QUEDAR Cada consulta requiere cálculo. El recorrido influye en el coste. QUÉ EXPLICAR Significado del nombre: DDIM: Denoising Diffusion Implicit Models. La red ya está entrenada y la consultamos repetidamente. Cada consulta requiere cálculo. DDIM aborda cómo aprovechar la misma predicción aprendida mediante otros procesos y reglas de muestreo. El problema práctico consiste en reducir consultas manteniendo un comportamiento adecuado para la tarea. El esquema de coste supone que cada consulta cuesta lo mismo; no representa tiempos medidos de un sistema actual. Separar la predicción aprendida del recorrido ayuda a entender por qué una mejora de muestreo no exige necesariamente repetir todo el entrenamiento. QUÉ SEÑALAR Cada consulta requiere cálculo. ¿Podemos consultar menos veces? TRANSICIÓN Seguimos con: DDIM: otro recorrido (Denoising Diffusion Implicit Models). ============================================================================ D48 · DDIM: otro recorrido (Denoising Diffusion Implicit Models) 81:00–83:00 · 2 min IDEA QUE DEBE QUEDAR DDIM reutiliza la predicción aprendida con otra regla de muestreo. QUÉ EXPLICAR Significado del nombre: DDIM: otro recorrido (Denoising Diffusion Implicit Models). DDIM construye una familia de procesos con el mismo objetivo de entrenamiento que DDPM y permite dinámicas de generación alternativas. En ese marco podemos utilizar una red ya entrenada y muestrear con menos estados. La regla debe ser compatible con la parametrización y la programación utilizadas. Con eta igual a cero, el muestreo DDIM es determinista dada la condición inicial, la red y la discretización. Esto no significa que produzca siempre las mismas muestras que DDPM ni que cualquier reducción de pasos conserve la calidad. Los recorridos del esquema son didácticos y no una comparación medida de trayectorias. ANIMACIÓN La franja animada cuenta consultas en dos recorridos esquemáticos. Conserva la misma red, cambia cuántas veces la consultamos. Las curvas inferiores son ilustraciones y no medidas de calidad ni tiempos de GPU. QUÉ SEÑALAR Se conserva la red entrenada Muchas consultas Menos consultas TRANSICIÓN Seguimos con: DDIM: Denoising Diffusion Implicit Models, evidencia de tiempo. ============================================================================ D49 · DDIM: Denoising Diffusion Implicit Models, evidencia de tiempo 83:00–86:00 · 3 min IDEA QUE DEBE QUEDAR Los tiempos publicados necesitan leerse junto con calidad y variedad. QUÉ EXPLICAR Significado del nombre: DDIM: Denoising Diffusion Implicit Models, evidencia de tiempo. La figura publicada relaciona pasos y horas para generar cincuenta mil imágenes en las condiciones del artículo. Ambos ejes utilizan escalas logarítmicas. Nos permite observar cómo cambia el coste con las consultas en ese experimento histórico. La figura no predice el tiempo de cualquier modelo actual ni resume por sí sola toda su calidad. Para decidir una configuración necesitamos comparar también las muestras y su variedad en condiciones comunes. La contribución que retendremos es la posibilidad de utilizar una predicción aprendida con recorridos alternativos. Su evaluación exige mirar coste y resultado conjuntamente, en el mismo conjunto de datos y con un presupuesto bien definido. QUÉ SEÑALAR Abajo: pasos. A la izquierda: horas necesarias. TRANSICIÓN Seguimos con: LDM: Latent Diffusion Models, difusión en una representación. ============================================================================ D50 · LDM: Latent Diffusion Models, difusión en una representación 86:00–89:00 · 3 min IDEA QUE DEBE QUEDAR La difusión puede entrenarse en una representación compacta. QUÉ EXPLICAR Significado del nombre: LDM: Latent Diffusion Models, difusión en una representación. La difusión latente responde al coste de trabajar directamente con imágenes grandes. Un autoencoder aprende una representación y un decodificador que permite volver a la imagen. Después entrenamos la difusión en ese espacio. El esquema de imagen, representación y reconstrucción explica el autoencoder, no significa que necesitemos una fotografía inicial para cada generación. Los números centrales son un esquema y no activaciones medidas de esta foto. La representación latente tampoco equivale necesariamente a una miniatura reconocible. El artículo muestra generación de alta resolución y condicionamiento en su configuración; nuestra figura explica la modificación de representación y no constituye una medida propia de rendimiento. La composición es un esquema didáctico con una fotografía generada y números de ejemplo. No es una figura publicada ni una medición del autoencoder de Rombach. QUÉ SEÑALAR Imagen Imagen reconstruida Representación compacta −0,3 0,8 0,2 −0,5 0,4 −0,1 0,7 0,2 −0,2 0,6 0,1 −0,4 Esquema de números TRANSICIÓN Seguimos con: LDM: Latent Diffusion Models, generación en el espacio latente. ============================================================================ D51 · LDM: Latent Diffusion Models, generación en el espacio latente 89:00–92:00 · 3 min IDEA QUE DEBE QUEDAR Para generar, empezamos con ruido latente y decodificamos al final. QUÉ EXPLICAR Significado del nombre: LDM: Latent Diffusion Models, generación en el espacio latente. En generación comenzamos directamente con ruido en el espacio latente. Aplicamos allí las predicciones y actualizaciones repetidas. Al final, el decodificador transforma el estado latente en una imagen. El codificador de una fotografía pertenece a la preparación y al aprendizaje de la representación, no es un paso obligatorio de cada generación desde ruido. Si añadimos texto u otra condición, esa información puede orientar las predicciones. Seguimos conservando el mismo mapa: una representación, una red que predice y una regla que construye el recorrido. La compresión y reconstrucción introducen costes y posibles pérdidas que también deben evaluarse. ANIMACIÓN Primero distingue las tres fases a la izquierda. En el esquema de generación de la derecha, observa las consultas repetidas en el espacio latente y el paso único por el decodificador al final. El estado inicial es ruido latente nuevo. QUÉ SEÑALAR Aprender representación Imagen, codificación y reconstrucción Aprender a predecir Latentes conocidos y ruido añadido Generar Ruido latente nuevo y decodificación final TRANSICIÓN Seguimos con: LDM: Latent Diffusion Models, menos coeficientes. ============================================================================ D52 · LDM: Latent Diffusion Models, menos coeficientes 92:00–94:00 · 2 min IDEA QUE DEBE QUEDAR 48 veces menos coeficientes no equivale a 48 veces menos coste total. QUÉ EXPLICAR Significado del nombre: LDM: Latent Diffusion Models, menos coeficientes. En este ejemplo dimensional una imagen contiene setecientos ochenta y seis mil cuatrocientos treinta y dos valores y la representación compacta dieciséis mil trescientos ochenta y cuatro. El cociente es cuarenta y ocho. Se refiere al número de coeficientes, no a una aceleración medida ni a toda la memoria del sistema. El codificador y el decodificador también requieren trabajo. Además, una representación compacta puede perder detalle. La contribución que situamos en el mapa es cambiar dónde trabaja la difusión. Para una aplicación concreta necesitamos comprobar tanto el coste real como qué información conserva la reconstrucción. QUÉ SEÑALAR Imagen completa 512 × 512 × 3 Versión compacta 64 × 64 × 4 48× menos números en este ejemplo TRANSICIÓN Seguimos con: La condición orienta las respuestas. ============================================================================ D53 · La condición orienta las respuestas 94:00–96:00 · 2 min IDEA QUE DEBE QUEDAR Una misma condición puede admitir muchas muestras. QUÉ EXPLICAR Hasta ahora hemos explicado la generación sin fijar una petición concreta. Una condición aporta información adicional junto con el estado ruidoso y el nivel. Puede ser una clase, texto o información observada. La ilustración de dos grupos muestra cómo una condición restringe la familia de respuestas. Es un ejemplo de distribuciones conocidas, no el resultado de un modelo fotográfico. Condicionar busca respuestas compatibles, aunque no garantiza que se respete perfectamente cada detalle. En el caso de completar una habitación, la zona observada es parte de la información que debería restringir las propuestas. Veremos dos herramientas con funciones distintas: CFG y ControlNet. QUÉ SEÑALAR Sin pedir una familia concreta Pedimos la familia derecha TRANSICIÓN Seguimos con: CFG: Classifier-Free Guidance, guía sin clasificador. ============================================================================ D54 · CFG: Classifier-Free Guidance, guía sin clasificador 96:00–98:00 · 2 min IDEA QUE DEBE QUEDAR CFG combina las predicciones para ajustar la influencia de la condición. QUÉ EXPLICAR Significado del nombre: CFG: Classifier-Free Guidance, guía sin clasificador. Classifier-Free Guidance utiliza estimaciones condicionadas e incondicionales. Pueden proceder de una misma red entrenada con ausencia aleatoria de la condición. Combinamos ambas estimaciones para modificar la influencia de la petición. Con la convención utilizada aquí, la predicción guiada es la incondicional más g veces la diferencia entre condicionada e incondicional. g igual a cero representa la incondicional y g igual a uno la condicionada. Los valores mayores extrapolan. El dibujo es una proyección didáctica, no vectores medidos de una fotografía. En el mapa estamos modificando cómo orientamos la predicción con una condición. ANIMACIÓN Mantén la atención en las dos flechas base, que no cambian. Solo varía su combinación con g: cero coincide con la incondicional, uno con la condicional y valores mayores extrapolan. La entrada y las dos predicciones base permanecen fijas durante esta demostración. QUÉ SEÑALAR TRANSICIÓN Seguimos con: CFG: Classifier-Free Guidance, intensidad y variedad. ============================================================================ D55 · CFG: Classifier-Free Guidance, intensidad y variedad 98:00–100:00 · 2 min IDEA QUE DEBE QUEDAR Más guía puede mejorar afinidad y reducir variedad o introducir artefactos. QUÉ EXPLICAR Significado del nombre: CFG: Classifier-Free Guidance, intensidad y variedad. La figura sintética publicada muestra cómo cambia la distribución al aumentar la guía. Permite visualizar mayor concentración y una posible reducción de variedad. En modelos de imágenes, una guía intensa también puede introducir artefactos. Una intensidad mayor no mejora todos los criterios a la vez. Este ejemplo no es un benchmark fotográfico ni una medición de un sistema del hospital. La conclusión útil es que la guía cambia el comportamiento y necesita evaluación. Al compararla deberíamos mantener el modelo y las condiciones y observar conjuntos de resultados, con criterios definidos para la tarea. QUÉ SEÑALAR Aumentamos la guía de izquierda a derecha. TRANSICIÓN Seguimos con: ControlNet: red para aportar una condición espacial. ============================================================================ D56 · ControlNet: red para aportar una condición espacial 100:00–102:00 · 2 min IDEA QUE DEBE QUEDAR La condición espacial orienta la composición y necesita comprobarse. QUÉ EXPLICAR Significado del nombre: ControlNet: red para aportar una condición espacial. ControlNet incorpora condiciones espaciales a un modelo de difusión. En la receta del artículo, una rama entrenable utiliza esa información mientras el modelo base preentrenado permanece congelado. Sus conexiones inicializadas a cero permiten introducir progresivamente la influencia durante el ajuste. Aquí interesa la relación entre el mapa de bordes y las imágenes publicadas. Una estructura puede admitir distintas apariencias. Los ejemplos muestran posibilidades del método en esas condiciones, pero no garantizan que se respete cualquier detalle espacial. La pieza nueva del mapa es un mecanismo de condicionamiento estructural; es distinto de cambiar sólo la intensidad de guía. QUÉ SEÑALAR La estructura de entrada orienta la composición. TRANSICIÓN Seguimos con: Texto y estructura. ============================================================================ D57 · Texto y estructura 102:00–104:00 · 2 min IDEA QUE DEBE QUEDAR Texto y estructura aportan información diferente y pueden combinarse. QUÉ EXPLICAR La fila publicada mantiene una condición de pose y cambia peticiones textuales. Nos permite distinguir estructura y apariencia, aunque la compatibilidad de cada detalle sigue sujeta a comprobación. El texto y la condición espacial proporcionan información diferente. CFG modifica la influencia de la condición mediante combinación de predicciones. ControlNet añade un mecanismo para incorporar información espacial. Pueden formar parte de un mismo sistema. Estos ejemplos no son una comparación experimental entre CFG y ControlNet. Lo que hemos ganado es un mapa de las funciones que cumplen y de las preguntas que conviene hacer al evaluar un generador condicionado. QUÉ SEÑALAR La pose se conserva como petición espacial; el texto cambia la apariencia. TRANSICIÓN Seguimos con: Difusión de texto. ============================================================================ D58 · Difusión de texto 104:00–104:30 · 0,5 min IDEA QUE DEBE QUEDAR El objetivo generativo se mantiene; cambia la representación de los datos. QUÉ EXPLICAR Abrimos una subsección dedicada a la difusión de texto. La transición conserva la pregunta generativa: aprender a producir una muestra nueva. Ahora cambia la representación: secuencias de tokens, que pueden ser palabras o partes de palabras. Las siguientes cinco diapositivas distinguen difusión continua sobre vectores y difusión discreta mediante máscaras, y después recorren el entrenamiento, la inferencia y los ejemplos de lenguaje. No introducir SDE, Flow Matching ni DiT como nuevos temas. QUÉ SEÑALAR De imágenes a secuencias de tokens Aprender a reconstruir texto a partir de una versión alterada. Qué cambia en la corrupción, el entrenamiento y la generación. TRANSICIÓN Primero distinguimos dos formas de alterar un texto: perturbar sus vectores u ocultar tokens. ============================================================================ D59 · Difusión de texto: LM, Language Model, y LLaDA con máscaras 104:30–106:00 · 1,5 min IDEA QUE DEBE QUEDAR La idea de aprender a deshacer una corrupción también se aplica al lenguaje. QUÉ EXPLICAR Introduce modelo de lenguaje como generador de secuencias de unidades llamadas tokens. Una celda puede corresponder a una palabra o a parte de ella. Diffusion-LM es un antecedente continuo: transforma palabras en vectores y aplica una difusión gaussiana en ese espacio. LLaDA representa una receta discreta: sustituye tokens por una máscara y aprende a predecirlos. No se añade literalmente ruido blanco a letras. Son dos familias de mecanismos; los sistemas comerciales pueden combinar enfoques propios que no están publicados con el mismo detalle. QUÉ SEÑALAR Dos filas horizontales paralelas. La continua muestra pequeños vectores y ruido; la discreta muestra palabras y [MÁSCARA]. Ambas terminan en texto. TRANSICIÓN Sigamos la opción enmascarada con una frase pequeña. ============================================================================ D60 · Varias posiciones se completan en cada ronda 106:00–107:30 · 1,5 min IDEA QUE DEBE QUEDAR El modelo puede predecir varias unidades de texto a la vez. QUÉ EXPLICAR El prompt permanece disponible. Empezamos con la respuesta enmascarada y la red calcula probabilidades para sus posiciones. El muestreador decide cuáles aceptar y cuáles mantener enmascaradas según su estrategia. Una pasada puede completar varias posiciones. El número de rondas controla parte del compromiso de coste y calidad, pero paralelismo no implica que toda la respuesta salga bien en una sola llamada. En LLaDA2.1 se añade edición token a token; LLaDA2.2 también inserta y borra. La frase mostrada es una ilustración y no una salida registrada. QUÉ SEÑALAR Cuatro filas de seis celdas. Colorear posiciones resueltas simultáneamente y mantener el prompt arriba. Flecha de ronda a ronda. TRANSICIÓN ¿Cómo aprende el predictor a completar esas posiciones? ============================================================================ D61 · Entrenamiento: ocultamos tokens y conocemos la respuesta 107:30–109:30 · 2 min IDEA QUE DEBE QUEDAR La pérdida compara probabilidades de tokens con el texto original en las posiciones ocultas. QUÉ EXPLICAR Elige LLaDA como receta concreta. Su Transformer recibe la secuencia con posiciones enmascaradas y ve contexto a ambos lados, porque no utiliza una máscara causal. Predice una distribución sobre el vocabulario para cada posición. La pérdida es una entropía cruzada ponderada y se calcula solo donde ocultamos tokens. En ajuste con instrucciones se conserva el prompt y se enmascara la respuesta. No copiar el esquema de estimación de ruido de DDPM: aquí el objetivo son tokens. El predictor original de LLaDA admite una parametrización sin t explícito; t interviene en cómo preparamos y ponderamos el ejercicio. QUÉ SEÑALAR Pipeline de preparación, Transformer y probabilidades, rama del original a la pérdida y retorno de ajuste a los pesos. Una máscara de ejemplo sobre una frase. TRANSICIÓN Una vez aprendido, fijamos los pesos y usamos el predictor varias veces. ============================================================================ D62 · Inferencia: un borrador enmascarado se convierte en texto 109:30–111:30 · 2 min IDEA QUE DEBE QUEDAR El prompt y el borrador actual entran en la misma red con pesos fijos. QUÉ EXPLICAR Durante la inferencia no se calcula una pérdida contra una respuesta conocida ni se modifican pesos. El muestreador usa las probabilidades para seleccionar valores y posiciones. Cambiar el muestreo puede producir respuestas distintas incluso aunque las máscaras iniciales sean iguales. Es diferente del ruido gaussiano inicial de la imagen: en difusión enmascarada la respuesta puede comenzar con todas las posiciones iguales a máscara y la diversidad procede de decisiones categóricas posteriores. Los métodos por bloques intercalan paralelismo interno con dependencia entre bloques. La posibilidad de editar no demuestra que el sistema corrija siempre sus errores o elimine alucinaciones. QUÉ SEÑALAR Bucle visible con la red, selector y nuevo borrador. El prompt se conserva a un lado. Salida final frase española. TRANSICIÓN La idea ya funciona a gran escala. Para valorar el estado del arte tenemos que separar rapidez, calidad y aplicación. ============================================================================ D63 · Estado del arte: distintas fronteras según la tarea 111:30–114:00 · 2,5 min IDEA QUE DEBE QUEDAR A 4 de noviembre de 2026 hay modelos comerciales rápidos y modelos abiertos con edición. QUÉ EXPLICAR Estado del arte significa State of the Art. Esta es una selección fechada al 4 de noviembre de 2026, no un ranking exhaustivo. Mercury 3 es un servicio comercial anunciado por Inception el 19 de octubre: 1.068 tokens por segundo y un millón de tokens de contexto son cifras del proveedor, sin un protocolo común reproducible con los modelos abiertos de esta tabla. LLaDA MoE v2, del 4 de agosto, es un modelo abierto con mezcla de expertos: su configuración nominal 30B-A3B tiene unos 30.000 millones de parámetros totales y 3.000 millones activos. Estos tamaños no son puntuaciones de calidad. LLaDA2.2-Flash, de julio, añade edición por inserción, borrado y sustitución; la tabla 2 de su informe informa 60,78 en uso de herramientas y 48,67 en ciencia. En esa misma tabla LLaDA2.1-Flash obtiene 41,04 y 67,30: mejorar en una tarea no demuestra superioridad en todas. Herramientas se refiere a Berkeley Function Calling Leaderboard, versión 4; ciencia a Graduate-Level Google-Proof Q&A Diamond. No sumar ni promediar métricas de tareas distintas. Para comparar rapidez se necesitan hardware, lote, longitud, precisión y estrategia comunes. La tabla muestra tres fronteras diferentes: servicio rápido, escala abierta y capacidad de edición. QUÉ SEÑALAR Tabla de modelos, acceso y evidencia publicada, con corte temporal explícito. TRANSICIÓN Volvamos al caso de imágenes: el mecanismo no basta para decidir si el resultado nos sirve. ============================================================================ D64 · El caso inicial: observación y propuestas 114:00–116:30 · 2,5 min IDEA QUE DEBE QUEDAR Plausibilidad y fidelidad a lo observado requieren comprobaciones distintas. QUÉ EXPLICAR Volvemos a la habitación inicial. Ahora podemos describir las propuestas como muestras condicionadas por información observada. Separaremos tres preguntas. ¿La imagen parece una habitación posible? ¿Respeta los píxeles o la información que conocemos? ¿Sirve para la tarea que habíamos definido? El original ayuda a estudiar este ejemplo, aunque una zona desconocida puede admitir distintas respuestas. Podemos discutir si una diferencia representa un error según el objetivo. Su función es hacer explícito qué parte está observada y qué parte propone el modelo, y preparar un diseño de evaluación apropiado. QUÉ SEÑALAR Información observada Respuesta A Respuesta B Referencia original TRANSICIÓN Seguimos con: Una comparación cambia un factor. ============================================================================ D65 · Una comparación cambia un factor 116:30–118:30 · 2 min IDEA QUE DEBE QUEDAR Cambiar un factor cada vez permite interpretar la comparación. QUÉ EXPLICAR Para atribuir una diferencia a una decisión necesitamos controlar el resto de condiciones. Si evaluamos número de pasos, conservamos el modelo, el conjunto de condiciones y una estrategia común de muestreo. Si evaluamos guía, explicitamos qué parámetro cambia y cómo obtenemos las muestras. Medimos coste real y comportamiento del conjunto de resultados. Una imagen elegida no representa por sí sola toda la distribución. Este esquema propone un diseño de comparación y no contiene resultados nuevos. Las cifras y las conclusiones deberán proceder del experimento concreto. También conviene registrar configuración y condiciones para que la comparación pueda repetirse. QUÉ SEÑALAR Cambio que probamos / Qué mantenemos / Qué comparamos Número de pasos / Modelo, tarea, condiciones y conjunto de semillas / Tiempo y calidad del resultado Intensidad de guía / Modelo, entrada y muestreador / Compatibilidad, variedad y artefactos Semilla inicial / Modelo, condición y configuración / Variación entre muestras TRANSICIÓN Seguimos con: La evaluación depende de la tarea. ============================================================================ D66 · La evaluación depende de la tarea 118:30–120:00 · 1,5 min IDEA QUE DEBE QUEDAR La utilidad depende de la tarea y de sus requisitos. QUÉ EXPLICAR No hay una sola imagen ni un único número que responda todas estas preguntas. Necesitamos conjuntos de muestras y condiciones relevantes. La calidad visual, la variedad, la compatibilidad con una condición y el coste pueden cambiar de forma diferente. Los fallos importan según el uso. Un buen error de denoising tampoco sustituye estas comprobaciones del proceso generativo completo. En el caso de completar la habitación, hemos distinguido lo observado de la propuesta. En una aplicación diferente tendríamos que volver a definir qué información debe conservarse y qué resultados serían aceptables. Esa definición es parte del diseño de la evaluación. QUÉ SEÑALAR Plausibilidad ¿El resultado se parece a la familia de datos? Fidelidad ¿Respeta la información que conocemos? Variedad y coste ¿Admite alternativas útiles con recursos aceptables? TRANSICIÓN Seguimos con: Cómo se aprende a generar desde ruido. ============================================================================ D67 · Cómo se aprende a generar desde ruido 120:00–122:00 · 2 min IDEA QUE DEBE QUEDAR Aprendemos predicciones, generamos con una red fija y evaluamos la tarea. QUÉ EXPLICAR Podemos responder a la pregunta inicial. Fabricamos ejercicios con ruido conocido y ajustamos una red para aprender predicciones en distintos niveles. Ese aprendizaje contiene información de una colección de datos. Al generar empezamos con una realización nueva de ruido y aplicamos las predicciones mediante una regla, sin volver a ajustar los parámetros. Los métodos posteriores modifican recorridos, representaciones, arquitecturas, condiciones o formulaciones. Sus contribuciones deben leerse con sus condiciones y límites. En el caso conductor, generar propuestas era posible, pero decidir si servían exigía distinguir lo observado, las alternativas y la tarea. Esa es la idea que llevamos al debate. QUÉ SEÑALAR Qué aprende Una predicción local a diferentes niveles de ruido. Cómo genera Una regla utiliza repetidamente la red entrenada para transformar ruido nuevo. Cómo lo juzgamos Con evidencia sobre la tarea y la información que debe conservar. TRANSICIÓN Seguimos con: Qué pediríamos a un generador útil. ============================================================================ D68 · Qué pediríamos a un generador útil 122:00–137:00 · 15 min IDEA QUE DEBE QUEDAR Qué comparación nos haría cambiar de opinión QUÉ EXPLICAR Partimos del caso conductor o de una aplicación propuesta por el público. Dedicamos tres minutos a definir la tarea y la información disponible. Durante cinco minutos concretamos lo que debe conservarse y las variaciones aceptables. En los cinco siguientes proponemos un diseño de evaluación y una comparación relevante. Los dos últimos sirven para recuperar la pregunta central y explicar con nuestras palabras qué aprende la red y qué cambia durante la generación. Podemos utilizar la diapositiva de síntesis para cerrar con una respuesta compartida. Evitamos añadir una nueva familia de modelos cuando todavía estamos concretando cómo evaluar el caso. QUÉ SEÑALAR Aplicación ¿Qué resultado queremos obtener? Información ¿Qué conocemos y qué puede variar? Comprobación ¿Cómo evaluaríamos las propuestas? Comparación ¿Qué evidencia nos haría cambiar de opinión? TRANSICIÓN Seguimos con: Siglas de redes y familias. ============================================================================ D69 · Siglas de redes y familias 137:00–137:00 · 0 min IDEA QUE DEBE QUEDAR Consultar los nombres completos cuando una sigla resulte desconocida. QUÉ EXPLICAR Anexo de consulta sin tiempo de exposición. Los nombres completos se desarrollan también al introducir los modelos. U-Net significa red con forma de U; Glow, Dream y ControlNet son nombres propios. No se inventan expansiones para ellos. QUÉ SEÑALAR Sigla / nombre / Nombre completo / Qué significa aquí RNN / PixelRNN / Recurrent Neural Network / Red recurrente aplicada a píxeles. CNN / PixelCNN / Convolutional Neural Network / Red convolucional aplicada a píxeles. IQN / PixelIQN / Implicit Quantile Network / Red de cuantiles implícitos aplicada a píxeles. LSTM / BiLSTM / Long Short-Term Memory / Bidirectional LSTM / Memoria recurrente, en una o dos direcciones. GAN / DCGAN / Generative Adversarial Network / Deep Convolutional GAN / Generador y discriminador. VAE / Variational Autoencoder / Autoencoder variacional. NICE / Non-linear Independent Components Estimation / Transformaciones invertibles. Real NVP / Real-valued Non-Volume Preserving / Flujo reversible que puede cambiar volúmenes. TRANSICIÓN Continuar con las fuentes o volver a la diapositiva que se estaba consultando. ============================================================================ D70 · Siglas de difusión y lenguaje 137:00–137:00 · 0 min IDEA QUE DEBE QUEDAR Consultar los nombres completos cuando una sigla resulte desconocida. QUÉ EXPLICAR Siglas que aparecen en el recorrido de difusión de imagen y texto. DDPM · Denoising Diffusion Probabilistic Models · Modelos probabilísticos de difusión. DDIM · Denoising Diffusion Implicit Models · Muestreo implícito para difusión. LDM · Latent Diffusion Models · Difusión en una representación latente. CFG · Classifier-Free Guidance · Guía sin clasificador. LM / LLM · Language Model / Large Language Model · Modelo de lenguaje / de gran escala. LLaDA · Large Language Diffusion with mAsking · Difusión de lenguaje con enmascarado. QUÉ SEÑALAR Sigla / nombre / Nombre completo / Qué significa aquí DDPM / Denoising Diffusion Probabilistic Models / Modelos probabilísticos de difusión. DDIM / Denoising Diffusion Implicit Models / Muestreo implícito para difusión. LDM / Latent Diffusion Models / Difusión en una representación latente. CFG / Classifier-Free Guidance / Guía sin clasificador. LM / LLM / Language Model / Large Language Model / Modelo de lenguaje / de gran escala. LLaDA / Large Language Diffusion with mAsking / Difusión de lenguaje con enmascarado. TRANSICIÓN Continuar con las fuentes o volver a la diapositiva que se estaba consultando. ============================================================================ D71 · Siglas de evaluación, datos y recursos 137:00–137:00 · 0 min IDEA QUE DEBE QUEDAR Consultar los nombres completos cuando una sigla resulte desconocida. QUÉ EXPLICAR Anexo de consulta sin tiempo de exposición. Los nombres completos se desarrollan también al introducir los modelos. U-Net significa red con forma de U; Glow, Dream y ControlNet son nombres propios. No se inventan expansiones para ellos. QUÉ SEÑALAR Sigla / nombre / Nombre completo / Qué significa aquí FID / IS / Fréchet Inception Distance / Inception Score / Distancia de rasgos / puntuación de clases. NLL / Negative Log-Likelihood / Log-verosimilitud negativa. CVPR / CVF / Computer Vision and Pattern Recognition / Computer Vision Foundation / Conferencia / repositorio oficial. CIFAR-10 / Canadian Institute for Advanced Research + 10 classes / Imágenes de diez clases. MNIST / Modified National Institute of Standards and Technology / Dígitos manuscritos. LSUN / Large-scale Scene Understanding / Conjunto de escenas y objetos. RGB / TPU / Red, Green, Blue / Tensor Processing Unit / Canales de color / acelerador de cálculo. AI / IA / Artificial Intelligence / Inteligencia Artificial / Inteligencia artificial. TRANSICIÓN Continuar con las fuentes o volver a la diapositiva que se estaba consultando. ============================================================================ D72 · Artículos para continuar 137:00–137:00 · 0 min IDEA QUE DEBE QUEDAR QUÉ EXPLICAR Lecturas para ampliar los métodos de imagen y la nueva subsección de difusión de texto. La procedencia de las figuras de restauración de Song et al. permanece en las notas de las diapositivas que las utilizan. DDPM: https://arxiv.org/abs/2006.11239 DDIM: https://arxiv.org/abs/2010.02502 LDM: https://arxiv.org/abs/2112.10752 CFG: https://arxiv.org/abs/2207.12598 ControlNet: https://arxiv.org/abs/2302.05543 Diffusion-LM: https://arxiv.org/abs/2205.14217 LLaDA: https://arxiv.org/abs/2502.09992 QUÉ SEÑALAR DDPM Denoising Diffusion Probabilistic Models Ho, Jain y Abbeel (2020) · https://arxiv.org/abs/2006.11239 DDIM Denoising Diffusion Implicit Models Song, Meng y Ermon (2021) · https://arxiv.org/abs/2010.02502 LDM High-Resolution Image Synthesis with Latent Diffusion Models Rombach et al. (2022) · https://arxiv.org/abs/2112.10752 CFG Classifier-Free Diffusion Guidance Ho y Salimans (2022) · https://arxiv.org/abs/2207.12598 ControlNet Adding Conditional Control to Text-to-Image Diffusion Models Zhang, Rao y Agrawala (2023) · https://arxiv.org/abs/2302.05543 Diffusion-LM Diffusion-LM Improves Controllable Text Generation Li et al. (2022) · https://arxiv.org/abs/2205.14217 LLaDA Large Language Diffusion Models Nie et al. (2025) · https://arxiv.org/abs/2502.09992 TRANSICIÓN Seguimos con: Autor y contacto. ============================================================================ D73 · Autor y contacto 137:00–137:00 · 0 min IDEA QUE DEBE QUEDAR Autor de la presentación: Petter Peñafiel. QUÉ EXPLICAR Autor y contacto de la presentación: Petter Peñafiel, papenafiel@clinic.cat. Los autores de los artículos citados mantienen su atribución bibliográfica independiente. QUÉ SEÑALAR Petter Peñafiel Autor de la presentación papenafiel@clinic.cat TRANSICIÓN Cierre de la sesión.