IA - DreamBooth sobre Stable Difusion

Logo Carlos Amaral.com
Vaya al Contenido

IA - DreamBooth sobre Stable Difusion

Más de 20 años de Experiencia en Diseño 📌
Publicado de Carlos Amaral en IA - Inteligencia Artificial · Miercoles 09 Nov 2022


Este sistema es un modelo de generación de DeepLearning, que se utiliza para afinar los modelos de texto a imagen existentes, desarrollado por investigadores de Google Research y la Universidad de Boston en 2022. Desarrollado originalmente con el modelo de texto a imagen Imagen de Google, se pueden aplicar las implementaciones de DreamBooth a otros modelos de texto a imagen, donde puede permitir que el modelo genere resultados más ajustados y personalizados después de entrenar de tres a cinco imágenes de un sujeto.

Tecnología

Los modelos de difusión de texto a imagen preentrenados, aunque a menudo son capaces de ofrecer una amplia gama de diferentes tipos de salida de imágenes, carecen de la especificidad necesaria para generar imágenes de sujetos menos conocidos y tienen una capacidad limitada para representar sujetos conocidos en diferentes situaciones y situaciones.

La metodología utilizada para ejecutar las implementaciones de DreamBooth implica el ajuste fino de dichos modelos, utilizando un pequeño conjunto de imágenes que representan un tema específico, con tres a cinco imágenes identificadas como generalmente suficientes, y estas imágenes se combinan con indicaciones de texto que contienen el nombre de la clase a la que pertenece el sujeto, más un identificador único (por ejemplo, una fotografía de un auto [Nissan R34 GTR], siendo auto la clase); se aplica una pérdida de preservación previa específica de la clase para alentar al modelo a generar diversas instancias del sujeto en función de lo que el modelo ya está entrenado para la clase original.

Se utilizan pares de imágenes de alta y baja resolución tomadas del conjunto de imágenes de entrada para ajustar los componentes de súper resolución, lo que permite mantener los detalles minuciosos del sujeto.




Uso

DreamBooth se puede usar para ajustar modelos como Stable Diffusion, donde puede aliviar una deficiencia común de Stable Diffusion que no puede generar adecuadamente imágenes de personas individuales específicas. Sin embargo, tal caso de uso es bastante intensivo en VRAM y, por lo tanto, tiene un costo prohibitivo para los usuarios aficionados.

Se han planteado inquietudes con respecto a la ética del uso de DreamBooth para entrenar puntos de control modelo que están específicamente destinados a imitar estilos de arte específicos asociados con artistas humanos; una de esas críticas es Hollie Mengert, una ilustradora de Disney y Penguin Random House cuyo estilo artístico se ha convertido en un modelo de punto de control a través de DreamBooth y se ha compartido en línea, sin su consentimiento.




Sistema en Google Colab
donde puedes hacer pruebas con DreamBooth

Presiona sobre el icono que prefieras, para ver el sistema funcionando en Google Colab, o descargarte los archivos para probarlo desde GitHub







AHORA TE TOCA CREAR A VOS...
Y DIVERTIRTE!!!




"Si crees que el buen diseño es caro, deberías ver el costo de un mal diseño"
Dr. Ralph Speth - CEO de Jaguar
Regreso al contenido