IA - DreamBooth sobre Stable Difusion
Publicado de Carlos Amaral en IA - Inteligencia Artificial · Miercoles 09 Nov 2022
Este sistema es un modelo de generación de DeepLearning, que se utiliza para afinar los modelos de texto a imagen existentes, desarrollado por investigadores de Google Research y la Universidad de Boston en 2022. Desarrollado originalmente con el modelo de texto a imagen Imagen de Google, se pueden aplicar las implementaciones de DreamBooth a otros modelos de texto a imagen, donde puede permitir que el modelo genere resultados más ajustados y personalizados después de entrenar de tres a cinco imágenes de un sujeto.
Tecnología
Los modelos de difusión de texto a imagen preentrenados, aunque a menudo son capaces de ofrecer una amplia gama de diferentes tipos de salida de imágenes, carecen de la especificidad necesaria para generar imágenes de sujetos menos conocidos y tienen una capacidad limitada para representar sujetos conocidos en diferentes situaciones y situaciones.
La metodología utilizada para ejecutar las implementaciones de DreamBooth implica el ajuste fino de dichos modelos, utilizando un pequeño conjunto de imágenes que representan un tema específico, con tres a cinco imágenes identificadas como generalmente suficientes, y estas imágenes se combinan con indicaciones de texto que contienen el nombre de la clase a la que pertenece el sujeto, más un identificador único (por ejemplo, una fotografía de un auto [Nissan R34 GTR], siendo auto la clase); se aplica una pérdida de preservación previa específica de la clase para alentar al modelo a generar diversas instancias del sujeto en función de lo que el modelo ya está entrenado para la clase original.
Se utilizan pares de imágenes de alta y baja resolución tomadas del conjunto de imágenes de entrada para ajustar los componentes de súper resolución, lo que permite mantener los detalles minuciosos del sujeto.
Uso
DreamBooth se puede usar para ajustar modelos como Stable Diffusion, donde puede aliviar una deficiencia común de Stable Diffusion que no puede generar adecuadamente imágenes de personas individuales específicas. Sin embargo, tal caso de uso es bastante intensivo en VRAM y, por lo tanto, tiene un costo prohibitivo para los usuarios aficionados.
Se han planteado inquietudes con respecto a la ética del uso de DreamBooth para entrenar puntos de control modelo que están específicamente destinados a imitar estilos de arte específicos asociados con artistas humanos; una de esas críticas es Hollie Mengert, una ilustradora de Disney y Penguin Random House cuyo estilo artístico se ha convertido en un modelo de punto de control a través de DreamBooth y se ha compartido en línea, sin su consentimiento.
Sistema en Google Colab
donde puedes hacer pruebas con DreamBooth
Presiona sobre el icono que prefieras, para ver el sistema funcionando en Google Colab, o descargarte los archivos para probarlo desde GitHub
AHORA TE TOCA CREAR A VOS...
Y DIVERTIRTE!!!