HPPrintingSegmentation: extrae e imprime desde tu imaginación

Abstract

La segmentación semántica es una tarea de visión por computador que permite separar diferentes áreas de una imagen en categorías, dependiendo de qué sea cada una de las partes de la imagen. Una aplicación común de esta técnica es la conducción autónoma, identificando lo que es carretera, lo que es acera, lo que son otros vehículos, lo que son señales, etc. Normalmente los modelos de segmentación están muy acoplados a una tarea concreta y unas categorías muy limitadas, como en el ejemplo anterior. No obstante, recientemente han aparecido modelos como OneFormer que permiten realizar una segmentación a un número muy elevado de categorías (o clases) diferentes: personas, cielo, árboles, césped, coches, etc.

En este proyecto se propone aplicar un modelo como OneFormer a imágenes que después se van a imprimir. El usuario, tras realizarse la segmentación, podrá seleccionar qué clases desea imprimir, eliminando aquellas categorías que no sean de su interés. Para las áreas descartadas, se aplicará una máscara transparente que hará que tomen el color del papel (normalmente, blanco), opcionalmente pudiendo escoger también un color uniforme de relleno.

La idea es poder integrar ese módulo dentro de las aplicaciones de impresión de HP. Para ello, se deberá desarrollar código reusable y que se pueda utilizar de forma genérica, aunque para el desarrollo en sí mismo se pueda generar una aplicación independiente.

Por otro lado, existen modelos generativos de imagen como Stable Difussion que, además de permitir generar imágenes a partir de un texto libre del usuario, también pueden realizar lo que se denominan tareas de "in-painting", que consiste en eliminar un área de una imagen y poder generar en ella lo que se desee, también a partir de texto. Sería deseable incorporar a este proyecto un modelo de este tipo, de tal forma que si el usuario elimina una categoría específica (por ejemplo, un cielo nublado), pueda sustituir el área vacía por otra cosa (por ejemplo, un cielo