New developments in craniofacial superimposition based on soft computing and computer vision

Abstract

Craniofacial superimposition is a forensic identification technique that involves the process of overlaying a skull with a number of ante-mortem images of an individual and the analysis of their morphological correspondence. Three consecutive stages for the whole CFS process have been distinguished in Damas et al. (2011): a) Acquisition and processing of the skull (in the form of a photograph, video-frame, or 3D model) and the ante-mortem facial photographs as two independent inputs; b) Skull-face overlay, which focuses on achieving the best possible superimposition of the skull and a single ante-mortem image of a missing person; and c) Decision making, where the degree of support that the skull and the available photograph belong to the same person (positive identification) or not (exclusion) is determined. One of the most important tasks in the first stage is the location of two set of points in the skull and in the individual's face (cranial and facial landmarks, respectively). Some forensic experts use the latter correspondence between pairs of cranial and facial landmarks for guiding the overlay process in the second stage, and for analyzing the morphological and facial correspondences in the third. Computer vision and soft computing arise as powerful tools to automate craniofacial superimposition, reducing the time taken by the expert and obtaining an unbiased overlay result. In particular, the automatic method proposed in Santamaría et al. (2007), Santamaría et al. (2009), Ibáñez et al. (2009), Ibáñez et al. (2011), Ibáñez et al. (2012) is based on a first stage devoted to the 3D reconstruction of the skull 3D model by means of evolutionary techniques; a second stage projecting the skull 3D model on the facial 2D image through a direct correspondence between cranial and facial landmarks using evolutionary algorithms and fuzzy sets; and a third stage where the final decision is made by the forensic anthropologist in view of the overlay obtained in the previous step. This method has achieved promising results. The main objective of this PhD dissertation is to extend the functionality of the current automatic CFS procedure in order to develop a more reliable and robust computer-aided system. The first stage of our proposal involves the reconstruction of skull 3D models by means of a multi-objective approach for 3D mesh simplification. This method comprises the adaptation of two evolutionary multi-objective algorithms to work with 3D models of high precision but a smaller complexity than the originals. In addition, we have assessed the dispersion related to the location of facial landmarks on photographs by the forensic experts. In the second stage, we have performed an extension of the existing automatic methods to superimpose a skull 3D model on a facial photograph by modeling the facial soft tissue depth between corresponding pairs of cranial and facial landmarks. This information is available in several anthropometric studies but its imprecise nature has caused it not to be considered in automatic skull-face overlay methods yet. The third stage involves the creation of a ground truth composed of cranial and facial 3D models, and photographs of the same living person to evaluate the superimposition results in an objective and quantitative way. Finally, the performance of our new automatic proposal has been analyzed using the ground truth database obtaining really good performance. La superposición cráneo-facial es una técnica de identificación forense en la que se compara un cráneo encontrado con fotografías de personas desaparecidas medis el análisis de sus correspondencias morfológicas. Dentro de la superposición cráneo-facial se distinguen tres etapas (Damas et al. 2011): a) La adquisición y el procesado del cráneo (en forma de fotografía, fotograma o modelo 3D) y de las fotografías faciales como dos entradas independientes; b) El solapamiento cráneo-cara, consistente en obtener la mejor superposición posible entre el cráneo y la cara de una fotografía concreta; y c) La toma de decisiones, donde se determina el grado de coincidencia que existe entre cráneo y cara para determinar si pertenecen a la misma persona o no. Una de las tareas importantes de la primera etapa es la localización de dos conjuntos de puntos en el cráneo (landmarks craneales) y en la cara del individuo (landmarks faciales). Estos landmarks, a su vez, son utilizados por algunos expertos para guiar el proceso de solapamiento de la segunda etapa y estudiar las correspondencias morfológicas y faciales en la tercera. La visión por computador y el soft computing se presentan como potentes herramientas para automatizar la superposición cráneo-facial, reduciendo drásticamente el tiempo empleado por el experto forense. En concreto, el método automático propuesto en Santamaría et al. (2007), Santamaría et al. (2009), Ibáñez et al. (2009), Ibáñez et al. (2011), Ibáñez et al. (2012) está basado en una primera etapa dedicada a la obtención de un modelo 3D del cráneo mediante técnicas evolutivas de reconstrucción 3D y al modelado de la localización imprecisa de landmarks faciales en la fotografía; una segunda fase consistente en el solapamiento cráneo-cara mediante la proyección del modelo 3D sobre la imagen 2D utilizando algoritmos evolutivos y conjuntos difusos para lograr la correspondencia directa entre landmarks faciales y craneales; y una tercera etapa donde el antropólogo forense toma la decisión final sobre la identificación a partir de la superposición obtenida en el paso anterior. Este método ha obtenido resultados prometedores. En esta tesis proponemos extender la funcionalidad del método actual de superposición cráneo-facial para desarrollar un procedimiento guiado por computador, más fiable y robusto. La primera etapa de la nueva propuesta amplía la reconstrucción 3D de cráneos existente considerando la simplificación de modelos 3D mediante algoritmos multi-objetivo. En este método, hemos adaptado dos algoritmos evolutivos multi-objetivo para trabajar con modelos 3D de alta precisión pero menor tamaño que los originales. Además, hemos evaluado la dispersión relacionada con la localización de los landmarks faciales en fotografías por parte de los expertos forenses. En la segunda etapa, hemos ampliado el método automático de solapamiento existente, modelando la relación espacial existente entre el hueso y el tejido blando, relativa al emparejamiento de los landmarks craneales y faciales correspondientes. Esta información está disponible en múltiples estudios antropométricos pero su naturaleza imprecisa ha provocado que no se haya considerado aún en métodos automáticos de solapamiento cráneo-cara. La tercera etapa incluye la creación de un ground truth utilizando modelos 3D del cráneo y de la cara de la misma persona viva así como fotografías de la cara. Esto permite, por primera vez, evaluar los métodos automáticos de superposición de manera cuantitativa y objetiva. El rendimiento de nuestra nueva propuesta ha sido analizado utilizando la base de casos ground truth diseñada, obteniendo muy buenos resultados.