Li, Liyuan (2002): Integrating Intensity and Texture Differences for Robust Change Detection

Este método de detección de objetos en movimiento se basa la integración de diferencia de intensidades (imágenes en escala de grises) y textura entre distintas tomas. 

Este método obtiene sus medidas de diferencia de texturas basada en la relación entre los vectores gradientes. El vector gradiente proporcina un gran soporte tanto para ruido como para cambios e iluminación.

• Un gradiente no es más que un vector de cambio que permite determinar si el cambio de intensidades entre dos pixeles. Si el cambio es demasiado brusco, se dice que se ha hallado un borde en esa región, de lo contrario pertecenen a la misma.
• Generalmente son usados los filtros de Prewitt o Sobel para determinar el cambio que ha sucedido.
• Se calcula un gradiente para X y un gradiente para Y. La imagen resultante debe ser calculada como la magnitud de los gradientes proporcionados en X y Y para la imagen original.

Este algoritmo permite la integración de intensidad y textura tiene dos modos:

• Combina las dos medidas adaptativamente de acuerdo a la evidencia de textura
  
• Lo hace como el anterior pero con restricciones de suavidad
  

Este algoritmo puede correr en tiempo real debido a la complejidad del algoritmo.

Utilizando Intensidad y Diferencias de Textura Usando slo Diferencia de Intensidad o de Estructuras por si sola.

Muchos métodos basan su segmentación en la detección de cambios, las cuales pueden ser clasificadas en:

• Métodos basados en pixeles
  
• Métodos basados en regiones
  

 Una de las técnicas más sencillas es la de thresholding para dos pixeles.

Métodos más robustos seleccionan un threshold adaptativamente basados en la estimación de diferencias de la foto o thresholds en cada pixel en la distribución de escala de gris de los puntos de fondo.

Detecciones de cambio en un pixel requieren menos costo computacional dado que solo se considera un pixel, pero es muy sensible a ruido.

Para hacer más robusto la detección de cambio las características de intensidad de regiones en la misma localización en dos imágenes son comparadas usando enfoque estadísticos. Aquí se busca revisar si la estadística de dos regiones corresponden a una misma distribución de intensidades. Se puede tomar un radio de similaridad, pero el desempeño del radio puede ser mejorado usando superficies cuadráticas para aproximar los valores de intensidades pertenecientes a ciertas regiones.

Usando distribuciones de intensidades tiene buen soporte para el ruido, pero son sensibles a los cambios de iluminación. Es por eso que se proponen estadisticas independientes de la iluminación basadas en regiones.

Cuando una región tiene estadísticas de cambio diferentes a las que sufre toda la imagen, entonces significa que se ha encontrado un objeto. Por ejemplo: si se produce un cambio de brillo en la imagen causará un cambio en todos los valores de la imagen y sus estadísticas, pero si se encuentra un cambio brusco en solo una región de la imagen entonces ha encontrado un objeto que alteró la imagen en cierta región.

El método para determinar un cambio de iluminación en la imagen se logra calculando un incremento de intensidades de brillo en toda la imagen,   pero un cambio en la superficie física de la región hará que las intensidades de los radios varien inconsistentemente.

Sin embargo, todos los métodos emplean un radio de intensidades o sumas de intensidades para describir características estructurales de una región, lo que su desempeño es pobre sobre regiones oscuras en imágenes debido a que el radio se vuelve insignificante para estas regiones.

La robustez de las medidas de diferencia basadas en regiones se centra en representaciones disimilares de diferentes características estructurales locales. Las texturas de fondo se mantienen relativamente estables con respecto a cambios de ruido e iluminación a menos a que es cubierta de objetos en movimiento o abruptos cambios de luz. Por otro lado, un cambio en el fondo que es cubierto por un objeto en movimiento, pese a que las distribuciones de primer plano y el fondo sean similares, las características de textura de las dos regiones son usualmente diferentes.

Medida de Diferencia de Textura

La textura puede ser modelada como un espectro de poder de Fourier, matríz de co-ocurrencia, campos aleatorios de Markov y filtros de Gabor. Algunos métodos agregan pixeles basados en similitudes de estructuras locales en una vecindad,  las cuales se obtienen de estadísticas de arreglos de niveles de gris de características de espectro sobre grandes números de muestras

En este artículo se menciona que los gradientes son invariantes a la intensidad de luz, pudiendo soportar cambios en la intensidad de luz desde 26.8% hasta 373.2% de la intensidad original.

Haciendo un modelado de ruido gaussiano se puede demostrar que pese a que exista este en la imagen no altera significativamente, pero en este caso no es válido clasificar un punto de acuerdo a una diferencia local del gradiente. Por esto, un peso validado para el gradiente se calcula.

Integración de Textura y Diferencia de Intensidades

Para poder integrar textura e intensidades se requiere una normalización de medidas de diferencia de textura; para normalizarse se requiere de una difusión de dos tipos de diferentes medidas.

El ruido se modela como una gaussiana y se usa el método de Least Median of Squares. Calculando para cada pixel el cambio de iluminación de cada pixel se pueden controlar los cambios para toda la imagen.

El método de LMedS permite eliminar outliers dado que si aparecen cambios de iluminación en la imagen grandes, se verá reflejado como un cambio en las medias de brillo.

Integración Ponderada

Dado ruido y cambios de iluminación, la diferencia de textura es considerada más confiable que la diferencia de intensidades.

Integración de Energía Minimizada

Este método es robusto y soporta errores de ruido y niveles de detección. A través de minimizar el error de energía, se puede obtener una segmentación que tenga:

• Convergencia rápida pero superficies muy rugosas
  
• Convergencia lente pero superficies suaves

Resultados Experimentales

Se comparó el trabajo de segmentación con los métodos: diferencia adaptativa de intensidades basado en pixeles y el método basado en regiones SM.

Cuantitativamente se hizo una comparación con respecto a las regiones que se perdían de los pixeles y los pixeles que eran considerados como parte del objeto y en realidad no eran así, obteniendo muy buenos resultados en la segmentación obtenida.

En las imágenes de prueba se puede ver:

a) Fondo inicial

b) Resultados del método

c) Resultados de AID

d) Resultados de SM

e) Resultados de WI

f) Resultados de MWI

g) Resultados de MEI

Imagen 1

 Tabla 1

Imagen 2

Tabla 2

Hinz, Stefan: Detection and Counting of Cars in Aerial Images

Este paper permite el conteo de automóviles desde imágenes aéreas por medio de una comparación en base a un modelo jerárquico 3D que permite identificar figuras geométricas representativas del auto a diferentes escalas de detalle. Color del auto, del parabrisas y de la sombra del mismo se consideran como características radiométricas.

Con respecto a los modelos basados en apariencia se trabajan dos grandes clasificaciones:

• Modelo implícito

Se crea por medio de imágenes de ejemplos de autos, los cuales tienen textura o un valor en escala de grises y proporcionan estadísticas que conforman vectores. Ya que son obtenidos los vectores, se buscan en todas las regiones de la imagen para compararlas con las de los modelos y así ubicarlos.

• Modelo explícito

Se cuenta con un modelo 2D o 3D como puede ser una caja o un armazón del automóvil y se compara en la imagen para indicar que el auto se encuentra en la escena.

El documento propone hacer uso de un modelo explícito dado que cuando se realiza la búsqueda de características y vectores estadísticos, muchas veces las estadísticas pueden ser confundidas debido a cambios de luz dentro de la escena. Más complejo aún es que necesita de datos de entrenamiento para poder realizar la búsqueda, lo que implica que probablemente imágenes futuras no tengan la misma forma que el modelo estadístico establecido en primer instancia.

También es propuesto que dado que los automóviles son pequeños se requiere de un modelo bien detallado para evitar que haya confusiones con objetos similares.


Lo que se hace es realizar una obtención de ciertos descriptores que ayudan a comparar el objeto dentro de la imagen con los modelos que se encuentran definidos. Uno de los parámetros que podemos encontrar es la obtención de distancias (ancho, largo del auto).Las distancias son obtenidas por medio de las sombras que proyecta el automóvil y por el color opaco que sobresale del parabrisas cuando el automóvil es de color claro.

La propuesta que hace este algoritmo es que es adaptativo a ciertas condiciones. Por ejemplo, si queremos identificar en donde es que termina el toldo del auto encontrando donde es que inicia el parabrisas, puede presentarse un problema cuando un automóvil es oscuro. Sin embargo, tenemos entendido de imágenes claras cual es la dirección del Sol (debido a la sombra proyectada), por lo que es más fácil poder identificar ciertos parámetros.

Aunque se cuenta con la característica de dirección de la sombra, el detectar un auto en específico requeriría de que el sistema tuviera identificados muchos modelos. Para evitar esto, se plantea un modelo jerárquico de automóviles.

Este modelo jerárquico representa a un automóvil de acuerdo al modelo con el que guarda mayor parecido. De esta forma se pueden identificar diferentes tipos de automóviles.

Modelo jerárquico del automóvil

Para detectar el automóvil se usa una búsqueda del modelo a lo largo de toda la imagen. Esto se hace debido a que es más fácil hallar todo un modelo bien estructurado que a encontrar ciertas características que pudieran darnos pista de nuestro objeto. Además, poder hallar características de un auto es muy dificil debido a las irregularidades que estos pueden tener.


Pasos del algoritmo para detección

• Hallar los pixeles del borde y calcular la dirección del borde
• Proyectar el modelo en la dirección que tiene el borde
• Medir color en la región de piso
• Adaptar el modelo de cada característica dependiendo de la posición, orientación, color y dirección del sol
• Medir craacterísticas de la imagen: amplitud de los bordes, soporte de cada modelo de bordes, dirección del modelo, color, oscuridad de sombras
• Calcular el parecido comparando valores medidos con los esperados
• Decidir si es un auto o no

Entre las mejoras hechas al algoritmo se encuentran

• Almacenar los modelos en una base de datos dado que la dirección del sol casi no varía
• Se elimina el ruido y se proyecta el modelo solo si no ha pasado un umbral si se ha eliminado ruido.
• Limita los cálculos a cierto número de iteraciones
• Restringe las áreas de búsqueda de automóviles

Resultados

• Se puede ver que con imágenes de alta resolución y sin ninguna preclasificación manual se pudo llevar a cabo la identificación de los automóviles.

• Casi todos los autos de pasajeros se detectaro pero no fue así para todas las vans o camiones pequeños debido a que su forma no era muy similar a la de los modelos.

• Algunas sombras de edificios causaron confusión en el algoritmo, por lo que es necesario definir las regiones donde se ve que las sombras de los edificios pueden afectar la iluminación de una carretera

Texturas estacionarias y no estacionarias

-->

Las imágenes con TEXTURAS ESTACIONARIAS son aquellas que contienen un solo tipo de textura; por ejemplo, que la misma textura se encuentre en toda la imagen y, por lo tanto, las propiedades estadísticas locales sean las mismas en cualquier parte de la imagen.

Uno de los problemas que se tratan de resolver es la CLASIFICACIÓN POR TEXTURA: uno trata de identificar algunos números llamados características de textura, los cuales capturan las características de una textura en particular y puedan ser utilizados para identificar la textura, incluso cuando la textura en una imagen no ha sido vista anteriormente.

La aplicación de esto es por ejemplo un catálogo de texturas (por ejemplo una base de datos de imágenes de referencia). Cada textura en la base de datos está caracterizada por un conjunto de parámetros: las características de las texturas. Cuando una nueva imagen con textura es analizada, se pueden calcular las mismas características de ella y, por medio de comparación con los valores de las características en la base de datos, trata de reconocer la textura desconocida.

• Morfología matemática
• Fractales
• Campos aleatorios de Markov (Markov Random Fields: MRF)
• Distribuciones de Gibbs
• La función de autocorrelación
• Descriptores basados en Fourier
• Matrices de Co-ocurrencia

Imágenes de TEXTURAS NO ESTACIONARIAS, en contraste con las texturas estacionarias, contiene más de un tipo de textura en ella. El problema que se debe de abordar en este caso es la segmentación basada en textura. Por ejemplo, la división de la imagen en regiones en la que cada una de estás está ocupada por un sólo tipo de textura.

Los métodos utilizados anteriormente son globales asumiendo que toda la imagen está ocupada por un solo tipo de textura. Algunos de esos métodos pueden ser aplicados localmente, tratando a cada uno de esos segmentos de la imagen como una imagen aparte (y con una supuesta textura uniforme).

De esta manera, al separar las áreas de cada textura, puede ser aplicada la metodología para las texturas estacionarias.

Maria Petrou, Image Processiong: Dealing with Texture, John Wiley & Sons. (2006), p. 81.