Seguiment d'objectes

El seguiment d'objectes és el procés d'estimar en el temps l'ubicació d'un o més objectes mòvils per mig de l'us d'una cambra. La ràpida millora sobre calitat i resolució dels sensorés d'image, juntament en el dramàtic increment sobre la potència de càlcul en l'última década, ha favorit la creació de nous algoritmes i aplicacions per mig del seguiment d'objectes.

El seguiment d'objectes pot ser un procés llent per la gran cantitat de senyes que conté un video. Ademés, la possible necessitat d'utilisar tècniques de reconeiximent d'objectes per a realisar el seguiment incrementa la seua complexitat.

Disseny d'un seguidor d'objectes

Les cambres de video capturen informació sobre els objectes d'interés en forma de conjunt de píxelés. En modelar la relació entre l'aspecte de l'objecte d'interés i el valor dels píxels corresponents, un seguidor d'objectes valora l'ubicació d'este objecte en el temps. La relació entre l'objecte i la proyecció de la seua image és molt complexa i pot dependre de més factors que no siguen solament la posició de l'objecte, lo que implica que el seguiment d'objectes siga una tasca difícil.

Els principals reptes que cal tindre en conte en el disseny d'un seguidor d'objectes estan relacionats en la similitut d'aspecte entre l'objecte d'interés i el restant d'objectes en l'escena, aixina com la variació d'aspecte del propi objecte. Ya que l'aspecte tant del restant d'objectes com el fondo pot ser similar al de l'objecte d'interés, açò pot interferir en la seua observació. En eixe cas, les característiques extretes d'eixes àrees no desijades pot ser difícil de diferenciar de les que s'espera que l'objecte d'interés genere. Este fenomen es coneix en el nom de clutter.

Dificultats del seguiment

Ademés del repte de seguiment que causa el clutter, els canvis d'aspecte de l'objecte en el pla de l'image dificulta el seguiment causat per un o més dels següents factors següents:

• Canvis de posició. L'objecte mòvil d'interés vària el seu aspecte quan es proyecta sobre el pla de l'image, per eixemple, en girar.
• Allumenament ambiente. La direcció, l'intensitat i el color de la llum d'ambient influïxen en l'aspecte de l'objecte d'interés. Aixina mateix, els canvis en l'allumenament global són en freqüència un repte en les escenes a l'aire lliure.
• Soroll. El procés d'adquisició d'imàgens introduïx en la senyal de l'image un cert grau de soroll que depén de la calitat del sensor. Les observacions de l'objecte d'interés poden danyar-se i per tant afectar al rendiment del seguidor.
• Oclusió. Pot ser que un objecte d'interés no s'observe ben quan siga parcial o totalment tapat per atres objectes en l'escena. Les oclusió són generalment degudes a:
  • Un objecte d'interés que es mou darrere d'un objecte estàtic, com per eixemple una columna.
  • Atres objectes que es mouen en l'escena de manera que entorpixen la visió d'un objecte d'interés.

Representació de l'objecte

En un escenari de seguiment, un objecte es pot definir com qualsevol cosa que siga d'interés per al seu posterior anàlisis. Els objectes es poden representar per mig de les seues formes i apariències. A continuació es descriuen les representacions de forma de l'objecte utilisades generalment:

• Punts. L'objecte està representat per un punt, és dir, per un centroide o per un conjunt de punts. En general, la representació de punts és adequada per al seguiment d'objectes que ocupen chicotetes regions en una image.
• Formes geomètriques primitives. La forma de l'objecte es representa en un rectàngul, una elipse, etc. El moviment d'estes representacions és generalment modelada per la translació, afinitat o la transformació proyectiva (homografia). Encara que les formes geomètriques primitives són més adequades per a la representació d'objectes rígits simples, també s'utilisa per al seguiment d'objectes no rígits.
• Silueta de l'objecte i contorn. La representació del contorn definix el llímit d'un objecte. La regió dins del contorn es coneix com la silueta de l'objecte. Estes representacions són adequades per al seguiment de formes complexes no rígides.

• Models articulats de forma. Els objectes articulats estan formats per parts del cos que estan unides per articulacions. Per eixemple, el cos humà és un objecte articulat pel tors, cames, mans, cap i peus units per articulacions. La relació entre estes parts es rig pels models del moviment cinemàtic. Per a representar un objecte articulat, es pot modelar els components utilisant cilindres o elipses.
• Models esquelètics. L'esquelet de l'objecte es pot extraure per mig de la transformació del eix mig de la silueta de l'objecte. La representació de l'esquelet es pot utilisar per a modelar objectes articulats i rígits.

També hi ha vàries maneres de representar les característiques d'aspecte dels objectes. Cal tindre en conte que les representacions de forma també es poden combinar en les d'aspecte per a portar a terme el seguiment. Algunes de les representacions d'aspecte més comuns són:

• La densitat de provabilitat de l'aspecte dels objectes. Les estimacions de densitat de provabilitat de l'aspecte dels objectes poden ser paramètriques o no paramètriques. Esta densitat de provabilitat (color, textura) es pot calcular a partir de les regions de l'image especificada pels models de forma (regió interior d'una elipse o un contorn).
• Plantilles. Les plantilles estan formades en formes geomètriques simples o siluetes. Una de les ventages de les plantilles és que aporta tant l'informació espacial com la d'aspecte. Les plantilles, no obstant, solament codifiquen l'aspecte dels objectes generats a partir d'una única vista. Per tant, solament són adequades per a seguir objectes a on les posicions no varien considerablement al llarc del seguiment.
• Models actius d'aspecte. Els models actius d'aspecte es generen per mig de la modelació simultànea de la forma de l'objecte i el seu aspecte. En general, la forma de l'objecte es definix per un conjunt de punts de referència. Similar a la representació basada en el contorn, els punts de referència poden residir en la frontera de l'objecte o, alternativament, poden residir dins de la regió d'este. Per cada punt de referència es guarda un vector d'aspecte en forma de color, textura o magnitut del gradient. Els models actius d'aspecte requerixen una fase d'entrenament a on tant la forma com el seu aspecte associats es coneixen a partir d'un conjunt de mostres.
• Models d'aspecte multivista. Estos models codifiquen diferents punts de vista d'un objecte. Un método per a representar els diferents punts de vista d'un objecte és generar un subespacio de les proyeccions que s'han donat.

Selecció de característiques

Seleccionar les característiques adequades té un paper fonamental en el seguiment. En general, la característica visual més desijada és la singularitat perque els objectes es poden distinguir fàcilment en l'espai de característiques. Els detalls de les característiques més comunes són els següents:

• Color: En el processament d'imàgens s'utilisa normalment l'espai de color RGB (roig, vert i blau) per a representar esta característica. A pesar d'això, l'espai RGB no és un espai de color percentualmente uniforme, i per tant s'han utilisat una gran varietat d'espais de color en el seguiment. El color aparent d'un objecte es veu influenciat principalment per dos factors físics:
  • La distribució d'energia espectral de la font.
  • Les propietats d'reflectancia de la superfície de l'objecte.
• Màrgens. Els llímits dels objectes solen generar forts canvis en l'intensitat de l'image. La detecció de màrgens s'utilisa per a identificar dits canvis. Una propietat important dels màrgens és que són menys sensibles als canvis d'allumenament en comparació a les característiques de color. Els algoritmes que fan un seguiment dels llímits dels objectes solen utilisar els màrgens com a característiques representativa.

• Fluix òptic. EL fluix òptic és un camp dens de desplaçament de vectores que definix la translació de cada píxel en una regió. Es calcula per mig de la restricció de lluentor constant i s'utilisa generalment com a característica de la segmentación basada en moviment, aixina com en aplicacions de seguiment.
• Textura. La textura és una mida de la variació d'intensitat d'una superfície que quantifica les propietats com per eixemple la suavitat i la regularitat. En comparació al color, la textura requerix una etapa de processament per a generar els descriptores. Similars a les característiques de llímits, les característiques de textura són menys sensibles als canvis d'allumenament en comparació al color.

Detecció de l'image

Eixemple de detecció de cares.

Cada método de seguiment requerix un mecanisme de detecció d'objectes, ya siga en cada fotograma o quan el primer objecte apareix en el vídeo. Un método comú per a la detecció d'objectes és l'us de l'informació d'un sol fotograma. No obstant, alguns métodos de detecció d'objectes fan us de l'informació temporal calculada a partir d'una seqüència d'imàgens per a reduir aixina el número de falses deteccions. Esta informació temporal es calcula generalment en la tècnica frame differencing, que posa de manifest les regions canviants en trams consecutius. Una volta es té en conte les regions de l'objecte en l'image, és llavors tasca del seguidor de realisar la correspondència d'objecte d'un fotograma a un atre per a generar el seguiment. Els métodos més populars en el context del seguiment d'objectes són:

• Els detectors de punts.
• La substracció del fondo.
• La segmentación.

Detectors de punts

Els detectors de punts s'utilisen per a trobar els punts d'interés en imàgens que tenen una textura expressiva en les seues respectives localitats. Els punts d'interés s'han utilisat durant molt temps en el context del moviment i en els problemes de seguiment. Una característica desijable sobre els punts d'interés és el seu invariación en els canvis d'allumenament i en el punt de vista de la cambra.

Substracció del fondo

La detecció d'objectes es pot conseguir per mig de la construcció d'una representació de l'escena anomenada model de fondo i despuix trobant les desviacions del model per a cada fotograma entrante. Qualsevol canvi significatiu en una regió de l'image del model de fondo representa un objecte en moviment. Els píxels que constituïxen les regions en procés de canvi es marquen per al seu posterior processament. En general, un algoritme de components conectats s'aplica per a obtindre regions conectades que corresponen als objectes. Este procés es coneix com la substracció de fondo.

Segmentación

Classificació de les tècniques de segmentación d'un objecte.

L'objectiu dels algoritmes de segmentación de l'image és dividir l'image en regions perceptualmente similars. Cada algoritme de segmentación comprén dos problemes, els criteris per a una bona partició i el método per a conseguir la partició eficient. Existixen diferents tècniques de segmentación d'objectes en moviment que es poden separar en dos grans grups: les basades en moviments i les basades en característiques espaciotemporales.

Tècniques basades en moviment

Estes tècniques fan us principalment de l'informació de moviment. Dins d'este grup podem diferenciar dos tipos: els que treballen en el moviment en dos dimensions (2D) i els que ho fan en tres (3D). Dins de les tècniques en dos dimensions trobem:

• Tècniques basades en les discontinuïtats del fluix òptic. Esta tècnica realisa la segmentación basada en el desplaçament o en el fluix òptic. Este desplaçament o fluix òptic d'un píxel és un vector de moviment que representa el moviment entre el píxel en una image i el píxel corresponent en la següent image.

• Tècniques basades en la detecció de canvis. El principal objectiu d'estos algoritmes és la detecció dels píxels de l'objecte i els píxels de fondo. Els algoritmes de detecció assumixen que el fondo és normalment estacionario i té un moviment simple global i que ademés els canvis entre imàgens consecutives són deguts al moviment.

Els models de moviment en 2D són simples, pero menys realistes. Com a conseqüència, els sistemes de segmentación en 3D són els més utilisats en la pràctica. Dins dels métodos en tres dimensions es poden distinguir dos algoritmes diferents:

• Estructura a partir del moviment, cridats SFM (Structure from motion).
• Algoritmes paramètrics.

El SFM generalment maneja escenes 3D que contenen informació rellevant de profunditat, mentres que en els métodos paramètrics no s'assumix esta profunditat. Una atra diferència important entre els dos algoritmes és que en el SFM s'assumix un moviment rígit, mentres que en els algoritmes paramètrics solament s'assumix rigidea de moviment en parts de l'escena.

Tècniques espaciotemporales

Els métodos de segmentación basats únicament en moviment són sensibles a les inexactitudes de la valoració de moviment. Per a solucionar estos problemes, en els métodos espaciotemporales es propon complementar el moviment per mig de l'us de l'informació espacial. Hi ha dos enfocaments dominants:

• Basats en llímits. Estos métodos es basen en l'extracció de màrgens molt prominents per a segmentar els objectes d'interés. Les característiques dels màrgens també s'han utilisat en el context de models actius de contorn.
• Basats en regions. Esta tècnica se centra en un conjunt de regions o particions inicials generalment definides en característiques espacials o espaciotemporales. L'objectiu d'esta partició és proporcionar un soport major sobre el qual es derivarà el moviment. Utilisant l'informació de tota la regió, el moviment s'utilisa per a guiar el procés de segmentación.

Tècniques de seguiment d'objectes

El seguiment d'objectes és una tasca molt important dins del camp del processat de vídeo. L'objectiu principal de les tècniques de seguiment d'objectes és generar la trayectòria d'un objecte a través del temps, posicionant este dins de l'image. Podem fer una classificació de tècniques segons tres grans grups: seguiment de punts, seguiment de núcleu (kernel) i seguiment de siluetes.

Esquema de les diverses tècniques utilisades per a realisar el seguiment d'objectes.

Tècniques de seguiment de punts

Els objectes detectats en imàgens consecutives estan representats cada u per un o varis punts i l'associació d'estos està basada en l'estat de l'objecte en l'image anterior, que pot incloure posició i moviment. Es requerix d'un mecanisme extern que detecte els objectes de cada fotograma. Esta tècnica pot presentar problemes en escenaris a on li objecte presenta oclusió i en les entrades i eixides d'estos. Les tècniques de seguiment de punts es poden classificar també en dos grans categories:

• Determinista. Determinen el cost de correspondència a través d'una predicció futura del comportament de l'objecte a partir de l'anterior. Este cost es definix normalment com una combinació de les següents restriccions:
  • Proximitat.
  • Velocitat màxima.
  • Canvis de velocitat menuts.
  • Moviment comú.
  • Rigidea.
  • Uniformitat per proximitat.
• Estadístics. Estos métodos solucionen els problemes de seguiment considerant les observacions i les incertituts del model per a la valoració de l'estat de l'objecte que s'està seguint. Utilisen l'espai d'estats per a modelar les propietats de l'objecte tals com la posició, la velocitat i l'acceleració. Les observacions consistixen normalment en la posició de l'objecte dins de l'image, que s'obté per mig de mecanismes de detecció. Alguns dels métodos utilisats són:
  • Filtre de Kalman.
  • Filtre de partícules.
  • Filtre per a la provabilitat conjunta de les senyes
  • Seguiment de múltiples hipòtesis.

Tècniques de seguiment del núcleu (kernel)

Les tècniques de seguiment del núcleu realisen un càlcul del moviment de l'objecte, el qual està representat per una regió inicial, d'una image a la següent. El moviment de l'objecte s'expressa en general en forma de moviment paramètric (translació, rotació, afí...) o per mig del camp de fluix calculat en els següents fotogrames. Podem distinguir dos categories:

• Seguiment utilisant plantilles i models d'apariència basats en densitat de provabilitat. El método que més s'utilisa en esta categoria és el cridat template matching.
• Seguiment basat en models multivista. S'utilisa quan l'aspecte de l'objecte canvia dràsticament i com a conseqüència es pert el seguiment d'este objecte.

Tècniques de seguiment de siluetes

Estes tècniques es realisen per mig de la valoració de la regió de l'objecte en cada image utilisant l'informació que conté. Esta informació pot ser en forma de densitat d'aspecte o de models de manera que són generalment presentats en mapes de màrgens. Dispon de dos métodos:

• Correspondència de forma. Es busca la silueta de l'objecte i el seu model associat dins de l'image actual.
• Seguiment del contorn. Evolucionen un contorn inicial en un fotograma anterior a la nova posició en el fotograma actual.

Aplicacions

El seguiment d'objectes d'interés en vídeo és la base de moltes aplicacions que van des de la producció de vídeo fins a la vigilància remota, i des de la robòtica fins als jocs interactius. Els seguidors d'objectes s'utilisen per a millorar la comprensió de certs conjunts de senyes de vídeo d'aplicacions mèdiques i de seguritat; per a aumentar la productivitat en reduir la cantitat de mà d'obra que és necessària per a completar una tasca i parell donar lloc a l'interacció natural en màquines.

• Mijos de comunicació i realitat aumentada. El seguiment d'objectes és un element important en la posproducción i captura de moviment per a les indústries del cine i la televisió.
• Aplicacions mèdiques i investigació biològica. En general, el seguiment d'objectes ha segut cada volta més utilisat per sistemes mèdics per a ajuda en el diagnòstic i accelerar la tasca del cirugià. El seguiment d'objectes pot estimar la posició de determinats teixits blans o d'instruments com per eixemple agulles durant al cirugia.
• Vigilància i inteligència de negocis. El seguiment d'objectes és una ferramenta adequada, utilisada en la vigilància automàtica de vídeo per a la seguritat, la vida assistida i les aplicacions d'inteligència de negoci.
• Tele-colaboració i jocs interactius. Les cambres web estàndar ya inclouen el software de seguiment que localisa i seguix la cara d'un usuari per a videoconferències des de l'escritori. Per un atre costat, el seguiment d'ulls s'utilisa per a estimar el contacte visual entre els assistents d'una reunió i aixina millorar l'eficàcia de l'interacció en videoconferències. El seguiment d'objectes també està canviant la manera d'enviar el control a les màquines. Esta modalitat d'interacció natural s'utilisa en jocs interactius.
• Instalacions de llaure i espectàculs. El seguiment d'objectes s'utilisa cada volta més en instalacions d'art i en actuacions a on l'interacció és possible gràcies a l'us de cambres de vídeo i a sovint pels sistemes de proyecció. La interactividad pot ser utilisada per a millorar la narrativa d'una obra o per a crear accions inesperades o reaccions de l'entorn.

Vore també

• Seguiment de cares
• Eye tracking

Bibliografia

• D. Zhang and G. Lu (2001). Segmentation of moving objects in image sequence: A review. Circuits, Systems and Signal Process. vol. 20, no. 2, pp. 143-183, 2001.
• A. Yilmaz. Object Tracking by Asymmetric Kernel Pixen Shift with Automatic Scale and Orientation Selection. Computer Vision and Pattern Recognition, 2007. CVPR'07. IEEE Conference on. 2007.
• A. Yilmaz, O. Javed, and M. Shah, 2006. Object tracking: A survey. ACM Comput. Surv. 38, 4, Article 13

(Dec. 2006)