MFCC

Els Mel Frequency Cepstral Coefficients (Coeficientes Cepstrales en les Freqüències de Mel) o MFCCs són coeficientes per a la representació del parla basats en la percepció auditiva humana. Estos sorgixen de la necessitat, en l'àrea del reconeiximent d'àudio automàtic, d'extraure característiques de les components d'una senyal d'àudio que siguen adequades per a l'identificació de contingut rellevant, aixina com obviar totes aquelles que posseïxquen informació poc valiosa com el soroll de fondo, emocions, volum, to, etc. i que no aporten res al procés de reconeiximent, al contrari, ho empobrixen.

Els MFCCs són una característica àmpliament usada en el reconeiximent automàtic del discurs o el locutor i varen ser introduïts per Davis i Mermelstein en els anys 80 i han segut l'estat de l'art des de llavors.

MFCCs es calculen comunament de la següent forma:

1. Separar la senyal en menuts trams.
2. A cada tram aplicar-li la Transformada de Fourier discreta i obtindre la potència espectral de la senyal.
3. Aplicar el banc de filtres corresponents a l'Escala Mel a l'espectre obtingut en el pas anterior i sumar les energies en cada u d'ells.
4. Prendre el logaritmo de totes les energies de cada freqüència mel.
5. Aplicar-li la transformada de coseno discreta a estos logaritmos.

Estos valors obtinguts són els coeficients que busquem. Encara que opcionalmente se li poden afegir atres valors com les deltes i/o els delta-deltes.

Explicació

El primer pas és conseqüència de que tota senyal d'àudio, gravada en condicions normals, canvia constantment en el temps, la qual cosa dificulta enormement l'extracció de característiques que la puguen diferenciar d'atres senyals o l'identifiquen com a similar a aquelles que clarament ho són per a un ser humà. Per açò i en l'objectiu de simplificar el seu tractament s'assumix que en menuts periodos de temps les seues característiques no canvien “molt” i, per tant, se li poden realisar tot un conjunt de processaments en l'objectiu d'extraure característiques “estàtiques” per a cada chicotet tram de la senyal. Les quals, en el seu conjunt, representarien a la senyal completa. Els passos que seguixen a continuació poden tindre dos interpretacions diferents, pero abdós vàlides: per mig de la tècnica de deconvolución i com una aplicació de filtres adaptats a les especificidad del discurs. Vejam cada una d'elles.

Tècnica de deconvolución

Per a entendre esta aproximació és necessari conéixer una miqueta de les bases del model de producció de sò en els humans i en gran part del regne animal. A dit model se li denomina en freqüència com: source-filter (font-filtrat).

1. Font: El sò que generem està íntimament relacionat en l'aire que expulsem des dels nostres pulmons. Si dit sò és no vocalisat, com la “s” o la “f” la Glotis s'obri i les cordes vocals es troben relaixades. Mentres que si el sò és vocalisat com la “a” o la “i”, llavors les cordes vocals vibren i la freqüència d'esta vibració es relaciona en el To (agut o greu). És per açò que al sò pur de lletres com a “s” o la “f” no podem donar-los tons greus o aguts sense abans incorporar-los el sò d'atres lletres sonores. Note's que el to no és lo mateix que l'amplitut o Intensitat de sò, que sí es troba present en abdós, puix es relaciona en la cantitat d'aire expelido.

1. Filtrat: Es podria dir que és en esta part del procés a on realment es genera el sò, ya que la gran varietat de sons que coneixem no seria possible si els òrguens del tracto vocal no li donaren “forma” a l'espectre del sò que prové dels nostres pulmons i que passa a través de la glotis. És per açò que devem posar la llengua, les dents o la boca de certes maneres específiques per a provocar certs sons específics.

Dit açò, és fàcil notar que el treball que devem realisar sobre la senyal deu anar encaminat a fer desaparéixer l'influència de la font. No obstant, açò és més complicat de lo que sembla, puix abdós senyals (la de la font i el filtrat) es troben en Convolución i formen la senyal que escoltem. Afortunadament, el Teorema de convolución planteja que si:

${\displaystyle }$ $h(t)=s(t)*f(t)$ ${\displaystyle }$

A on l'operació $*$ significa convolución; $h(t)$ és la senyal d'àudio que escoltem; $s(t)$ és la senyal de la font i $f(t)$ és la del filtrat. Llavors es complix:

${\displaystyle }$ $H(w)=S(w)F(w)$ ${\displaystyle }$

A on $H,$ $S$ i $F$ són les Transformades de Fourier de les funcions corresponents. Se li pot aplicar l'escala de Mel a $H(w)$ (per les mateixes raons que vorem durant la segona interpretació) i a continuació es du a logaritmo la funció anterior per a obtindre una relació entre la font i el filtrat més fàcil de desfer:

${\displaystyle }$ $log(H(w))=log(S(w))+log(F(w))$ ${\displaystyle }$

Si en este punt filtràrem les baixes freqüències corresponents a la font i seguidament apliquem la transformada de coseno discreta (DCT, per les seues sigles en anglés) o lo que és lo mateix, apliquem directament la DCT i descartem els seus térmens d'alta freqüència. Obtindríem la senyal (encara que devem recordar que no és exactament $f(t)$) del filtrat.

Filtres adaptats al discurs

Esta segona interpretació és molt més intuïtiva i antropomórfica que l'anterior, ya que la raó per la que primerament apliquem la Transformada de Fourier i després duem l'espectre a l'escala de Mel és per a concordar en l'orgue humà responsable de determinar la freqüència d'un sò: la Cóclea. No obstant, este orgue no és lo suficientment sensible com per a notar un creiximent llineal en les freqüències, sino que més be detecta regions de freqüència, les quals a la seua volta es van fent més grans a mida que la freqüència aumenta. O siga que posseïm més sensibilitat en determinar sons greus que aguts. En aplicar els filtres de Mel s'obtenen les energies de cada una d'estes regions en la senyal actual i, per tant, l'espectre de freqüències en el que el sistema està treballant és similar al dels humans en escoltar el mateix sò.

Ya que els humans tampoc escoltem l'intensitat d'un sò en un creiximent llineal, sino logarítmic (en Decibel), llavors es fa necessari aplicar-li el logaritmo a les energies abans obtingudes, puix estes són els valors de l'intensitat dels components de la senyal en freqüències en eixa regió.

Per últim, deu observar-se que en aplicar la DCT sobre esta funció, que dit siga de pas es troba en el domini de la freqüència, es realisa el procés invers a l'aplicat durant la transformació inicial, i s'obtindria la senyal original de no ser pels canvis que se li han fet a esta per a que se semble a lo que escoltem els humans. Aixina que en aplicar la DCT es pot pensar que els valors que s'obtenen serien els valors de la mateixa senyal, pero escoltats per un humà.

Solament queda una incògnita i és per qué aplicar la DCT en lloc de l'Inversa de la Transformada Discreta de Fourier. En este cas, per a abdós interpretacions la raó és enterament matemàtica, ya que la DCT posseïx característiques de compressió i decorrelación molt útils (vore la transformada de coseno discreta).

Delta i Delta-deltes

Encara que els MFCCs descriuen adequadament les característiques estàtiques de cada u dels menuts trams en que dividim la senyal. És indiscutible que esta també posseïx característiques dinàmiques de vital importància per a la detecció correcta del sò. Com, per eixemple, l'us d'una seqüència específica de fonema que servixen per a especificar una paraula donada. O inclús dins d'un mateix fonema hi ha canvis típics que de ser tinguts en conte poden millorar enormement la detecció del sistema.

És per açò que als vectores de coeficient MFCCs se'ls afig la velocitat a la que estos canvien entre els trams en que es va dividir la senyal, aixina com la seua acceleració. O siga, que si es té un vector de 12 MFCCs es terminaria en un de llongitut 36, ya que es adicionan 12 per a la velocitat i 12 més per a l'acceleració.