Codificació de parells de bytes
La codificació de parells de bytes[1] o la codificació de digram[2] és una forma simple de compressió de senyes en la que el parell més comú de bytes consecutius de senyes es reemplaça en un byte que no ocorre dins d'eixes senyes. Es requerix una taula de tongades per a reconstruir les senyes originals. L'algoritme va ser descrit públicament per primera volta per Philip Gage en un artícul de febrer de 1994 "Un nou algoritme per a la compressió de senyes" en el C Users Journal.[3]
S'ha demostrat que una variant de la tècnica és útil en vàries aplicacions de processament de llenguage natural, com GPT, GPT-2 i GPT-3 de OpenAI.[4]
Eixemple de codificació de parell de bytes
[editar | editar còdic]Supongam que volem codificar les senyes
aaabdaaabac
El parell de bytes "aa" ocorre en major freqüència, per lo que serà reemplaçat per un byte que no s'usa en les senyes, "Z". Ara tenim les següents senyes i taula de tongada:
ZabdZabac Z = aa
Després repetim el procés en el parell de bytes "ab", reemplaçant-ho en I:
ZYdZYac I = ab Z = aa
Podríem detindre-nos ací, ya que l'únic parell de bytes lliteral que queda solament ocorre una volta. O podríem continuar el procés i usar codificació recursiva de parells de bytes, reemplaçant "ZY" en "X":
XdXac X = ZY I = ab Z = aa
Estes senyes no es poden comprimir encara més per mig de la codificació de parells de bytes perque no hi ha parells de bytes que es produïxen més d'una volta.
Per a descomprimir les senyes, simplement realise les tongades en l'orde invers.
Vore també
[editar | editar còdic]Referències
[editar | editar còdic]- ↑ Philip Gage, A New Algorithm for Data Compression. «Dr Dobbs Journal».
- ↑ Ian H. Witten, Alistair Moffat, and Timothy C. Bell. Managing Gigaoctets. New York: Van Nostrand Reinhold, 1994. ISBN 978-0-442-01863-4.
- ↑ «Byte Pair Encoding». Archivat des d'el original, el 26 de març de 2016.
- ↑ arXiv:2005.14165 [cs].
Referències
[editar | editar còdic]
- Este artícul conté una traducció derivada de «Codificación de pares de bytes» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.