Almagasén de senyes

En el context de l'informàtica, un almagasén de senyes o repositori de senyes (del anglés data warehouse) és una colecció de senyes orientada a un determinat àmbit (empresa, organisació, etc.), integrat, no volàtil i variable en el temps, que ajuda a la presa de decisions en l'entitat en la que s'utilisa. S'usa per a realisar informes (reports) i anàlisis de senyes^[1] i es considera un component fonamental de l'inteligència empresarial.^[2] Es tracta, sobretot, d'un expedient complet d'una organisació, més allà de l'informació transaccional i operacional, almagasenat en una base de senyes dissenyada per a favorir l'anàlisis i la divulgació eficient de senyes (especialment OLAP, processament analític en llínea). L'almagasenament de les senyes no deu usar-se en senyes d'us actual. Els almagasens de senyes contenen a sovint grans cantitats d'informació que es subdividen a voltes en unitats llògiques més menudes depenent de l'subsistema de l'entitat del que procedixquen o per al que siga necessari.

Definicions de repositori de senyes

Definició de Bill Inmon

Bill Inmon va ser un dels primers autors en escriure sobre el tema dels almagasens de senyes, definix un data warehouse (repositori de senyes) en térmens de les característiques del repositori de senyes:

Orientat a temes.- Les senyes en la base de senyes està organisats de manera que tots els elements de senyes relatives al mateix event o objecte del món real queden units entre sí.
Variant en el temps.- Els canvis produïts en les senyes a lo llarc del temps queden registrats per a que els informes que es puguen generar reflectixquen en eixes variacions.

No volàtil.- L'informació no es modifica ni s'elimina, una volta almagasenat una senya, este es convertix en informació de només llectura, i es manté per a futures consultes.
Integrat.- La base de senyes conté les senyes de tots els sistemes operacionals de l'organisació, i dits senyes deuen ser consistents.

Inmon defén una metodologia descendent (top-down) a l'hora de dissenyar un almagasén de senyes, ya que d'esta forma es consideraran millor totes les senyes corporatives. En esta metodologia els Data marts es crearan despuix d'haver terminat el data warehouse complet de l'organisació.

Definició de Ralph Kimball

Ralph Kimball és un atre conegut autor en el tema dels data warehouse, definix un almagasén de senyes com: "És un almagasén de senyes que extrau, neta, conforma i entrega una font de senyes dimensional per a la consulta i l'anàlisis".^[3] També va ser Kimball qui va determinar que un data warehouse no era més que: "l'unió de tots els Data marts d'una entitat". Defén per tant una metodologia ascendent (bottom-up) a l'hora de dissenyar un almagasén de senyes.

Una definició més àmplia

Les definicions anteriors se centren en les senyes en sí mateixos. No obstant, els mijos per a obtindre eixes senyes, per a extraure'ls, transformar-los i carregar-los, les tècniques per a analisar-los i generar informació, aixina com les diferents formes per a realisar la gestió de senyes són components essencials d'un almagasén de senyes. Moltes referències a un almagasén de senyes utilisen esta definició més àmplia. Per lo tant, en esta definició s'inclouen ferramentes per a extraure, transformar i carregar senyes, ferramentes per a l'anàlisis (inteligència empresarial) i ferramentes per a gestionar i recuperar els metadatos.

Funció d'un almagasén de senyes

En un almagasén de senyes lo que es vol és contindre senyes que són necessaris o útils per a una organisació, és dir, que s'utilisa com un repositori de senyes para posteriorment transformar-los en informació útil per a l'usuari. Un almagasén de senyes deu entregar l'informació correcta a la gent indicada en el moment òptim i en el format adequat. L'almagasén de senyes dona resposta a les necessitats d'usuaris experts, utilisant Sistemes de soport a decisions (DSS), Sistemes d'informació eixecutiva (EIS) o ferramentes per a fer consultes o informes. Els usuaris finals poden fer fàcilment consultes sobre els seus almagasens de senyes sense tocar o afectar l'operació del sistema.

En el funcionament d'un almagasén de senyes són molt importants les següents idees:

Integració de les senyes provinents de bases de senyes distribuïdes per les diferents unitats de l'organisació i que en freqüència tindran diferents estructures (fonts heterogénees). Es deu facilitar una descripció global i un anàlisis comprensiu de tota l'organisació en l'almagasén de senyes.
Separació de les senyes usades en operacions diàries de les senyes usades en l'almagasén de senyes per als propòsits de divulgació, d'ajuda en la presa de decisions, per a l'anàlisis i per a operacions de control. Abdós tipos de senyes no deuen coincidir en la mateixa base de senyes, ya que obedixen a objectius molt distints i podrien entorpir-se entre sí.
Fer anàlisis i informes sobre senyes estructurades i semiestructurados de vàries fonts, com a transaccions de punts de venda, automatisació de mercadotècnia, gestió de relacions en els clients (CRM) i molt més.

Periòdicament, s'importen senyes a l'almagasén de senyes dels distints sistemes de planejament de recursos de l'entitat (ERP) i d'atres sistemes de software relacionats en el negoci per a la transformació posterior. És pràctica comuna normalisar les senyes abans de combinar-los en l'almagasén de senyes per mig de ferramentes d'extracció, transformació i càrrega (ETL). Estes ferramentes lligen les senyes primàries (a sovint bases de senyes OLTP d'un negoci), realisen el procés de transformació a l'almagasén de senyes (filtració, adaptació, canvis de format, etc.) i escriuen en l'almagasén.

Data marts

Artícul principal → Data mart.

Els Data marts són subconjunts de senyes d'un data warehouse per a àrees específiques.

Entre les característiques d'un data mart destaquen:

Usuaris llimitats.
Àrea específica.
Té un propòsit específic.
Té una funció de respal.

Gavetes d'informació

Artícul principal → gaveta OLAP.

Les gavetes d'informació o gavetes OLAP funcionen com les gavetes de rompecabezas en els jocs, en el joc es tracta d'armar els colors i en el data warehouse es tracta d'organisar les senyes per taules o relacions; els primers (el joc) tenen tres dimensions, les gavetes OLAP tenen un número indefinit de dimensions, raó per la qual també reben el nom d'hipercubos. Un gaveta OLAP contindrà senyes d'una determinada variable que es desija analisar, proporcionant una vista llògica de les senyes proveïdes pel sistema d'informació cap al data warehouse, esta vista estarà disposta segons unes dimensions i podrà contindre informació calculada. L'anàlisis de les senyes està basat en les dimensions del hipercubo, per lo tant, es tracta d'un anàlisis multidimensional.

A l'informació d'una gaveta pot accedir l'eixecutiu per mig de "taules dinàmiques" en una hoja o a través de programes personalisats. Les taules dinàmiques li permeten manipular les vistes (creus, filtrats, organisació, totals) de l'informació en molta facilitat. Les diferents operacions que es poden realisar en gavetes d'informació es produïxen en molta rapidea. Duent estos conceptes a un data warehouse, est és una colecció de senyes que està formada per «dimensions» i «variables», entenent com a dimensions a aquells elements que participen en l'anàlisis i variables als valors que es desigen analisar.

Dimensions

Les dimensions d'una gaveta són atributs relatius a les variables, són les perspectives d'anàlisis de les variables (formen part de la taula de dimensions). Són catàlecs d'informació complementària necessària per a la presentació de les senyes als usuaris, com per eixemple: descripcions, noms, zones, rancs de temps, etc. És dir, l'informació general complementària a cada u dels registres de la taula de fets.

Variables

També anomenades “indicadors de gestió”, són les senyes que estan sent analisats. Formen part de la taula de fets. Més formalment, les variables representen algun aspecte quantificable o mesurable dels objectes o events a analisar. Normalment, les variables són representades per valors detallats i numèrics per a cada instància de l'objecte o event medit. En forma contrària, les dimensions són atributs relatius a les variables, i són utilisades per a indexar, ordenar, agrupar o abreviar els valors de les mateixes. Les dimensions posseïxen una granularidad menor, prenent com a valors un conjunt d'elements menor que el de les variables; eixemples de dimensions podrien ser: “productes”, “localitats” (o zones), “el temps” (medit en dies, hores, semanes, etc.), ...

Eixemples

Eixemples de variables podrien ser:

Beneficis
Despeses
Vendes

Eixemples de dimensions podrien ser:

producte diferents tipos o denominacions de productes
localitats o província, o regions, o zones geogràfiques
temps medit de diferents maneres, per hores, per dies, per mesos, per anys
tipo de client casat/fadrí, jove/adult/vell
colores d'una peça roig, blava, blanc

Segons lo anterior, podríem construir una gaveta d'informació sobre l'índex de vendes (variable a estudiar) en funció del producte venut, la província, el més de l'any i si el client està casat o fadrí (dimensions). Tindríem una gaveta de 4 dimensions.

Elements que integren un almagasén de senyes

Metadatos

Artícul principal → metadato.

Un dels components més importants de l'arquitectura d'un almagasén de senyes són els metadatos. Es definix comunament com "senyes sobre les senyes", en el sentit de que es tracta de senyes que descriuen quin és l'estructura de les senyes que es van a almagasenar i cóm es relacionen.

El metadato documenta, entre atres coses, quines taules existixen en una base de senyes, quines columnes posseïx cada una de les taules i quin tipo de senyes es poden almagasenar. Les senyes són d'interés per a l'usuari final, el metadato és d'interés per als programes que tenen que manejar estes senyes. No obstant, el rol que complix el metadato en un entorn d'almagasén de senyes és molt diferent al rol que complix en els ambients operacionals. En l'àmbit dels data warehouse el metadato juga un paper fonamental, la seua funció consistix en arreplegar totes les definicions de l'organisació i el concepte de les senyes en l'almagasén de senyes, deu contindre tota l'informació concernent a:

Taules
Columnes de taules
Relaciones entre taules
#Jerarquia i Dimensions de senyes
Entitats i Relacions

Funcions ETL

Els processos d'Extract, transform and lloeu (ETL)^[4] són importants ya que són la forma en que les senyes es guarden en un almagasén de senyes (o en qualsevol base de senyes). Impliquen les següents operacions:

Extracció. Acció d'obtindre l'informació desijada a partir de les senyes almagasenades en fonts externes.
Transformació. Qualsevol operació realisada sobre les senyes per a que puguen ser carregats en el data warehouse o es puguen migrar d'est a una atra base de senyes.
Càrrega. Consistix en almagasenar les senyes en la base de senyes final, per eixemple l'almagasén de senyes objectiu normal.

Middleware

Artícul principal → Middleware.

Middleware és un terme genèric que s'utilisa per a referir-se a tot tipo de software de conectivitat que oferix servicis o operacions que fan possible el funcionament d'aplicacions distribuïdes sobre plataformes heterogénees. Estos servicis funcionen com una capa d'abstracció de software distribuïda, que se situa entre les capes d'aplicacions i les capes inferiors (sistema operatiu i ret). El middleware pot vore's com una capa API, que servix com a base als programadors per a que puguen desenrollar aplicacions que treballen en diferents entorns sense preocupar-se dels protocols de ret i comunicacions en que s'eixecutaran. D'esta manera s'oferix una millor relació cost/rendiment que passa pel desenroll d'aplicacions més complexes, en menys temps.

La funció del middleware en el context dels data warehouse és la d'assegurar la conectivitat entre tots els components de l'arquitectura d'un almagasén de senyes.

Disseny d'un almagasén de senyes

Per a construir un Data Warehouse es necessiten ferramentes per a ajudar a la migració i a la transformació de les senyes cap a l'almagasén. Una volta construït, es requerixen mijos per a manejar grans volums d'informació. Es dissenya la seua arquitectura depenent de l'estructura interna de les senyes de l'almagasén i especialment del tipo de consultes a realisar. En este criteri les senyes deuen ser repartits entre numerosos data marts. Per a abordar un proyecte de data warehouse és necessari fer un estudi d'alguns temes generals de l'organisació o empresa, els quals es descriuen a continuació:

Situació actual de partida - Qualsevol solució proposta de data warehouse deu estar molt orientada per les necessitats del negoci i deu ser compatible en l'arquitectura tècnica existent i planejada de la companyia.

Tipo i característiques del negoci - És indispensable tindre el coneiximent exacte sobre el tipo de negocis de l'organisació i el soport que representa l'informació dins de tot el seu procés de presa de decisions.

Entorn tècnic - Es deu incloure tant l'aspecte del hardware (mainframes, servidors, rets) aixina com aplicacions i ferramentes. Es donarà émfasis als Sistemes de soport a decisions (DSS), si existixen en l'actualitat, cóm operen, etc.

Expectatives dels usuaris - Un proyecte de data warehouse no és únicament un proyecte tecnològic, és una forma de vida de les organisacions i com a tal, té que contar en el respal de tots els usuaris i el seu convenciment sobre la seua bondat.

Etapes de desenroll - En el coneiximent previ, ya s'entra en el desenroll d'un modele conceptual per a la construcció del data warehouse.

Prototip - Un prototip és un esforç designat a simular tant com siga possible el producte final que serà entregat als usuaris.

Pilote - El pilot d'un data warehouse és el primer, o cada u dels primers resultats generats de forma iterativa que es faran per a aplegar a la construcció del producte final desijat.

Prova del concepte tecnològic - És un pas opcional que es pot necessitar per a determinar si l'arquitectura especificada del data warehouse funcionarà finalment com s'espera.

Tipos per funcionalitat

Existix una classificació dels data warehouses que, pese a l'antiguetat de la seua publicació, conserva la seua vigència per la seua practicidad. Classifica els almagasens de senyes en tres categories diferenciades. La primera són els almagasens de senyes que realisen funcions com a localisació, extracció, transformació, neteja, transport i càrrega de les senyes en l'almagasén. La segona categoria és com a ferramenta de gestió de senyes: un motor de bases de senyes que almagasena i gestiona els data warehouses aixina com els metadatos. La tercera categoria és una ferramenta d'accés a senyes que proporciona als usuaris finals accessos per a l'anàlisis de les senyes; esta última categoria inclou generadors de consultes, visualisació, OLAP i mineria de senyes.

Almagasén de senyes espacial

Almagasén de senyes espacial és una colecció de senyes orientades al tema, integrats, no volàtils, variants en el temps i que afigen la geografia de les senyes, per a la presa de decisions. No obstant la component geogràfica no és una senya agregada, sino que és una dimensió o variable en la tecnologia de l'informació, de tal manera que permeta modelar tot el negoci com un ent holístico, i que a través de ferramentes de processament analític en llínea (OLAP), no solament es posseïxca un alt eixercite en consultes multidimensionales sino que adicionalment es puguen visualisar espacialmente els resultats.

L'almagasén de senyes espacial forma partix d'un extensiu Sistema d'Informació Geogràfica per a la presa de decisions, este de la mateixa manera que els SIG, permeten que un gran número d'usuaris accedixquen a informació integrada, a diferència d'un simple almagasén de senyes que està orientat al tema, el Data warehouse espacial adicionalment és Geo-Relacional, és dir que en estructures relacionals combina i integra les senyes espacials en les senyes descriptivos. Actualment és geo-objectes, açò és que els elements geogràfics es manifesten com a objectes en totes les seues propietats i comportaments, i que adicionalment estan almagasenats en una única base de senyes Objecte-Relacional.

Els Data Warehouse Espacials són aplicacions basades en un alt eixercite de les bases de senyes, que utilisen #arquitectura Client-Servidor per a integrar diverses senyes en temps real. Mentres els almagasens de senyes treballen en molts tipos i dimensions de senyes, molts dels quals no referencian ubicació espacial, a pesar de posseir-la intrínsecament, i sabent que un 80% de les senyes posseïxen representació i ubicació en l'espai, en els Data warehouse espacials, la variable geogràfica eixercita un paper important en la base d'informació per a la construcció de l'anàlisis, i d'igual manera que per a un Data warehouse, la variable temps és imprescindible en els anàlisis, per als Data warehouse espacials la variable geogràfica deu ser almagasenada directament en ella.

Ventages i inconvenients dels almagasens de senyes

Ventages

Hi ha moltes ventages per les que és recomanable usar un almagasén de senyes. Algunes d'elles són:

Els almagasens de senyes fan més fàcil l'accés a una gran varietat de senyes als usuaris finals
Faciliten el funcionament de les aplicacions dels sistemes de respal a la decisió tals com a informes de tendència, per eixemple: obtindre els ítems en la majoria de les vendes en un àrea en particular dins dels últims dos anys; informes d'excepció, informes que mostren els resultats reals front als objectius plantejats a priori.
Els almagasens de senyes poden treballar en conjunt i, per lo tant, aumentar el valor operacional de les aplicacions empresarials, en especial la gestió de relacions en clients.

Inconvenients

Utilisar almagasens de senyes també planteja alguns inconvenients, alguns d'ells són:

A lo llarc de la seua vida els almagasens de senyes poden supondre alts costs. L'almagasén de senyes no sol ser estàtic. Els costs de manteniment són elevats.
Els almagasens de senyes es poden quedar obsolets relativament pronte.
A voltes, davant una petició d'informació estos tornen una informació subóptima, que també supon una pèrdua per a l'organisació.
A sovint existix una prima llínea entre els almagasens de senyes i els sistemes operacionals. Cal determinar qué funcionalitats d'estos es poden aprofitar i quins es deuen implementar en el data warehouse, resultaria costós implementar operacions no necessàries o deixar d'implementar alguna que sí vaja a necessitar-se.

Vore també

Notes i referències

↑ Exploring Data Warehouses and Data Quality spotlessdata.com
↑ Dedić, N. and Stanier C., 2016., "An Evaluation of the Challenges of Multilingualism in Data Warehouse Development" in 18th International Conference on Enterprise Information Systems - ICEIS 2016, p. 196.
↑ Kimball, Ralph (2004). «1», The Data Warehouse ETL Toolkit (en en), Wiley, p. 23. ISBN 0-764-57923-1.
↑ What is Big Data?

Ganczarski, Joe. Data Warehouse Implementations: Critical Implementation Factors Study. VDM Verlag, 2009. ISBN 3-639-18589-7, ISBN 978-3-639-18589-8
Pyle, Dorian. Business Modeling and Data Mining. Morgan Kaufmann, 2003. ISBN 1-55860-653-X
¿Qué són els almagasens de senyes?. Recurs electrònic recuperat de: "https://cloud.google.com/learn/what-is-a-data-warehouse?hl=és"
Joyanes, Luis. Sistemes d'Informació en l'empresa. ALFAOMEGA, 2015. ISBN 9789587780024

Referències

Este artícul conté una traducció derivada de «Almacén de datos» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.

[1] Exploring Data Warehouses and Data Quality spotlessdata.com

[2] Dedić, N. and Stanier C., 2016., "An Evaluation of the Challenges of Multilingualism in Data Warehouse Development" in 18th International Conference on Enterprise Information Systems - ICEIS 2016, p. 196.

[3] Kimball, Ralph (2004). «1», The Data Warehouse ETL Toolkit (en en), Wiley, p. 23. ISBN 0-764-57923-1.

[4] What is Big Data?

[1]

[2]

[3]

[4]