Visualizzazione post con etichetta qualità dei dati. Mostra tutti i post
Visualizzazione post con etichetta qualità dei dati. Mostra tutti i post

sabato 11 settembre 2010

Dati: troppi interni e pochi esterni

Pic by Nathan Wells

I primi sistemi di data warehouse, comparsi sul mercato a partire dagli anni '70, richiedevano notevoli risorse in termini di tempo ed elaborazione: far girare le query poteva richiedere giorni, se non addirittura settimane.
Oggi invece è possibile far girare query di piccola scala usando poco più di un data base, un laptop ed un foglio Excel.
Molte aziende, soprattutto di piccole dimensioni, gestiscono le proprie analisi di dati in questo modo.
Ma questo approccio fa fatica a crescre per supportare le aziende di più grandi dimensioni, e può creare reali difficoltà in aree come la gestione dei dati in aziende che hanno master data multipli.
Le aziende cominciano con una gestione semplice, e non c'è nulla di male, ma se marketing, finance e vendite hanno scorecard diverse, basate sui propri dati, si rischia di costruire una torre di Babele: non ci si capisce, è difficile integrare i dati.
Inoltre, anche se è cresciuta la capacità di elaborazione e si sono abbassati i prezzi dello storage, la crescita dei dati di business è ancora molto veloce. Si calcola che i volumi di dati si duplichino ogni 12 o 18 mesi.
Soprattutto le grandi organizzazioni stanno cominciando a scontrarsi con il tempo che si impiega a scaricare dati nei sistemi warehouse o di BI, specialmente se derivano da più fonti.
C'è troppa fiducia nei dati provenienti dai sistemi CRM o ERP: molte organizzazioni non utilizzano dati esterni, ma fanno affidamento solo sui dati provenienti dai propri sistemi informativi per risolvere problemi specifici. Il risultato è che i dati saranno buoni quanto lo sono le informazioni dei sistemi da cui provengono.
Prima di costruire sistemi di gestione di dati o di BI, bisogna lavorare sulla qualità dei dati.
Questi possono anche essere accurati ma parziali o fuorvianti, specialmente se originariamente raccolti per scopi diversi.
Le aziende devono decidere quali informazioni useranno ed essere chiare con se stesse riguardo la completezza dei propri set di dati. Se non lo fanno, i risultati potrebbero essere pessimi, soprattuo se non si ha la visione più ampia.
Sarebbe opportuno trovare il modo per estrarre le informazioni contenute in dati non strutturati, come email, presentazioni e documenti, video o telefonate registrate, per fornire una base per BI, e supportare una migliore presa di decisioni.
Il rapporto tra i dati strutturati e non è di 80/20. Questo significa che ci sono molti dati utili che non vengono presi in considerazione perché difficili da reperire.

Tratto da FT.com

lunedì 26 luglio 2010

La qualità dei dati


La qualità dei dati dovrebbe essere controllata fin da subito, prima di procedere con le altre fasi di analisi. E' possibile farlo in diversi modi, utilizzando vari tipi di analisi mirata come conteggi di frequenza, statistiche descrittive (come deviazione standard e media), normalità (come istogrammi di frequenza, analisi di probabilità), associazioni (come correlazioni e disperzione).

Per verificare i dati è possibile effettuare:
- un controllo sulla pulizia dei dati: la distribuzione delle variabili prima della pulizia dei dati si compara alla distribuzione delle variabili dopo la pulizia, per vedere se questa operazione ha avuto effetti non voluti sui dati;

- un'analisi delle osservazioni mancanti/perse: ci sono molti valori mancanti e sono questi ultimi casuali?
Le osservazioni mancanti sono analizzate per vedere se mancano più del 25% dei valori, se i dati vengono persi in maniera casuale e se è necessaria qualche forma di statistica;

- analisi delle osservazioni estreme: si analizzano le osservazioni più periferiche per vedere se disturbano la distribuzione;

- comparazione e correzione delle differenze negli schemi di codifica: le variabili sono comparate con gli schemi di codifica delle variabili esterne al set di dati, e vanno quindi possibilmente corrette se gli schemi di codifica non sono comparabili.

La scelta delle analisi per assicurarsi la qualità dei dati, che si svolgono durante la fase iniziale dell'analisi di dati, dipende dalle analisi vere e proprie che verranno condotte nella fase principale di analisi.
Related Posts with Thumbnails