La qualità dei dati

La qualità dei dati dovrebbe essere controllata fin da subito, prima di procedere con le altre fasi di analisi. E' possibile farlo in diversi modi, utilizzando vari tipi di analisi mirata come conteggi di frequenza, statistiche descrittive (come deviazione standard e media), normalità (come istogrammi di frequenza, analisi di probabilità), associazioni (come correlazioni e disperzione).

Per verificare i dati è possibile effettuare:
- un controllo sulla pulizia dei dati: la distribuzione delle variabili prima della pulizia dei dati si compara alla distribuzione delle variabili dopo la pulizia, per vedere se questa operazione ha avuto effetti non voluti sui dati;

- un'analisi delle osservazioni mancanti/perse: ci sono molti valori mancanti e sono questi ultimi casuali?
Le osservazioni mancanti sono analizzate per vedere se mancano più del 25% dei valori, se i dati vengono persi in maniera casuale e se è necessaria qualche forma di statistica;

- analisi delle osservazioni estreme: si analizzano le osservazioni più periferiche per vedere se disturbano la distribuzione;

- comparazione e correzione delle differenze negli schemi di codifica: le variabili sono comparate con gli schemi di codifica delle variabili esterne al set di dati, e vanno quindi possibilmente corrette se gli schemi di codifica non sono comparabili.

La scelta delle analisi per assicurarsi la qualità dei dati, che si svolgono durante la fase iniziale dell'analisi di dati, dipende dalle analisi vere e proprie che verranno condotte nella fase principale di analisi.

Data Mining: le fasi del processo

Come già anticipato, il Data Mining richiede un approccio sistematico: si possono definire fasi di un processo ben preciso, da eseguire per poter giungere ai migliori risultati.
Vediamo allora quali sono le 7 fasi operative per l'analisi dei dati ed il loro ordine:

Fase 1 - Gli obiettivi:
bisogna definire lo scopo che si vuole raggiungere con l'analisi dei dati

Fase 2 - La selezione dei dati:
è necessario reperire, organizzare e preparare i dati per l'analisi

Fase 3 - L'analisi esplorativa dei dati:
bisogna fare un'analisi preliminare ed eventualmente modificare i dati

Fase 4 - I metodi statistici:
si specificano i metodi statistici che si andranno ad utilizzare

Fase 5 - Elaborazione dei dati: si va ad agire sui dati

Fase 6 - Scelta del modello di analisi:
si applicano diversi modelli per capire quale sia il più appropriato

Fase 7 - Interpretazione ed implementazione del modello:
si applicano i risultati ai processi decisionalli aziendali


Se vi interessa, potremo poi tornare sull'argomento per dare maggiori dettagli riguardo queste fasi.