La qualità dei dati

La qualità dei dati dovrebbe essere controllata fin da subito, prima di procedere con le altre fasi di analisi. E' possibile farlo in diversi modi, utilizzando vari tipi di analisi mirata come conteggi di frequenza, statistiche descrittive (come deviazione standard e media), normalità (come istogrammi di frequenza, analisi di probabilità), associazioni (come correlazioni e disperzione).

Per verificare i dati è possibile effettuare:
- un controllo sulla pulizia dei dati: la distribuzione delle variabili prima della pulizia dei dati si compara alla distribuzione delle variabili dopo la pulizia, per vedere se questa operazione ha avuto effetti non voluti sui dati;

- un'analisi delle osservazioni mancanti/perse: ci sono molti valori mancanti e sono questi ultimi casuali?
Le osservazioni mancanti sono analizzate per vedere se mancano più del 25% dei valori, se i dati vengono persi in maniera casuale e se è necessaria qualche forma di statistica;

- analisi delle osservazioni estreme: si analizzano le osservazioni più periferiche per vedere se disturbano la distribuzione;

- comparazione e correzione delle differenze negli schemi di codifica: le variabili sono comparate con gli schemi di codifica delle variabili esterne al set di dati, e vanno quindi possibilmente corrette se gli schemi di codifica non sono comparabili.

La scelta delle analisi per assicurarsi la qualità dei dati, che si svolgono durante la fase iniziale dell'analisi di dati, dipende dalle analisi vere e proprie che verranno condotte nella fase principale di analisi.

Data Mining: le fasi del processo

Come già anticipato, il Data Mining richiede un approccio sistematico: si possono definire fasi di un processo ben preciso, da eseguire per poter giungere ai migliori risultati.
Vediamo allora quali sono le 7 fasi operative per l'analisi dei dati ed il loro ordine:

Fase 1 - Gli obiettivi:
bisogna definire lo scopo che si vuole raggiungere con l'analisi dei dati

Fase 2 - La selezione dei dati:
è necessario reperire, organizzare e preparare i dati per l'analisi

Fase 3 - L'analisi esplorativa dei dati:
bisogna fare un'analisi preliminare ed eventualmente modificare i dati

Fase 4 - I metodi statistici:
si specificano i metodi statistici che si andranno ad utilizzare

Fase 5 - Elaborazione dei dati: si va ad agire sui dati

Fase 6 - Scelta del modello di analisi:
si applicano diversi modelli per capire quale sia il più appropriato

Fase 7 - Interpretazione ed implementazione del modello:
si applicano i risultati ai processi decisionalli aziendali


Se vi interessa, potremo poi tornare sull'argomento per dare maggiori dettagli riguardo queste fasi.

Business Intelligence per iPad: QlikView

La nostra era digitale vede la creazione di sempre diverse applicazioni per i più nuovi supporti tecnologici mobile. Anche coloro che si occupano di dati non devono temere: sono già a disposizone applicazioni per Business Intelligence su iPad.
Eccone una, che personalmente non ho ancora sperimentato ma sembra interessante: si chiama QlikView.

Il suporto iPad permette soluzioni innovative, si sa, in quanto ha uno schermo più ampio rispetto agli smartphone tradizionali e ci libera dall'uso del mouse. Grazie ad esso le analisi di dati divengono quindi interattive, portatili e semplici.
Se l'iPad stesso permette di avere una grafica ad alta definizione, oltre a dare la possibilità di ruotare lo schermo per visualizzare in orizzontale piuttosto che in verticale, le funzionalità dell'applicazioni non sono meno interessanti: è possibile ricercare e consolidare dati da più fonti (Oracle, SAP, salesforce; Business Objects, Cognos, Hyperion; SQL Server, Oracle e MySQL), si possono eseguire ricerche associative, mentre è possibile visualizzare ed analizzare tutti i dati di business scegliendo il formato desiderato con un semplice tocco.

Purtroppo non potrò semplicemente rubare l'iPad del marito per fare qualche prova, anche se è possibile scaricare gratuitamente QlikView per iPad dall'App Store di iTunes, perchè ci vuole un server QlikView.

Ecco dove trovare INFO e un VIDEO di presentazione.

Vi faremo avere news su altri prodotti o servizi, mentre attendiamo commenti da tutti coloro che abbiano già cominciato ad utilizzare applicazioni simili.

Excel: corsi e ricorsi

Pic by Till Zoltàn

Quando mi assegnarono il ruolo di Business Data Analyst all'interno del Marketing, l'azienda mi iscrisse ad un corso di Excel avanzato (per intenderci non quello base che parte dalla descrizione del foglio di calcolo composto da celle ordinate in righe e colonne) presso un noto fornitore di corsi di formazione informatici di Milano.

Sono passati anni ormai, ma ancora ricordo che cosa successe: mi trovai di fronte un ragazzino giovanissimo, che ripeteva pedissequamente la lezioncina e non appena gli si rivolgeva una domanda, non poteva far altro che aprire la famigerata Guida di Excel...

Chi si occupa di dati sa quanto Excel sia importante e quanto la buona conoscenza derivi unicamente dall'utilizzo reale dell'applicazione.
Fare un corso, ottenere una certificazione, è sempre una bella cosa, anche per il proprio Curriculum Vitae, ma di sicuro vi consiglierei, se siete all'inizio, di passare un po' di tempo con i colleghi del Finance o dell'IT, per farsi dare indicazioni e formule magiche che in seguito vi potrebbero salvare la vita (intesa in termini di tempo e rompicapo :-)

Non è possibile purtroppo sapere in anticipo che tipo di docente vi aspetti fuori dall'azienda. Cosa che non accade invece con i propri colleghi. Mentre ci auspichiamo che nel corso degli anni la selezione degli insegnanti sia migliorata, il famoso Training on the Job può andare benissimo.

Data Mining: una definizione

Pic by George Franganillo

Per data mining si intende il processo di selezione, esplorazione e modellazione di grandi masse di dati, al fine di scoprire regolarità o relazioni non note a priori, e allo scopo di ottenere un risultato chiaro e utile al proprietario del database.
da Data Mining - metodi informatici, statistici e applicazioni, di Paolo Giudici

Ecco dunque una definizione di Data Mining, per coloro che ancora fossero al di fuori della materia ed abbiano voglia di tuffarsi nel magico mondo dell'analisi dei dati.

Ma a che cosa serve il Data Mining?
Che differenza c'è tra Data Mining ed Analisi Statistica?

L'azienda che utilizzi i metodi di Data Mining avrà un ritorno in termini di business, di risultati economici, non necessariamente correlato invece all'analisi statistica.
Per poter avere un ritorno economico, è però necessario abbinare alla conoscenza del database la conoscenza del business aziendale ed utilizzare una metodologia non lasciata al caso.
E' quindi necessario avere chiara la problematica da analizzare, reperire o creare il database necessario da analizzare ed applicare tecniche statistiche che producano risultati rilevanti per la presa di decisioni strategiche.