the peaceful collision of computing and data analysis

Algoritmi per il campionamento da popolazioni finite: un'analisi mediante simulazioni Monte Carlo

2012-01-01T16:22:00.000+01:00

Inizio il nuovo anno con la condivisione delle slide della mia tesi di Ph.D.

Mediante simulazioni Monte Carlo, ho testato il soddisfacimento di alcune proprietà (valide per costruzione) per i seguenti algoritmi di campionamento di tipo PPS (probability proportional to size):

Hanurav-Vijayan;
Rao-Sampford.

Ho effettuato l'analisi in tutti i software statistici che, al momento della realizzazione del mio lavoro di ricerca, mi risultavano essere gli unici a prevedere questi algoritmi: SAS, SPSS e R. In realtà, per l'algoritmo di Hanurav, ho provveduto alla scrittura del relativo codice in R, non essendo disponibile nelle library a me note.

I risultati sono interessanti e riassunti nelle seguenti slide:

Spero di condividere al più presto il codice R di Hanurav-Vijayan in un package liberamente scaricabile.

RExcel e rpart

2011-12-29T12:37:00.003+01:00

Nel numero di Dicembre di "The R Journal" è presente (tra gli altri) un articolo inerente lo sviluppo di "applicazioni" mediante RExcel e R. Nello specifico, abbiamo preso come esempio la libreria rpart, quindi gli Alberi di Classificazione, con un esempio di applicazione nel processo di approvazione di richiesta credito.

RStudio per un agevole uso di R

2011-09-27T17:40:00.000+01:00

Dopo un periodo di intenso utilizzo, posso concludere che RStudio sia (... forse...) l'interfaccia più interessante per R (ovviamente, solo in base ad un mio personalissimo parere) . Attualmente, infatti, è divenuto uno strumento fondamentale che mi ha portato ad un utilizzo sempre più raro delle altre gui di cui ho sempre usufruito.

In particolare, tra le tante, evidenzio la possibilità di importare un dataset in R (in "stile" csv), in maniera molto agevole e senza scrivere codice ... esattamente come accade con i software commerciali.

Il tutto avviene così come nelle immagini in basso, ossia disponendo di un menu sul lato destro della "schermata" del software:

Quindi, direi problemi risolti per il tanto noioso import di un csv!

Rconsole: modificare le preferenze dell'interfaccia di R

2011-06-05T17:57:00.000+01:00

Con questo post tratto un aspetto veramente banale, ma che ho notato essere molto irritante per i newbie (...e non solo...) di questo linguaggio! Effettivamente, mi sento di dire che non è affatto intuitivo il settaggio delle preferenze della GUI, ma che in realtà e tutto molto semplice con qualche piccolo accorgimento.

Innanzitutto, è necessario sottolineare che quando si installa R si sceglie un linguaggio che NON è quello che verrà poi impostato di default nella GUI di R.

Infatti, durante la fase di installazione (ossia, dopo il doppio click sull'installer exe), si otterrà la seguente finestra:

in cui si sta scegliendo la lingua per le finestre di dialogo relative alla sola installazione (che dovrebbe essere un approccio tipico di quanto accade, in genere, in Windows) e non alla lingua che si osserverà dopo nell'interfaccia di R.

Se non si cambiano le preferenze in Rconsole (e, dopo, vedremo come!), la lingua che si potrà osservare nei (pochi) menu presenti nella GUI di R e nei messaggi di output, sarà quella prevista per la macchina (pc) su cui avete installato R. Se, ad esempio, lavorate con Windows 7 in italiano, dopo l'installazione di R noterete che i menu saranno proprio in italiano. In pratica, quindi, la lingua di default prevista in R è quella impostata sulla macchina.

In genere, comunque, io consiglio sempre di impostare la lingua inglese. Oltre, infatti, ad essere una pratica sostanzialmente diffusa tra gli utenti (almeno in base a quanto riportato qui), capiterà sicuramente di volere discutere di problemi (e soluzioni) con il vastissimo gruppo di utenti che, nel mondo, sostengo questo linguaggio (gran punto di forza di R!!!). In tal caso, sarete costretti a scrivere in inglese e, in particolare, a riportare i messaggi di errore che vi restituirà il software (ovviamente, nessuno ci vieta di cercare aiuto nei forum italiani, come questo e quest'altro).

Quindi, la modifica delle preferenze dell'interfaccia di R, tra cui la lingua, è possibile dal menu "Modifica>Preferenze interfaccia..." :

Dopo il click si aprirà la seguente maschera che contiene tutte gli aspetti personalizzabili della GUI:

In particolare, notiamo che per i singoli "aspetti" da modificare, nonostante stiamo lavorando con un menu in italiano, viene utilizzato il linguaggio inglese. Questo non è un errore, come spiegato meglio anche qui.

Oltre alla lingua, un'altra caratteristica molto importante è l'impostazione di una single o multiple document interface (SDI o MDI, ma non mi dilungo sulle differenze perché si tratta di un metodo di organizzazione delle GUI che non è specifico di R). Un tempo, se non ricordo male, il default era SDI, ma ora dovrebbe essere MDI (e credo che sia preferibile).

A questo punto, cambiare le lingua è immediato, in quanto basta impostare "EN" come di seguito:

L'aspetto che confonde tutti è che, probabilmente, viene naturale cliccare su "ok" o su "Apply" , ma purtroppo non è così. Si otterrebbe, infatti, il seguente messaggio:

Il giusto "metodo" consiste nel salvare le impostazioni, prima di vederle attive: si cliccherà, quindi, su "save", scegliendo di salvare il file "Rconsole" nella relativa directory "\etc" che trovate nella cartella in cui è installato R (sostituendo il file già esistente). Normalmente, in Windows 7, sarà la seguente: "C:\Program Files\R\R-2.13.0\etc":

A questo punto, sarà sufficiente cliccare su "cancel" (anche su ok, è la stessa cosa, ma otterrete nuovamente il messaggio di informazione di cui sopra), chiudere R e riaprirlo per vedere modificate le preferenze della GUI.

In pratica, quindi, Rconsole è un file di testo che contiene tutte le informazioni sulle preferenze di R. Se provate ad aprirlo con un editor di testo (blocco note), capirete che tutte le impostazioni possono essere modificate direttamente da qui.

L'aver impostato "EN" nella maschera che si apre da "Modifica>Preferenze interfaccia...", è equivalente a scrivere "language=EN" nel file Rconsole:

Infine, sottolineo che per modificare queste preferenze, dovrete agire da Amministratori. Se non sarà così, otterrete questo messaggio di errore, quando cercherete di salvare le nuove preferenze, cliccando su "save":

Per aprire R come amministratori, quindi, tasto destro sull'icona di R e "esegui come amministratore".

Infine, all'atto di salvare le preferenze, sarà fondamentale salvare il file Rconsole nella directory "\etc", appunto la directory di default per salvare le vostre preferenze della GUI!

Concludo dicendo che, probabilmente, troverete più comodo aprire direttamente il file Rconsole con il blocco note e cambiare direttamente le vostre preferenze! Anche in questo caso, inoltre, sarà necessario agire da Amministratori!

Installazione di RKWard su Windows

2010-12-17T17:19:00.003+01:00

RKWard è un progetto molto curato in ambiente Linux, mentre è dichiaratamente un "progetto giovane" in ambiente Windows, con diversi bug legati soprattutto alle interfacce di selezione dei file e al download "interattivo" di file da internet (tipicamente, l'installazione di una libreria).

Tra le GUI che conosco è quella che, forse, si presenta con la migliore "veste grafica".

Le maschere di dialogo con cui si interagisce sono perfettamente analoghe a software come SPSS o STATISTICA, in cui si seleziona il dataset di input, le variabili e le varie opzioni in base all'output che si vuole ottenere (...con questo non voglio dire che si tratta di strumenti equivalenti...). Ad esempio, questo è il menu per le statistiche descrittive:

L'output che si ottiene, inoltre, è analogo, ad esempio, a quanto si ottiene in SPSS, ossia un insieme di risultati in formato "report" (il tutto altamente personalizzabile).

Per quanto riguarda l'installazione, che spesso è l'aspetto che blocca molti utenti (non molto esperti, in ambiente windows) nell'utilizzo di uno strumento software, nella pagina ufficiale si suggerisce il download di un "semplice" file .exe, così come avviene, in generale, in Windows.

Diversamente da quanto suggerito in tali pagine, io consiglio l'installazione personalizzata (della quale, comunque, se ne parla sempre nella pagina ufficiale). Quanto riporto di seguito, quindi, è consigliabile per chi dispone già di una versione di R installata sulla propria macchina. Preciso, inoltre, che ci riferiamo a Windows - 32 bit (XP, vista o 7).

Quindi, la prima cosa da fare è il download di:

l'installer di KDE;
l'installer di RKWard (se il link è errato, scegliete la versione più recente per KDE 4 in questa pagina).

Nello stesso ordine appena riportato, installate queste componenti.

Per quanto riguarda KDE, scegliete le impostazioni riportate negli screenshot qui di seguito (che dovrebbero presentarsi nello stesso ordine):

il complier mode è MinGW4

qui ho scelto il server ftp.unina.it

scegliere kdebase-workspace

A questo punto verranno scaricate una serie di pacchetti necessari al funzionamento corretto e sarà necessario un po' di tempo. Evidenzio che la seguente procedura prevede un'installazione su una macchina connessa ad internet!

Successivamente, si passerà all'installazione di RKWard. Si presenteranno due finestre in cui scegliere le directory di installazione di R e KDE (installato precedentemente). Se state usando questa "guida", immagino (e, in caso non sia così, consiglio) che abbiate una macchina con installazioni "standard" dei vari software che utilizzate. Quindi, la directory di riferimento sarà sempre quella in cui sono installati i programmi.

Ad esempio, nella maschera successiva ho selezionato la directory in cui è installato R:

Analogamente, sceglierò quella in cui è installato KDE:

Al termine di questi step (se tutto è andato a buon fine) l'avvio di RKWard avviene diversamente da quanto siamo abituati con un generico "software" in Windows. Nella classica cartella "Programmi", infatti, non sarà disponibile la relativa directory.

Per il suo avvio, infatti, sarà necessario cliccare sul file rkward.bat che, se avete effettuato l'installazione in linea con quanto precedentemente indicato, sarà presente nella directory "\KDE\bin". Ad esempio, nella mia installazione su Vista, questa è la directory:

Statistica 10

2010-11-29T14:44:00.002+01:00

Esce la 10! Qui tutte le info.

Importare in R le serie storiche di Yahoo! Finanza

2010-09-20T15:03:00.009+01:00

Ho notato non essere chiaro, ad alcuni utenti di R, la possibilità di importazione "diretta" delle Serie Storiche disponibili in Yahoo! Finanza. Con una sola riga di codice, quindi, è possibile effettuare l'importazione del dataset e, quindi, lavorare con l'analisi delle serie storiche.
Dal sito è, in genere, disponibile il file csv relativo al titolo che ci interessa. Ad esempio, qui dovrebbero essere disponibili le quotazioni storiche del NASDAQ. In fondo alla schermata, è possibile cliccare su "Preleva i dati su foglio di calcolo" e salvare i dati in csv.
Per effettuare l'importazione direttamente in R, è sufficiente eseguire le seguenti istruzioni:

invece di cliccare su "Preleva i dati su foglio di calcolo", tasto destro > copia indirizzo;
digitare in R l'istruzione riportata di seguito (nelle prime tre righe, si può notare l'indirizzo che ho copiato al passo precedente).
Sucessivamente, in R sarà disponibile il data.frame "db" con i dati del NASDAQ.

db<-read.table("http://ichart.yahoo.com/table.csv?s=%5EIXIC&d=8&e=21&f=2010&g=d&a=1&b=5&c=1971&ignore=.csv",
dec=".",
sep=",",
header=T)

Test F nel DOE per distribuzioni non normali

2010-06-24T16:51:00.011+01:00

Chiunque si occupa di DOE (Design of Experiment), quindi di applicazioni della statistica in ambito industriale, si trova nella situazione di dover eseguire un test F per verificare la significatività dei trattamenti e delle loro interazioni. Parlando in un gergo più generale, non specifico della Statistica Industriale, tale analisi consiste (in genere) nell'esecuzione di una ANOVA, che sappiamo essere legata alle ipotesi di normalità e omoschedasticità.
La deviazione dall'assunto di normalità viene gestita mediante analisi non parametriche, mediante trasformazioni delle variabili, oppure giustificando il tutto mediante la robustezza del metodo allo scostamento da tale distribuzione.
In realtà, un'importante giustificazione è riportata in Design and Analysis of Experiments, noto testo di Montgomery. Secondo quanto evidenziaato, infatti, basta pensare al test F in un contesto non parametrico e, più precisamente, basato sulla teoria dei permutation test.
Nell'ipotesi nulla di assenza di diversa influenza tra trattamenti, è possibile costruire l'insieme di tutte le possibili suddivisioni (senza ripetizione) degli N elementi in k gruppi, dove k è il numero di fattori, N il numero totale di misurazioni (N=n * k). Per ognuna di queste suddivisioni, possiamo calcolare la statistica F (rapporto tra MSE) e considerare come si distribuisce al variare di tutte le possibili suddivisioni. A questo punto, secondo la metodologia che è alla base dei permutation test, è sufficiente verificare se il valore della F osservato mediante il nostro Disegno Fattoriale, è situato "troppo a destra" nella distribuzione ottenuta.
Ebbene, così come riportato nel testo citato, si dimostra che la distrubuzione "esatta" della statistica F calcolata in questo modo, distribuzione detta exact randomization distribution, è ben approssimata dalla distribuzione F di Snedecor, relativa all'ipotesi di normalità dei dati. Questo, in altri termini, significa che l'esecuzione di un Disegno Fattoriale mediante la F di Snedecor, quando non è valido l'assunto di normalità, può essere comunque visto come l'esecuzione di un test F non parametrico di tipo permutation test (continuando, quindi, a rimanere valido l'intero esperimento!).

Grafici in PostgreSQL con R

2010-05-20T13:48:00.015+01:00

Nel precedente post ho evidenziato le possibilità di integrazione di R in PostgreSQL, con un esempio sull'esecuzione di un test statistico per la normalità, direttamente nel db.
In questo breve post, faccio un altro esempio per la creazione di un grafico mediante un'opportuna funzione. Anche in questo caso, il motore di creazione dei grafici è R, eseguito in background mediante il linguaggio PL/R. Le potenzialità di questo metodo di lavoro sono evidenti: in Postgres è direttamente disponibile una vastissima gamma di grafici di alto livello.
Ovviamente ciò non significa che, in seguito alla chiamata della funzione, verrà visualizzato il grafico a video. L'esecuzione della procedura, invece, andrà a creare un grafico (nel mio caso, un file jpeg) in un'opportuna cartella.
Il codice per la creazione della funzione è il seguente e penso sia abbastanza immediato per gli utenti di R.

CREATE OR REPLACE FUNCTION createGraph(tb text)
RETURNS text AS
'
sql<-paste("select * from", tb)
rs<-pg.spi.exec(sql)
x<-rs[,1]
y<-rs[,2]
jpeg("graph.jpg")
plot(x,y)
dev.off()
print("done")
'
LANGUAGE 'plr';

L'utente dovrà successivamente scegliere un'opportuna tabella contenente dati da visualizzare in un grafico a due dimensioni. I dati saranno quelli contenuti in due specifici campi. Quindi, per esempio, la chiamata della funzione:

SELECT createGraph('tbOrdini');

andrà a creare un file jpg, contenente il grafico che in R visualizzo con il comando plot(x,y). Sottolineo che la directory di default in cui viene salvato il file è la cartella '...\PostgreSQL\8.X\data'. Ovviamente, è possibile cambiare il percorso in cui salvare il file .jpg, specificandolo nel comando jpeg (utilizzato in PL/R), ma questo potrebbe comportare qualche problema agli utenti Vista, nel caso dell'eventuale assenza di permessi in scrittura.
Ovviamente, l'esempio è volutamente semplice, ma può essere personalizzato ed esteso a situazioni più complesse.

R in PostgreSQL

2010-03-05T16:36:00.024+01:00

L'integrazione di R con i DBMS è un aspetto molto importante per la realizzazione di soluzioni analitiche in questo linguaggio. Se si lavora in ambito industriale, ad esempio, i dati saranno raccolti in un database. Quindi, sarà necessario sviluppare un'interfaccia "facile" al motore di calcolo e permettere all'utente di interrogare i dati, sia per estrarre informazioni "semplici" (in tal caso R dovrebbe essere superfluo), sia per applicare una qualche forma di sintesi. Se per quest'ultimo tipo di elaborazione, le funzioni di aggregazione previste nel db non fossero sufficienti, è possibile ricorrere ad R. Una prima possibilità, sicuramente molto più diffusa, è quella di lavorare importando i dati in R ed eseguendo, direttamente in tale ambiente, le necessarie elaborazioni. Tale tipo di approccio, ad esempio, lo si realizza facilmente mediante il package RODBC.
Esiste tuttavia un'altra possibilità che, in base ad una mia personale sensazione, è poco conosciuta. Nell'universo dei DBMS, esiste ed è molto diffuso PostgreSQL . Per tale tipo di database, è prevista la possibilità di utilizzare un particolare linguaggio procedurale, ossia PL/R, che permette di scrivere (ed utilizzare) direttamente in PostgreSQL, funzioni in linguaggio R (in realtà esiste anche la possibilità di lavorare in R mediante RPgSQL, ma spero di dedicarci un post a parte). Quindi, saranno disponibili tutte le normali funzioni già previste in R, nelle varie librerie, così come sarà possibile sviluppare nuove funzioni di PostrgreSQL, utilizzando la sintassi di R.
Per l'utilizzo di tali modalità, ovviamente, è necessario avere una certa conoscenza di questo database, oltre che una certa familiarità con R. Per le problematiche di installazione (in particolare, in ambiente Windows) ed utilizzo, in generale, si rimanda ai siti:

Oltre a fare questa segnalazione, quindi, intendo riportare degli esempi utili ad evidenziare le potenzialità di tale modalità di sviluppo.

Immaginiamo di progettare, in ambito industriale, un database che raccoglie dati sulla produzione di semilavorati in un centro siderurgico, ad esempio dei tubi di acciaio. Periodicamente, a campione, viene misurata e registrata la circonferenza esatta di tali prodotti che, ovviamente, deve rispettare determinati livelli di tolleranza prestabiliti. In tale processo industriale, quindi, ci si aspetta un "errore" nella produzione, ossia degli scostamenti dalla circonferenza media prevista. Per controlloare questo aspetto, ad esempio, si cercherà di testare l'ipotesi di normalità dei dati, quindi la casualità degli scarti. Nell'esempio che propongo successivamente, quindi, vado proprio ad eseguire un test statistico sulla normalità dei dati direttamente nel database, in maniera "nativa". A mio parere, questo è un risultato eccezionale! Non mi sembra esistano possibilità analoghe in altri DBMS!
Non è superfluo evidenziare che si tratta solo di un esempio! Nell'ambito del controllo statistico della qualità, il controllo della produzione è realizzato mediante processi più complessi.

Quindi, riepilogando, è sufficiente crare un'apposita funzione in PostgreSQL, mediante il seguente codice:

CREATE OR REPLACE FUNCTION testNormality(tb text, col text)
RETURNS double precision AS
'
sql<-paste("select", col, "from", tb)
rs<-pg.spi.exec(sql)
shapiro.test(rs[,1])$p.value
'
LANGUAGE 'plr';

In generale, in PostgreSQL è possibile utilizzare diversi estensioni di linguaggio procedurale (come pgSQL, Python, Java ...), che rendono altamente personalizzabili le funzioni presenti nel database. Nello specifico, qui stiamo usando il linguaggio PL/R che, appunto, mi permette di scrivere in R. La documentazione ufficiale la trovate qui. In particolare, si noti che tra gli apici va riportato il codice R, che verrà eseguito alla chiamata della funzione.

Nel nostro caso, quindi, sto definendo la funzione testNormality che prende in input due parametri di tipo testo: il nome di una tabella (tb) e il nome di un campo di quest'ultima (col). Tali informazioni vengono "passate" ad R in cui creo la stringa sql che, appunto è la query in linguaggio SQL:

SELECT col FROM tb;

Statistica e Scienza dell’Informazione: riflessioni di uno statistico

2010-02-10T15:14:00.003+01:00

Non so quanti di voi siano informati del fatto che la SIS, Società Italiana di Statistica, dedica una sezione del sito per pubblicare il Sis-Magazine, giornale online ricco di riflessioni. Io ho l'impressione che sia poco conosciuto nel mondo di quelli che chiamo "statistici applicati", ossia quelli che lavorano per aziende private, ovviamente in ambito statistico. E' evidente che vengono trattati anche argomenti interessanti per questo tipo di utenti.
Ebbene, lo scorso mese è stato pubblicato un articolo (veramente bello) del prof. Isabella Verdinelli, ricco di riflessioni sulle similarità e differenze tra Metodi Statistici e Metodi di Machine Learning. Questo il link, invito tutti a leggerlo!
In merito a quanto scritto, io direi che uno statistico deve essere oggi anche un informatico: deve programmare, deve lavorare con i database, deve conoscere i sistemi operativi. Inoltre, non è pensabile oggi di proporre un metodo statistico senza valutare la sua fattibiltà da un punto di vista computazionale. Lo sforzo importante, in base a quelle che sono state le mie esperienze lavorative, sarebbe quello di "orientare" maggiormente all'informatica i corsi di laurea in Statistica (...ammesso ovviamente che questo oggi non stia già accadendo...).

SQL join in R

2009-12-22T11:07:00.030+01:00

Consideriamo un classico esempio di 3 tabelle di un database, ognuna con i rispettivi campi:

acquisti (codFornitore, numeroColli, codProdotto, codQualità)
prodotti (codice, qualità, descrizione)
fornitori (codice, nome)

I fornitori hanno un codice numerico ed un nome. Ogni prodotto ha un codice numerico ed uno di qualità e, per ognuna di queste combinazioni, c'è una descrizione. Infine, gli acquisti prevedono un codice di fornitori, uno di prodotto e di qualità, infine il numero colli acquistati.

In una situazione di questo tipo, è comune eseguire le operazioni di "congiunzione" (appunto, join) tra tabelle. Per ogni comando SQL in un db, esiste un analogo in R mediante la funzione merge. Riporto di seguito degli esempi di comparazione dei due linguaggi, ipotizzando di disporre in R dei relativi dataframe.

Visualizzo gli acquisti assieme al nome del fornitore.

Inner join in SQL:

SELECT a.*, b.nome
FROM acquisti AS a INNER JOIN fornitori AS b
ON a.codFornitore = b.codice;

Inner join in R:

>merge(acquisti,fornitori,by.x="codFornitore",by.y="codice")

Visualizzo gli acquisti assieme a tutti i fornitori, compresi quelli dai quali non ho comprato prodotti.

Right join in SQL:

SELECT a.*, b.nome
FROM Acquisti AS a RIGHT JOIN Fornitori AS b
ON b.codice = a.codFornitore;

Right join in R:

>merge(acquisti,fornitori,by.x="codFornitore",by.y="codice",all.y=T)

Visualizzo gli acquisti assieme alla descrizione del prodotto (descrizione relativa al tipo di prodotto ed alla sua qualità), compresi i prodotti che non sono stati acquistati.

Left join in SQL:

SELECT a.*, b.codFornitore, b.numeroColli
FROM Prodotti as a LEFT JOIN Acquisti as b
ON (a.qualità = b.codQualità) AND (a.codice = b.codProdotto);

Left join in R:

>merge(prodotti,acquisti,by.x=c("codice","qualità"),by.y=c("codProdotto","codQualità"),all.x=T)

Infine, solo per completezza, riporto il codice di una full, ma in tal caso il risultato è analogo alla left.

Full join in SQL:

SELECT a.*, b.codFornitore, b.numeroColli
FROM Prodotti as a FULL JOIN Acquisti as b
ON (a.qualità = b.codQualità) AND (a.codice = b.codProdotto);

Full join in R:

>merge(prodotti,acquisti,by.x=c("codice","qualità"),by.y=c("codProdotto","codQualità"),all.x=T,all.y=T)

Riassumendo, quindi, la logica in R è molto intuitiva, alla pari dell'SQL.
Con by.x e by.y, si determinano i campi su qui eseguire la join, ossia i campi da "legare". Mediante all.x e all.y si stabilisce se left, right o full join.
Per tutte le varianti della funzione, si rimanda all'help di R.

Configurazione di natbib_ita in MikTex 2.8 per Vista

2009-11-26T09:42:00.007+01:00

Mi arrivano parecchie richieste relative all'installazione su Vista di MikTex. Io ho effettuato alcune configurazioni e non ho avuto particolari problemi. Quindi, l'installazione rimane esattamente quella descritta in questo mio post. Ovviamente, è necessario procedere con privilegi da amministratore!
Qualche "problemino" di configurazione riguarda invece natbib_ita, il pacchetto per la gestione della bibliografia in italiano. In MikTex (versione >=2.7) sono già previsti alcuni file .bst che servono all'uso di bibtex, ma non quelli per lo "stile" italiano.
Quindi, qui scaricate quello che vi serve, e noterete i seguenti file:

natbib.sty
plain_ita.bst
natbib_ita.bst
natbib.bst

Gli altri file servono per testare la configurazione, consiglio di leggerli attentamente!!!
A questo punto:

copiate il file natbib.sty in "C:\Program Files\MiKTeX 2.8\tex\latex\natbib" (cancellando quindi il file con lo stesso nome che trovate in questa cartella);
copiate i rimaneti 3 file in "C:\Program Files\MiKTeX 2.8\bibtex\bst\base";
tramite il "programma" miktex options (start -> tutti i programmi -> MikTex 2.8 -> Maintenance -> Settings), eseguite il refresh, ossia, nella scheda General, cliccate su "Refresh FNDB" e su "Update Formats".

Nelle configurazioni eseguite non ho riscontrato nessun problema. Per maggiori informazioni c'è sempre il sito del GUIT.

Vectorizing computing in R

2009-10-26T16:01:00.045+01:00

Un forte limite nell'utilizzo di R (in particolare per chi è già abituato a sviluppare in altri linguaggi di programmazione) è la lentezza dell'esecuzione di algoritmi basati sui classici "cicli di for". Eseguire un blocco di codice ripetutamente, infatti, è un'operazione concettualmente semplice che, quindi, ci permette di gestire facilmente la ripetizione di un insieme di "operazioni" (eventualmente effettuando il controllo di alcune condizioni con dei sempici "if"). Putroppo in R è fortemente sconsigliato questo approccio e per questo motivo si parla di vectorizing computing: trasformare il ciclo di for in operazioni tra vettori o matrici. Quindi la ripetizione di un blocco di codice controllato da un contatore deve essere trasformato, ad esempio, in un prodotto di matrici. Questo metodo di sviluppo ha come fine quello di sfruttare al meglio il motore di calcolo di R, che è appunto ottimizzato per il calcolo matriciale. Ovviamente questo approccio può portare ad altro tipo di problemi, ossia alla gestione dei dati mediante matrici "troppo grandi" e difficilmente gestibili. L'esperienza comunque permette di arrivare alla soluzione megliore, e non credo si possa stilare un elenco di situazioni in cui preferire un approccio ad un altro: ogni soluzione va valutata singolarmente "sul campo" (...bella novità...).
Riporto di seguito alcuni esempi di for in R con le relative "vettorizzazioni".

Creo un vettore p composto da 500.000 valori estratti da una normale standardizzata e, da questo, ne derivo il vettore formato dagli stessi 500.000 valori rapportati alla loro somma. Forse la vettorizzazione di questo esempio è veramente banale, ma serve a rendersi conto dei tempi di esecuzione.
Il relativo ciclo di for è semplicissimo:

p<-rnorm(500000)
s<-sum(p)
for (i in 1:500000) p[i]<-p[i]/s

Per la valutazione dei tempi di esecuzione basta osservare il risultato di system.time(),che esegue il codice in parentesi e riporta il tempo in secondi. Nel nostro caso ci limitiamo ad osservare il tempo elapsed (in blu è roportato l'output di R):

system.time(for (i in 1:500000) p[i]<-p[i]/s)
user system elapsed
3.2 0.0 3.2

La cosiddetta vettorizzazione è in tal caso banale (p/s), ma il risultato è notevole:

system.time(p<-p/s)
user system elapsed
0.0 0.02 0.02

In termini assoulti, un risparmio di 3.18 secondi può sembrare inutile, ma se si ragiona in termini relativi si osserva un risparmio del 99% del tempo di esecuzione, quindi molto importante per calcoli più complessi!

Prendiamo in esame un esempio in cui la vettorizzazione è meno immediata.
Consideriamo un insieme di 1.000.000 di dati estratti da una normale standardizzata. Pensate ad esempio ad un tipica applicazione in ambito industriale, in cui si controlla che il prodotto rispetti determinate caratteristiche (peso, dimensioni, ecc. ...) e in cui ci si aspetti che gli "errori" nella produzione siano distribuiti normalmente. In elaborazioni effettuate in tale ambito, quindi, si dispone di un vettore di questo tipo. I calcoli che svolgo di seguito, comunque, sono solo a titolo di esempio e non rappresentano alcun indicatore o controllo tipico della statistica industriale.
Immaginiamo di avere i dati in forma matriciale: 1000 casi controllati (in riga) per 1000 caratteristiche (in colonna). Da questo dataset vogliamo ricavare una matrice di valori dicotomici, con 1 o 0 a seconda che il valore sia maggiore o uguale a zero (1), oppure negativo (0), rispettivamente.
Anche in questo caso il codice da usare per un ciclo di for è immediato:

N<-1000
mtx<-matrix(rnorm(N*N),N,N)
mtx2<-matrix(0,N,N)

system.time(for (i in 1:N) for (j in 1:N) if(mtx[i,j]>=0) mtx2[i,j]<-1)
user system elapsed
6.20 0.00 6.52

La vettorizzazione si può effettuare mediante il comando ifelse(), che analizza ogni singolo elemento della matrice e esegue un'operazione a seconda che il test sia positivo o negativo (da notare che è differente da if() else):

system.time(mtx2<-ifelse(mtx>=0,1,0))
user system elapsed
0.90 0.05 0.98

Anche qui la riduzione del tempo di elaborazione è molto significativa: 85%.

Riporto infine un esempio di vectorizing computing in cui si fa uso di matrici triangolari, molto utili in questo tipo di programmazione in R.
Consideriamo sempre la matrice mtx di 1000 casi per 1000 caratteristiche. Per ogni singolo caso (vettore riga) vogliamo calcolare il rapporto tra l'(i)-esimo elemento e la somma dei successivi 1000-i elementi (quindi la somma dei casi da (i+1) a 1000). La soluzione con un for necessita lo scorrimento dell'intera matrice in questo semplice modo:

N<-1000
mtx<-matrix(rnorm(N*N),N,N)
mtx2<-matrix(0,N,N) system.time(for (i in 1:N) for (j in 1:(N-1)) mtx2[i,j]<-mtx[i,j]/sum(mtx[i,(j+1):N]))
user system elapsed
37.99 0.17 39.93

Per la trasformazione in codice vettorizzato faccio uso del comando lower.tri(), che crea una matrice triangolare inferiore con valori TRUE e FALSE. Dal relativo help di R: "Returns a matrix of logicals the same size of a given matrix with entries TRUE in the lower or upper triangle".
Questo il codice:

N<-1000
mtx<-matrix(rnorm(N*N),N,N)
mtx2<-matrix(0,N,N)
system.time(mtx2<-mtx/(mtx%*%(1*lower.tri(matrix(0,N,N)))))
user system elapsed
2.55 0.00 2.67

Ho praticamente sostituito lo scorrimento dei dati mediante for, con un prodotto matriciale in cui vi è un'opportuna matrice triangolare inferiore. La riduzione del tempo di elaborazione è del 93%.

The Elements of Statistical Learning : download del libro !

2009-10-16T11:04:00.003+01:00

Ho scoperto (solo ora) che è possibile scaricare il libro in oggetto!!!! Sicuramente da non perdere!!!
Downoald qui.

R in Word: SWord

2009-08-25T14:42:00.023+01:00

Un rientro dalle ferie con una bella novità: SWord per implementare soluzioni analitiche direttamente in Word, utilizzando R come motore di analisi dati. Il sito ufficiale è sempre quello di Statconn. Analogamente a quanto avviene in RExcel (come già trattato in miei altri post) è possibile direttamente in Word lavorare con R in modalità background o foreground. L'uso di tale package permette quindi di sviluppare un sistema di "reporting" mediante questo diffusissimo software di creazione di documenti. Si potrebbe pensare a "modelli" di documenti Word in cui riportare i risultati delle nostre analisi statistiche "al volo": l'utente apre il file .doc, clicca un tasto e visualizza i risultati delle eleborazioni in formato "testuale". Ovviamente, dietro le quinte ci sarà l'importazione di un dataset in R (ad esempio da un database esterno), l'elaborazione di un modello statistico e la visalizzazione dei risultati nel testo! Un'altra possibilità potrebbe essere l'utilizzo di SWord per creare dei documenti "interattivi" per illustrare il funzionamento di R. L'utente legge delle istruzioni e clicca un bottone per visulizzare ciò che avviene in R. Riporto un esempio semplicissimo, rimandando al sito ufficiale per gli approfondimenti. Come prima cosa, l'installazione: un semplice click sul file .exe che trovate qui. Sottolineo che l'uso in word di tale package si basa sui "Codici di campo", ossia dei "tag" molto utili per i quali si rimanda alla documentazione ufficiale. Per tale motivo è importante accertarsi che sia impostata la visualizzazione di essi. In Word 2003 si possono seguire le seguenti istruzioni: Strumenti > Opzioni > Visualizza > segno di spunta in corrispondenza di "Codici di campo". Consiglio anche di impostare "Ombreggiatura campo" a "Sempre".

Prevedere il "brain drain" mediante un algoritmo

2009-06-23T14:24:00.008+01:00

Uso intensivo dei dati come guida alle decisioni umane, una filosofia comune ormai a molte realtà aziendali.
Ovviamente google è un esempio vincente di uso di dati, e lo sviluppo di un modello per prevedere gli individui "più probabili" all'abbandono dell'azienda è un bel tentativo di previsione del comportamento umano!
Non ho trovato comunicazioni ufficiali della Google Inc. in cui vengono spiegati i dettagli dell'algoritmo (... chissà se c'è di mezzo l'uso di R ...), ma qui trovate maggiori informazioni.

Alberi di Classificazione in Excel

2009-05-22T16:26:00.046+01:00

Il titolo del post è veramente "forte", nel senso che sto dicendo che in Excel è possibile ricorrere ai famosi Alberi di Classificazione, più noti con il termine di CART: Classification and Regression Trees. In realtà c'è il solito trucchetto: il dataset è in Excel, ma le elaborazioni le fa R. La comunicazione tra i due strumenti, come ampiamente ripetuto in questo blog, avviene mediante statconnDCOM.

Prima di tutto, quindi, è necessario avere sulla propria macchina i giusti tools, come già descritto in questo mio precedente post. In realtà alla data in cui scrivo è disponbile RAndFriends, che fino a poco tempo fa era disponibile solo in versione "light". Io direi quindi di installare tutto, evitando scelte personalizzate delle componenti . In genere, comunque, nelle applicazioni eseguite in XP non ho mai riscontrato problemi di installazione (come ad esempio installare solo statconnDCOM).

Per quanto riguarda gli Alberi di Classificazione si fa riferimento a questa monografia, il cui progetto è coperto da copyright ed il cui software originale è distribuito dalla Salford System. In R è disponibile la libreria rpart, il cui maintainer è Brian Ripley (che a sua volta ha "portato" in R il codice disponibile in SPLUS, vedi qui per maggiori info). In R quindi si parla di Recursive partitioning and regression trees, e considerando l'autore dovremmo poter avere una certa fiducia per quanto riguarda l'affidabilità del codice!
La teoria che è alla base è abbastanza semplice da un punto di vista matematico, io infatti ho ritenuto molto scorrevole da lettura del libro di Friedman.

Per quanto riguarda lo sviluppo in Excel, direi che è praticamente semplicissimo, non dovendo fare altro che riportare in VBA il codice che si è testato direttamente in R. Nell'esempio seguente ho lavorato in modalità "Macro programming", ossia ricorrendo a RExcel.xla. Nell'esercizio riportato in Access, invece, si è sviluppato in modalità "RDCOM Server". La prima, infatti, è possibile solo in Excel. Nessuno comunque ci vietava di fare ricorso anche qui in Excel all'oggetto StatConnector. Su questa differenza, comunque, scriverò presto un post (nel frattempo, quello che c'è da sapere è sempre qui!!!!!).

Passiamo ora alla descrizione del dataset utilizzato per l'esempio.
Ho pensato di toccare un argomento molto attuale, ossia la previsione dello spam. Trattasi di un tipico esempio di classificazione di una variabile dicotomica sulla base di informazioni relative al testo dell'email. Quindi la variabile risposta assumerà valori 0 (non spam) o 1 (spam).
Nel nostro dataset di esempio le variabile predittive sono semplicemente variabili di conteggio relative all presenza (in %) di alcune parole. Potete scaricare i dati e tutte le informazioni direttamente qui.

Riporto di seguito il codice associato ad un pulsante di comando. Al suo click ai avvia R in back-end e si caricano in R i dati disponibili in Excel (in un foglio nominato "dbxls"). Successivamente avviene la stima del modello e la visualizzazione dell'albero di classificazione finale. Ovviamente quando si chiude il server (Call Rinterface.StopRServer) si chiuderà anche la visualizzazione del grafico. Per evitare questo ho semplicemente messo un MsgBox che permette la visualizzazione dell'immagine fino al click su OK. Se volete riprovare ad eseguire il tutto dovete cambiare i nomi delle variabili predittive in v1, v2, ... , v57, mentre l'ultima sarà nominata "spam" (appunto la variabile dipendente).
Trattandosi di un esempio, non mi sono soffermato su vari aspetti della costruzione dell'Albero (quali previsione e pruning), ma la loro implementazione è semplice una volta capito il meccanismo.
Riporto il codice VBA:

'*************************************
Private Sub cmd_Click()
On Error GoTo errore
Dim rng As Range
Set rng = Worksheets("dbxls").Range("A1:BF4602")
Call Rinterface.StartRServer
Call Rinterface.RRun("library(rpart)")
Call Rinterface.PutDataFrame("db", rng)
Call Rinterface.RRun _
("db<-cbind(db[,1:57],spam=as.factor(db[,58]))") Call Rinterface.RRun("fit<-rpart(spam~.-spam, data=db)") Call Rinterface.RRun("plot(fit)") Call Rinterface.RRun("text(fit)")
MsgBox _
"Cliccando ok procedi con la chiusura di RServer"
Call Rinterface.StopRServer

Exit Sub
errore:
Call Rinterface.StopRServer

End Sub
'*************************************

La bellezza di tale metodo sta prima di tutto nell'immediatezza del grafico. Come potete vedere, facendo "cadere" un dato attraverso l'albero si arriva immediatamente alla soluzione:

v53 è minore di 0.05? Sì, allora vai a destra dell'albero.
v25 è >= 0.4? Sì, allora vai a destra dell'albero.
spam=1

quindi la previsione più probabile è che l'email in questione sia spam! Una piccola curiosità: in tali dati la variabile più significativa (quella che determina lo split più discriminante) è la v53, ossia la presenza in percentuale del carattere dollaro: "$". Se tale percentuale supera il 5.5% si passa ad analizzare la v25, ossia la presenza della parola "hp". Se quest'ultima è a sua volta presente con una percentuale maggiore o uguale al 40% allora l'email è considerata spam. Sicuramente più interessante (in quanto meno scontata) è l'analisi dell'albero a sinistra del primo split:

v53: percentage of character "$"
v25: percentage of word "hp"
v7: percentage of word "remove"
v52: percentage of character "!"
v57: sum of length of uninterrupted sequences of capital letters
v16: percentage of word "free".

Infine una piccola considerazione.
La "facilità" di cui parlo sempre per l'uso di R ed Excel (o Access) è sempre legata ad una certa padronanza di R e di VBA, ovviamente! Nello stesso tempo è necessaria una certa conoscenza teorica del metodo che si andrà ad utilizzare. Inoltre l'uso contemporaneo di Excel/Access ed R è da me pensato per un'implementazione (facile) di modelli statistici di analisi e previsione da parte di uno statistico che lavora per utente finale "non esperto" (e che quindi vuole una soluzione finale del tipo "click and go" :-) .

OLAP e Statistical Databases: similarità nella terminologia

2009-04-28T16:31:00.008+01:00

Veramente interessante questo articolo di Arie Shoshani sulle similarità (e differenze) esistenti tra le terminologie tipiche della Statistica, da un lato, e del Data Mining , dall'altro (...quest'ultimo inteso in senso molto generale...). Anche se di una decina di anni fa, l'articolo è sicuramente attuale per chi lavora in ambito "analitico". Chi infatti ha una formazione "statistica" e si trova a lavorare con i database, rifletterà sicuramente sulle analogie esistenti tra i termini normalmente utilizzati nei testi di Statistica e quelli molto utilizzati dai produttori di software per il Data Mining e la Business Intelligence. L'esempio più evidente è l'analogia tra multidimensional space e data cube. Direi che di grande significatività è la tabella dell'articolo sulle corrispondenze tra le due differenti terminologie:

Le novità di R(D)COM: statconnDCOM

2009-04-02T16:11:00.003+01:00

Da un po' aspettavo questo aggiornamento e devo dire che le cose sono cambiate abbastanza! Non solo è cambiato il sito, ma anche le modalità di installazione, configurazione e download. Diventa anche più evidente la relazione tra il progetto rcom e la statconn di Thomas Baier ed Erich Neuwirth (e quindi i relativi corsi di formazione).

La novità più evidente è la possibilità di scaricare RAndFriendsLight, ossia un pacchetto che contemporaneamente installa e configura tutto il necessario:

R 2.8.1
rscproxy 1.0-12
rcom 2.xx
RExcel 3.0-11 .

Credo comunque che la situazione più frequente sia quella in cui lo sviluppatore disponga già di R sulla propria macchina. In tale caso (considerando che è obbligatoria una versione >= 2.7.2) sarà necessario optare per le altre modalità indicate nell'area downolad.

La procedura di configurazione, comunque, è chiaramente descritta qui.

Ovviamente con questa nuova struttura del progetto si sottolinea (giustamente!!!) che la redistribuzione del prodotto in altre soluzioni necessità di una licenza commerciale...

I package "orfani" di R

2009-03-24T09:30:00.003+01:00

Mi son sempre chiesto quale fosse la procedura adottata dal team di R nel caso in cui il maintainer di una libreria si rendesse irreperibile o non fosse più disposto al relativo "sviluppo". Ovviamente la risposta è sul sito del CRAN: semplicemente il pacchetto continuerà ad essere disponibile fin quando passerà il test <<R CMD check>>. Ora che scrivo ve ne sono 57 di librerie orphaned, quindi effettivamente si corre un rischio (...a mio parere minimo...) di ritrovarsi senza il pacchetto sul quale si era investito tempo e denaro...

Numeri pseudo-casuali e software statistici

2009-02-27T10:11:00.021+01:00

La generazione di numeri pseudo-casuali è un argomento di fondamentale importanza per le applicazioni in statistica. La "bontà" dell'algoritmo utilizzato in un software è quindi decisivo per la validità delle simulazioni eseguite mediante esso. In questo breve post intendo soffermermi sugli algoritmi impementati in R, SAS ed SPSS.

L'argomento è stato trattato ampiamente dagli studiosi e continua ad attirare l'attenzione di statistici ed informatici (...ammesso che in tale ambito sia possibile fare questa distinzione tra le due discipline...), ed ovviamente gli sviluppatori dei software sopra citati non possono che seguire gli sviluppi della scienza.

I numeri peseudo-casuali sono chiamati in tale modo appunto perché sono "deterministici" ma "sembrano" casuali. Sono generati da un algoritmo implementato in un calcolatore (quindi deterministisco) ma soddisfano una serie di proprietà che li fanno "sembrare" casuali per gli scopi prefissati, quindi per la simulazione di un qualche fenomeno. L'algoritmo più famoso è il Generatore Lineare Congruente (Linear Congruential Generators) riassunto dalla seguente funzione di trasferimento:

f(x) = (ax + c) mod m .

mod è la funzione che fornisce il resto della divisione intera, ossia:

x mod y = y ( x/ y - [x/y] )

dove [h] è la parte intera inferiore di h. Quindi ad esempio 11 mod 3 = 3 * (11/3 - [11/3]) = 3*(3.6667 - 3) = 2.

Qundi si fissano a, c ed m, si parte da un valore inziale X_0 e si ottiene X_1 = f(X_0) . A questo punto si genererà il numero pseudo-casuale (in [0, 1[ ) mediante una funzione output (la più semplice è X_j /m). La funzione di trasferimento più semplice e più conosciuta è invece quella di Park-Miller, in cui si impone semplicemente c=0.

Per una trattazione teorica molto chiara ed esaustiva si legga qui.

La tipologia di algoritmo appena citato è stato nel tempo criticato e praticamente sostituito dal generatore di Mersenne-Twister (M-T).

Ovviamente, poiché R è sempre "avanti" :-) , quest'ultimo è l'algoritmo di default già da tempo, mentre gli altri software sono stati aggiornati da un po'.

In SAS infatti, fino alla versione 9.0, l'unico algoritmo disponibile era il Generatore Lineare Congruente nella versione di Park-Miller con i seguenti parametri:

c=0

a=397204094

m=2^31-1 .

Solo dalla 9.1 è finalmente disponibile anche la funzione RAND che appunto si basa sull'algoritmo di M-T!!!! (chi vuole approfondire può leggere qui).

Mi dilungo sul SAS perché trovo molto macchinoso il procedimento di gestione delle sequenze dei numeri casuali. Utilizzando la funzione RANUNI(seed) in un datastep, cambiare il seed (ossia il valore di x_0 nel generatore) non avrà influenza sulla sequenza di numeri casuali poiché l'estrazione avverrà sempre dallo stesso stream (ossia flusso, ma in inglese fa più figo :-) ). Per avere un controllo della sequenza sarà necessario ricorrere a CALL RUNUNI(seed) dove il seed deve essere una variabile e non una costante.

Si provi ad eseguire il seguente codice per capire la distinzione:

data test;
do i=1 to 10;
x = RANUNI(1);
output;
end;
run;

data test_i;
do i=1 to 10;
x = RANUNI(i);
output;
end;
run;

data test_call;
do i=1 to 1;
call RANUNI(i,x); /*con ranuni(1,x) va in errore*/
output;
end;
run;

Per quanto riguarda infine l'SPSS, si faccia riferimento al menu " Trasforma / Generatori numeri casuali " per scoprire il tipo impostato. Consiglio ovviamente di utilizzare il generatore di Mersenne-Twister con inizializzazione casuale (ossia derivata dall'orologio di sistema). Più semplice forse farlo direttamente aprendo un file di sintassi .sps e settando mediante codice:
SET RNG=MT MTINDEX=RANDOM.

Licenze commerciali di R che spuntano come funghi...

2009-01-30T16:48:00.006+01:00

Mentre un enorme gruppo di sviluppatori, più o meno volontari, garantisce lo sviluppo del software statistico più aggiornato del mondo, c'è chi pensa (giustamente) di fornire licenze commerciali di R che dovrebbero garantire un maggiore supporto ed una migliore funzionalità (altrimenti non resisterebbero molto sul mercato).

Queste sono quelle che conosco, ma solo di nome:

La mia paura è che gli sviluppatori di RDCOM seguano prima o poi una strada simile ... e diciamo pure che seguendo i relativi dibattiti nei newsgroup si comincia a respirare quest'aria...

Installazione di Latex in ambiente Windows

2009-01-07T15:58:00.018+01:00

L'utilizzo di Latex per chi lavora in ambito statistico è sicuramente consigliato, soprattutto per evitare gli incovenienti dell'uso di Equation Editor in Word. La qualità "grafica" di un testo scritto in Latex è inoltre sorprendente, a patto di un piccolissimo sforzo iniziale per l'apprendimento. Ovviamente anche l'uso di Word a livello professionale (che non significa semplicemente cliccare su di un file .doc e poi scriverci sopra!) necessita di molta pratica e di approfondimenti. Quindi un po' di studio di Latex potrebbe davvero valerne la pena.
Come indicato nel titolo, faccio riferimento a Windows (così come in tutto il resto del blog). Le installazioni che ho eseguito fino ad ora sono avvenute tutte in XP, ma come sempre immagino che con pochi accorgimenti si possa facilmente generalizzare ad altre versioni.
Nell'illustrazione dei diversi step non mi soffermo sul significato delle diverse "componenti", un po' perché non ne ho le capacità e un po' perché esiste molto materiale in rete (il miglior punto di partenza e anche di arrivo è sicuramente il sito del GuIT).
Quindi di seguito riporto dei consigli veloci per l'installazione di tutto, mentre vi consiglio di leggere questo documento.

installare MikTex.
installare TEXnicCenter.
installare GSView.
installare Ghostscript.

Ora dovrebbe essere tutto pronto. Si riavvia il pc, si apre TEXnicCenter e partono alcuni messaggi che chiedono di indicare una directory. Trovate la risposta alle vostre domande in questo video:

Nona Conferenza Nazionale di Statistica

2008-11-28T11:24:00.003+01:00

Il prossimo 15 e 16 Dicembre si ripeterà a Roma l'appuntamento biennale della Conferenza Nazionale di Statistica. Io ci sono stato nel 2006 e credo ci andrò anche quest'anno. Consiglio la partecipazione a chiunque sia interessato a reperire informazioni sul mondo della Statistica Ufficiale italiana.

Questo il link di riferimento.

Lezioni di Statistica su YouTube

2008-11-03T17:20:00.003+01:00

In rete c'è veramente di tutto, perfino dei video-tutorials per R !
Ma quello che mi è piaciuto di più è il teorema di Bayes (in spagnolo) con tanto di sottofondo degli Enigma :-)

Odds Ratio in Statistica Medica e Sanitaria

2008-10-29T15:31:00.033+01:00

Il concetto di Odds Ratio è ampiamente diffuso in Medicina, Epidemiologia, Statistica Medica, Statistica Sanitaria...e chi ne ha più ne metta! Normalmente ci si sforza di descrivere il concetto ad un pubblico di utenti "non esperti" cercando di rendere il più semplice possibile tale numero, che altro non è che un rapporto di rapporti :-) .

In base alle mie esperienze ho notato, invece, che molte volte è lo statistico stesso a perdere di vista il vero fine di tale indice, lasciandosi andare in riflessioni sugli aspetti "matematici" che poco interessano l'utente.

L'Odds Ratio si basa su di una tabella che è alla base di tutto, una tabella a doppia entrata relativa a due variabili dicotomiche: Fattore di Rischio ed Insorgenza Malattia.

Il fattore di rischio è una variabile che si pensa possa avere influenza sull'insorgenza malattia. Quest'ultima, invece, non ha bisogno di commenti: c'è o non c'è. Ovviamente si può anche considerare il verificarsi di un altro fenomeno che non sia necessariamente una malattia, ad esempio il superamento del livello di colesterolo nel sangue (superato o non superato).

In maniera perfettamente analoga, il fattore di rischio potrebbe essere la somministrazione di un farmaco (presente=somministrato, assente= non somministrato o placebo), e quindi potremmo essere interessati a valutare, o meglio a testare il farmaco come fattore di guarigione dalla malattia, o al contrario come fattore di insorgenza di effetti collaterali. Insomma, trattasi di variabile dicotomiche: uno o zero sia per la variabile antecedente che per quella conseguente.

Nella tabella ho utilizzato le lettere a, b , c , d per specificare la numerosità dei casi. Quindi a è il numero di individui in cui è presente il fattore di rischio e la malattia è insorta, ecc.... (la spiegazione del significato delle altre lettere mi pare banale).

L'utilizzo dei dati contenuti in tale tabella dipende sostanzialmente dalle modalità di raccolta dati, ossia dalla distinzione tra indagini prospettiche o longitudinali e indagine retrospettive o trasversali. In realtà questa mia classificazione non è assolutamente esaustiva per le varie situazioni che si presentano in Medicina, ma lo è ai fini del calcolo di un Odds Ratio.

In un indagine prospettica il ricercatore dispone di un gruppo di individui già classificati a seconda del fattore di rischio: un gruppo in cui è presente, un altro in cui non lo è. Lui si "limita" a seguirli nel tempo e a verificare l'insorgenza (Sì) o meno (No) della malattia. In maniera analoga, per testare un farmaco, si disporrà di un gurppo di individui a cui viene somministrato il farmaco contro un placebo. Quindi, in genere, quando parte l'indagine il ricercatore conosce a+b e c+d, mentre conoscerà la scomposizione in a, b, c e d solo successivamente, in base appunto all'insorgenza della malattia. E' molto utile la seguente illustrazione per rappresentare un'indagine prospettica o longitudinale:

Dall'immagine si evince anche il perché si parla di indagine longitudinale: se si guarda un mappamondo, la longitudine è una linea orizzontale, proprio come la freccia (una barbara definizione che rende l'idea). La figura mette in risalto i dati disponibili a priori dal ricercatore: a+b e c+d e nel tempo potrà poi suddividere i dati in base all'insorgenza della malattia.

In un'indagine retrospettiva, invece, accade esattamente il contrario. Il ricercatore dispone degli individui già classificati in base all'insorgenza della malattia e lo scopo della sua indagine è procedere a "ritroso" per risalire al fattore di rischi e quindi classificare in soggetti con o senza fattore di rischio. Un classico esempio è un gruppo di malati di tumore (insorgenza malattia: Sì) ed uno di sani (insorgenza malattia: No) ai quali viene chiesto se in passato hanno fumato (fattore di rischio: presente) o meno (fattore di rischio: assente). Si deduce facilmente che si può rappresentare l'indagine retrospettiva nel seguente modo:

Il ricercatore, quindi, conosce a priori a+c e b+d e solo dopo l'indagine potrà risalire all'eventuale presenza del fattore di rischio.

A questo punto è abbastanza semplice scegliere un indice che spieghi il meglio possibile la relazione tra le due variabili dicotomiche rappresentate in tabella.

Nel caso di indagine prospettica, è intuitivo procedere al calcolo della probabilità che insorga la malattia, distinguendo in base all'appartenenza ad uno dei due gruppi:

1- probabilità che insorga la malattia in un individuo esposto al fattore di rischio: pr(Sì \ presente) = a / (a+b);

2- probabilità che insorga la malattia in un individuo non esposto al fattore di rischio: pr(Sì \ assente) = c / (c+d) .

Come giè spiegato prima, in un'indagine longitudinale è logico costruire questi due indici. Il ricercatore, infatti, dispone dei due campioni (a+b e c+d) prima di inziare l'indagine e solo successivamente osserva il fenomeno di insorgenza malattia. Confrontando semplicemente il rapporto 1 con il rapporto 2 tenterà di rispondere alla domanda: il fattore di rischio aumenta significativamente la probabilità che si presenti la malattia? E' ovvio che siamo portati a dare risposta affermativa quanto più la prima probabilità è maggiore della seconda. Ovviamente questo ragionamento sarà un po' più complicato in quanto accompagnato da un insieme di strumenti statistici sui quali non mi soffermo (verifica di ipotesi, modelli logit, ecc....).

In Epidemiologia si è soliti parlare di rischio assoluto invece che di probabilità, quindi il medico e lo statistico cercheranno di valutare se il rischio di tipo 1 è maggiore del rischio di tipo 2. La valutazione di questo semplice aspetto può avvenire rapportando il rischio o probabilità 1 al rischio o probabilità 2. Quanto più tale rapporto sarà maggiore di 1, tanto più saremo portati a pensare che il rischio di insorgenza malattia sia più forte se il fattore di rischio è presente. Tal rapporto viene detto rischio relativo:

a /(a+b) / c/(c+d).

A questo punto chi ha una forma mentis quantitativa (...proprio come lo statistico...) si divertirà nella ricerca di forme matematiche diverse di tale rapporto, ma io direi che poco interessano e poco servono a chi è interessato alla comprensione del fenomeno. Anzi direi che potrebbero essere addirittura controproducenti, portando il ricercatore a perdere di vista l'obiettivo.

Il caso appena discusso riguarda l'indagine prospettica, vediamo ora cosa accade nell'altro caso.

Nell'indagine retrospettiva abbiamo illustrato chiaramente che a priori non si dispone del campione suddiviso per fattore di rischio, ossia mediante il fattore logicamente antecedente, ma si disporrà dei malati e dei sani. Procedendo "retrospettivamente" alla classificazione in base alla presenza o l'assenza del fattore di rischio (...fumavi in passato?...) si riempirà la tabellina in ognuna delle quattro caselle, ma il calcolo del rischio relativo non ha più senso. La freccia disegnata, infatti, non segue più lo stesso "senso dei dati" (è verticale, non più orizzonatale). I campioni sono ora a+c e b+d, e mischiare a con b e c con d potrebbe portare a risultati fortemente errati. Le numerosità dei due campioni, infatti, saranno in genere molto diverse, con un campione di sani generalmente più grande di quello di malati (b+d > a+c).

Immaginiamo paradossalmente di disporre di 8 malati (a+c) e 200 sani (b+d). Li interroghiamo sulle loro abitudini di vita e scompriamo che degli 8 malati, 3 hanno fumato (quindi a=3) mentre trai i 200 hanno fumato in 150 (b=150). A questo punto ve la sentireste di dire che 3 / (3+150) (ossia il rischio a/a+b) è la probabilità di ammalarsi essendo stati fumatori? Io direi che non ha senso sommare 3 a 150 poiché i dati sono di campioni diversi; non abbiamo mica seguito nel tempo 153 individui fumatori valutando così l'insorgenza della malattia! Essendo errato il calcolo del rischio assoluto e ralativo in tale caso, si usa studiare il fenomeno con l'Odds Ratio.

Innanzitutto, diciamo che un Odds è un rapporto di probabilità. Consideriamo un campione suddiviso in base alla presenza o assenza di una caratteristica, ossia la nostra variabilie dicotomica (maschio/femmina, fumatore/non fumatore, bello/brutto, ecc....). Se a sono i fumatori e c i non fumatori (nel campione di malati) , a / (a+c) è la probabilità di trovare un fumatore nel nostro campione. Analogamente, c / (a+c) è la probabilità di trovare un non fumatore. L'Odds (relativamente ai malati) per tale variabile dicomotica è quindi il rapporto tra la probabilità che una unità del campione sia fumatrice e la probabilità che sia non fumatrice:

a /(a+c) / c/(a+c) = a / c.

Tale indice ci dice quanto è maggiore la probabilità di beccare un fumatore rispetto a quella di non beccarlo. Torniamo alla tabella relativa al caso di un'indagine retrospettiva.

In base a come abbiamo costruito il nostro campione, seguendo la freccia verticale, ha senso calcolare anche l'Odds per i sani:

b/(b+d) / d/(b+d) = b / d.

A questo punto l'Odds Ratio è il rapporto dei due Odds (così come il rischio relativo e il rapporto dei due rischi assoluti):

a/c / b/d.

Se tale valore è maggiore di 1, l'Odds dei malati è maggiore di quello dei sani e quindi potremmo dire che nei malati la probabilità di beccare un fumatore rispetto a quelle di non beccarlo è maggiore rispetto a quanto accade nei sani. Tale modo di ragionare, però, nasconde evidentemente qualcosa di "illogico". E' come se stessimo supponendo l'insorgenza della malattia come variabile antecedente il fattore di rischio, ossia che la malattia influisce sul fattore di rischio, ossia su di una variabile che invece si manifesta "prima" dell'altra. Quello che invece ci interesserebbe verificare è quanto cambia il rapporto tra la probabilità di ammalarsi e non, passando da un gruppo di individui senza fattore di rischio ad individui con fattore di rischio (qualcosa di analogo al rischio relativo).

Mentre per un'indagine prospettiva è subito evidente che possiamo eseguire tale calcolo (seguiamo il senso della freccia), da una prima riflessione potrebbe sembrare errato il calcolo di tale Odds Ratio per un'indagine retrospettiva (così come invece lo sarebbe il calcolo del rischio relativo). Ma con un banale passaggio algebrico si ottiene che:

a/c / b/d = a/b / c/d,

ossia che l'Odds Ratio per la nostra tabella è sempre lo stesso, indipendentemente da quale sia la variabile logicamente antecendente (cosa che invece non accade per il rischio relativo). Non è superfluo evidenziare che il secondo membro dell'uguaglianza è l'Odds Ratio che misura di quanto è più probabile l'insorgenza malattia rispetto alla non insorgenza, passando da individui con fattore di rischio a individui senza tale fattore.

Quindi, riassumendo, la nostra tabella con le quattro caselline è in pratica un campione che si suppone rappresentativo dell'universo. Calcolando uno qualunque degli indici sopra descritti, non facciamo altro che cercare di stimare lo stesso valore ignoto nell'universo. La differenza sostanziale, però, sta nel fatto che mentre il rischio relativo ha senso solo per l'indagine prospettiva, l'Odds Ratio è indipendente dal tipo di indagine. Quindi, il rischio relativo è una buona stima campionaria solo per le indagini retrospettive, mentre l'Odd Ratio lo è in entrambi i casi!

Quindi, per un'indagine retrospettiva useremo l'Odds Ratio per rispondere alla stessa domanda di prima: il fattore di rischio aumenta significativamente la possibilità che si presenti la malattia? Quanto più a/b /c/d sarà >1, tanto più saremo portati a dire che nel passaggio dalla situazione di assenza alla situazione di presenza del fattore di rischio , cresce il rapporto tra la probabilità di ammalarsi e quella che la malattia non insorga.

Sottolineo inoltre che in genere l'Odds Ratio è utilizzato sempre, quindi mi pare sia preferito anche nelle indagine prospettiche, sebbene in tali casi sia possibile calcolare il rischio relativo (ovviamente questa è solo una mia impressione).

Nei più diffusi testi di Epidemiologia o Statistica Medica si è soliti parlare di rapporto crociato in luogo di Odds Ratio. A mio parere tale esemplificazione algebrica è totalmente inutile e addirittura controproducente e per tale motivo nemmeno la riporto. Per quanto riguarda l'aspetto "informatico" per il calco di tali indici, direi che non è necessario nessun commento essendo il processo di calcolo molto banale e facilemente gestibile in un un foglio elettronico.

Concludo dicendo che il ragionamento che ho seguito è utile a comprendere il significato di Odds Ratio e Rischio Relativo, evitando quindi lo sforzo memorico necessario a ricordare i metodi di calcolo dei rapporti (...l'odds è il prodotto della cella a per b, diviso per...). Ovviamente, per completare il tutto, sarebbe necessario approfondire con lo studio della verifica di ipotesi e dei modelli logit, ma tali argomenti sono abbondantemente trattati nei testi di stastica ed anche in rete.

Gestire i Missing Value in R

2008-09-30T09:07:00.007+01:00

La visualizzazione e l'imputazione dei "dati mancanti" in un'indagine , in particolare nella Statistica Ufficiale, è sicuramente la fase più importante per garantire la qualità del dato statistico . La letteratura sull'argomento è matura e ben fornita, e i software commerciali non prevedono, a mio parere, un modulo "completo" (ovviamente in ognuno di questi ci sono possibilità di sviluppare grafici ad-hoc e applicare un qualsivoglia test).
In particolare l'ISTAT ha sviluppato in SAS il software CONCORD per il controllo e la correzione dei dati, strumento potentissimo e liberamente scaricabile, ma che appunto necessita del SAS.
In R esiste la possibilità di lavorare con VIM, che sta appunto per Visualization and Imputation of Missing values. Come gli stessi autori sottolineano, il cuore del pacchetto sta nell'insieme dei possibili grafici utili alla scoperta e alla gestione dei missing values.
In realtà, analogamente a quanto ho già scritto per Rcmdr, un altro grande aspetto è la possibilità di ricorrere all'interfaccia grafica (sviluppata mediante il pacchetto tcltk). Non dimentichiamo, infine, le possibilità di integrazione di R con il pacchetto office e la possibilità si sviluppo in maniera estremamente immediata delle interfacce grafiche (ad esempio via Access).
Concludo osservando che l'ISTAT ha già espresso parere sostanzialmente postivo per l'utilizzo di R ed ha avviato un processo di migrazione a tale strumento...quindi R anche nella statistica ufficiale.

RExcel su Wikipedia

2008-09-09T13:58:00.004+01:00

Su Wikipedia c'è ora una breve descrizione di RExcel; molto interessanti i link riportati nelle References.

Trasporre un foglio excel di dati "statistici" in formato "database"

2008-07-15T08:31:00.010+01:00

L'operazione che vado a descrivere penso sia sostanzialmente comune per chi lavora con un dataset "statistico". In pratica chi utilizza un software per analisi statistiche, come R, SAS, SPSS e ci mettiamo in mezzo pure Excel, è abituato ad avere un insieme di dati alle cui righe corrispondo le singole osservazioni e alle cui colonne corrispondo le variabili. Immaginiamo che le variabili siano "sommabili" tra loro, ossia che si riferiscano ad un fenomeno per cui ha senso fare la somma di tutte le variabili. Ad esempio, consideriamo di avere un campione di aziende per ognuna delle quali osserviamo tutte le voci di costo che le caratterizzano nella loro attività. In tal caso, quindi, in Excel siamo abituati ad aggiungere un'ultima variabile (colonna / campo) che sia la somma di tutte le precedenti (nel nostro esempio, quindi, avremo l'ammontare totali dei costi).

E' poi usuale "salvare" i dati in un database in cui è sicuramente preferibile gestire il tutto in modo differente, ossia avere un'unico campo con i dati (ovviamente solo nel nostro caso in cui dati si riferiscono allo stesso fenomeno), utilizzando poi un campo con l'identificativo dell'osservazione ed un altro con il codice identificativo della variabile.

Sempre tornando al nostro esempio delle aziende e dei costi, salveremo i dati in un tabella di database avente tre campi: il primo con un codice che identifica l'azienda, il secondo con un codice che identifica il tipo di costo (energia, costo del lavoro, manutenzione, ecc...), il terzo con il valore del costo. Il primo ed il secondo campo formano una chiave per la tabella, ed avremo un numero distinto di voci di costo pari al numero di variabili (colonne) del nostro dataset iniziale.

Tale operazione di particolare trasposizione della tabella è immediata in Excel mediante la macro che riporto di seguito. Quindi, qualunque sia il software che usiamo, basterà importare la tabella in Excel ed eseguire la macro. L'unico vincolo è il numero massimo di record che si possono gestire. Come ricordato in questo mio post, questo limite si alza notevolmente con la versione più recente di Excel. In genere, comunque, nel caso fosse una "grosso" dataset, sarà sufficiente estrarre dei suoi sottoinsiemi di osservazioni e variabili per lavorare ugualmente con tale macro.

Nel mio esempio, comunque, ho ipotizzato che l'utente lavori con una versione di Excel che prevede al massimo 65,536 righe, restituendo un messaggio di errore nel caso la trasposizione del dataset dovessere portare ad un numero maggiore di record. Il codice vba, comunque, è immediatemante adattabile al caso di Excel 2007 (1,048,576 "righe" e 16,384 "colonne").

Ecco il codice, da associare ad un pulsante di comando:

'*****************************************************

Private Sub cmdTrasponi_Click()
Dim j As Long
Dim i As Long
Dim r As Long
Dim c As Long
r = 0
c = 0

For j = 2 To 256
If Worksheets(1).Cells(1, j).Value <> "" Then
c = c + 1
End If
Next

For j = 2 To 65536
If Worksheets(1).Cells(j, 1).Value <> "" Then
r = r + 1
End If
Next

If c * r + 1 > 65536 Then
MsgBox "Matrice troppo grande per essere gestita in excel"
Exit Sub
End If

If r <= 1 Or c <= 1 Then MsgBox "Numero di dati da trasporre troppo basso"

Exit Sub
End If

For j = 2 To r + 1
For i = 2 To c + 1
Worksheets(2).Cells(i + c * (j - 2), 3).Value = Worksheets(1).Cells(j, i).Value
Worksheets(2).Cells(i + c * (j - 2), 2).Value = Worksheets(1).Cells(1, i).Value
Worksheets(2).Cells(i + c * (j - 2), 1).Value = Worksheets(1).Cells(j, 1).Value
Next
Next

Worksheets(2).Cells(1, 1).Value = Worksheets(1).Cells(1, 1).Value
Worksheets(2).Cells(1, 2).Value = "Descrizione dati"
Worksheets(2).Cells(1, 3).Value = "Dati"

MsgBox "Trasposizione in formato database terminata"

End Sub

Usare R in Access

2008-02-27T15:23:00.034+01:00

L'utilizzo di R in Access mi ha permesso di sviluppare modelli statistici di notevole complessità in maniera abbastanza semplice, utilizzando un software diffusissimo quale appunto Access. Quest'ultimo lo uso in genere come interfaccia utente per "nascondere" un motore di calcolo statistico come R e, in alcuni casi, un motore database diverso da Jet (come ad esempio Firebird, in riferimento al quale ho scritto questo post). In pratica mi è capitato di utilizzare Access per accedere ad un database Firebird via odbc, crearmi delle tabelle temporanee da passare ad R, applicare il mio modello statistico (in questo caso direi di data mining) e visualizzare i risultati finali tramite tabelle create in Jet. In tal modo, quindi, Access funge esclusivamente da interfaccia, sfruttando quindi la possibilità di gestire i dati tramite vba e mediante un modello di riferimento molto semplice ed allo stesso tempo molto efficace.

Nell'esempio che riporto di seguito ho preferito fare riferimento ad una tabella generata tramite Jet e, quindi, ad un utilizzo intensivo di Access stesso. Per un utilizzo di quest'ultimo con un motore db differente (quale, ad esempio, Firebird), l'esempio di seguito riportato penso rimanga valido con opportuni accorgimenti legati a tabelle collegate tramite odbc.

La possibilità di richiamare R da Access, analogamente a quanto avviene per Excel così come spiegato qui, resta legata all'utilizzo di R(D)COM. Quindi, sul proprio calcolatore sarà necessario disporre di R, R(D)COM ed ovviamente Access (io lavoro con la versione del 2003). Prima di cominciare a scrivere il codice sarà necessario apire l'editor di Visual Basic (ALT+F11) > Strumenti > Riferimenti e spuntare le librerie StatConnectorClnt 1.0 Type library, StatConnectorCommon 1.1 Type library e StatConnectorSrv 1.1 Type library. Nel caso queste non fossero disponibili nell'elenco, saranno disponibili al seguente indirizzo: C:\Programmi\R\(D)COM Server\tlb con estensione .tlb. Ovviamente non le troverete se avrete installato R(D)COM in un percorso differente da quello standard, ed in tal caso ve le andrete a cercare :-)

Nell'esempio dispongo di una tabella in Access così composta:

tbPrezzi (mese, prezzoGpl, prezzoBenz)

ossia una tabella (tbPrezzi) con i prezzi industriali di gpl e benzina per i 12 mesi del 2007 . Si tratta di dati ufficiali presi dal sito del ministero.

In maniera molto semplice ho immaginato che l'utente sia interessato al coefficiente angolare della retta di regressione lineare del prezzo del gpl sul prezzo della benzina.

In R basterebbe utilizzare il seguente comando: >lm(y~x)$coeff[2]

con y ed x pari appunto ai due campi della tabella tbPrezzi, ossia prezzoGpl e prezzoBenz rispettivamente in luogo di y ed x. Quindi ho costruito una maschera che contiene un pulsante di comando al cui click si generano le seguenti operazioni (riportate passo per passo nel codice sotto):

creo un recordset in vba coincidente con la tabella tbPrezzi e due vettori x ed y pari rispettivamente a prezzoGpl e prezzoBenz;
avvio R dietro le quinte;
passo questi vettori ad R;
eseguo il calcolo del coefficiente b della retta di regressione e riporto il risultato del calcolo in Access;
decido di visualizzare b tramite un messaggio a video (MsgBox), ma equivalentemente avrei potuto continuare ad usarlo in vba ed in Access per scopi differenti;
chiudo R.

Ovviamente il mio esempio può essere generalizzato a modelli più complessi, come ad esempio l'applicazione di un modello CART generato in R (mediante la libreria tree) sulla base di un insieme di dati provenienti da un database diverso da Jet. Si riporta di seguito il codice associato all'evento "click" per un pulsante di comando:

'***************************************************************

Private Sub Comando0_Click()
Dim stc As StatConnector
Dim x(1 To 12) As Double
Dim y(1 To 12) As Double
Dim i As Integer
Dim b As Double
Dim db As DAO.Database
Dim rs As DAO.Recordset

'*********************PASSO 1********************
Set db = DBEngine(0)(0)
Set rs = db.OpenRecordset("tbPrezzi")
i = 1
Do Until rs.EOF
x(i) = rs.Fields(2)
y(i) = rs.Fields(1)
rs.MoveNext
i = i + 1
Loop

'*********************PASSO 2********************

Set stc = New StatConnector
stc.Init ("R")

'*********************PASSO 3********************

stc.SetSymbol "x_R", x
stc.SetSymbol "y_R", y

'*********************PASSO 4********************

b = stc.Evaluate("lm(y_R~x_R)$coeff[2]")

'*********************PASSO 5********************
MsgBox "Coefficiente angolare regressione prezzo gpl su prezzo benzina: " & b

'*********************PASSO 6********************

stc.Close

rs.Close

db.Close
End Sub

'***************************************************************

Si noti che ho preferito parlare di x e y per vettori gestiti in vba, mentre ho parlato di x_R e y_R per gli stessi in ambiente R. Infine bisogna precisare che il dialogo tra R ed Access avviene tramite l'oggetto StatConnector. Per maggiori informazioni è sufficiente consultare il sito ufficiale di R(D)COM........ampiamente linkato nel mio blog :-)

Importare dati in R da Excel

2007-10-23T15:49:00.000+01:00

Sono molte le ricerche per importare dati in R da Excel che da google portano al mio blog, così ho pensato di scrivere delle indicazioni specifiche.

Innanzitutto, come più ampiamente spiegato in questo mio vecchio post, io consiglio l'utilizzo della libreria Rcmdr che permette l'importazione stile "software commerciali" direttamente da un file di Excel, Stata, Minitab, Access, ecc... .

Ma se proprio non si vuol dar retta a questo mio consiglio :-), la procedura è riportata di seguito.

Immaginando di essere in Italia in cui il separatore decimale utilizzato è la virgola, la prima cosa da fare è salvare il foglio Excel in formato testo delimitato da tabulazione. Bisogna stare attenti a non salvare in txt utilizzando il separatore delle migliaia per le variabili (colonne di Excel) aventi Numero come Formato Celle (quindi, in Excel, per le celle con formato Numero: Formato Celle > Numero e togli il segno di spunta in corrispondenza di Usa separatore delle migliaia (,) ). Sto inoltre immaginando, come penso accada in genere, che la prima riga della tabella Excel indichi il nome delle variabili.

A questo punto il codice in R è semplicemente:

x<-read.delim2("C:/miaCartella/mioFile.txt") .

Notate che nell'indicazione del percorso del file si debba usare "/" invece di "\". A questo punto x sarà il data.frame in R corrispondente alla vostra tabella di Excel.

Infine, faccio notare come il seguente comando:

x<-read.table(file="C:/miaCartella/mioFile.txt", header=TRUE, sep="\t", dec=",")

sia perfettamente equivalente al precedente (l'help in linea può aiutare a charirsi le idee).

Aggiornare R e R(D)COM server

2007-10-22T08:55:00.000+01:00

In base a quanto riportato dalle FAQ per Windows e in base alle mie esperienze, riporto la procedura da eseguire per l'aggiornamento di R e di R(D)COM all'ultima versione.

Tale aggiornamento in molti casi può non essere necessario in quanto l'utente può lavorare tranquillamente con una versione "vecchia" senza rendersene conto. In tale caso, comunque, la cosa sicuramente da non fare è l'aggiornamento delle librerie. Quest'ultimo, infatti, dovrebbe sempre essere preceduto da un aggiornamento di R.

Immaginate di lavorare con la 2.4.0 (questo è un episodio reale per il quale sono stato contattato) e di aggiornare le librerie (nella RGUI: Pacchetti > Aggiorna pacchetti...). Così facendo, nella cartella "library" vi ritroverete le librerie che utilizzate normalmente, aggiornate alle versioni più recenti che, in genere, potrebbero non essere più "funzionanti" con la vecchia versione di R con la quale stavate lavorando.

Quindi, la prima cosa da fare è rimouvere R (Pannello di controllo > Installazione applicazioni > Rimuovi o direttamente con unins000.exe). Tale operazione non cancellerà via la cartella library nella quale, appunto, restano tutti i pacchetti che normalmente siete abituati ad utilizzare. In tal modo, quindi, dopo aver installato la nuova versione di R (attualmente siamo alla 2.6.0), basterà sostituire il contenuto della nuova cartella library (C:\Programmi\R\R-2.6.0\library) con il contenuto della vecchia (C:\Programmi\R\R-2.4.0\library) ed effetture l'aggiornamento dei pacchetti (nella RGUI: Pacchetti > Aggiorna pacchetti...). In tal modo vi ritroverete tutte le librerie di cui disponevate, aggiornate e compatibili con la nuova release di R. In pratica, quindi, io non andrò a sostituire l'intera cartella, ma andrò a copiare il contenuto della vecchia library e ad incollarlo nella nuova, cliccando no al messaggio di Conferma sostituzione file di Windows relativo alle librerie standard già installate assieme alla nuova release di R.

Per quanto riguarda R(D)COM, la procedura è la solita per la rimozione (Pannello di controllo > Installazione applicazioni > Rimuovi o direttamente con unins000.exe ) e la solita per l'installazione (attualmente il setup più aggiornato è RSrv250_pl1.exe). Successivamente all'installazione si può eseguire un primo test tramite lo StatConnector Test : C:\Programmi\R\(D)COMServer\samples\Simple\simple.exe > Start R. Nella totalità delle installazioni che ho eseguito si ottiene il messaggio di errore: Run time error '462': The Remote server machine does not exist or is unavailable . Il problema sta nel settaggio del registro di Windows e, senza chiedersi cosa significhi :-), il problema si risolve tramite C:\Programmi\R\R-x.x.x\bin\RSetReg.exe . Successivamente, richiamando nuovamente lo StatConnector Test (a meno di altri errori) si otterrà una serie di messaggi di informazione che confermano il corretto funzionamento di R(D)COM Server.

Indice di concentrazione di Gini in Excel

2007-06-11T10:17:00.003+01:00

Download del file xls con la relativa funzione.

Tra le funzioni statistiche di excel non mi risulta disponibile l'indice di concentrazione di Gini e ho sviluppato la relativa funzione in vba.
La formula a cui mi riferisco è la seguente, dove le x_(i) sono ordinate in senso non decrescente:

Ai fini computazionali, mi è risultato conveniente esplicitare la formula nel seguente formato:

ossia come rapporto tra l'indice di disuguaglianza senza ripetizione (ossia con il denominatore pari a n(n-1) invece che n^2):

ed il suo massimo:

Inizialmente avevo optato per la seguente forma:

ma essa si base sull'ordinamento di un array che prevederebbe un po' di codice per essere effettuato, non essendo già prevista una relativa funzione standard in vba. Per l'indice di concentrazione in R si faccia riferimento alla libreria ineq. Ho anche avviato una discussione sulla mailing-list per dei chiarimenti sulla formula utilizzata (l'indice infatti non fornisce il valore 1 in caso di massima concentrazione), ma la risposta stava nella differenza tra indice distorto e non distorto.

Riporto di seguito il codice della funzione in vba :

'********************************************

Public Function gini(x As Range) As Double

Dim tb As Variant
Dim h As Long
Dim k As Long
Dim i As Long
Dim j As Long
Dim num As Double
Dim den As Double

tb = x.Value

num = 0
den = 0
For h = 1 To UBound(tb, 1)
For k = 1 To UBound(tb, 2)
If IsNull(tb(h, k)) Then
tb(h, k) = 0
End If
den = den + tb(h, k)
For i = 1 To UBound(tb, 1)
For j = 1 To UBound(tb, 2)
num = num + Abs(tb(h, k) - tb(i, j))
Next j
Next i
Next k
Next h

'INDICE DI DISUGUAGLIANZA

num = num / (UBound(tb, 1) * UBound(tb, 2)* _

(UBound(tb, 1) * UBound(tb, 2) - 1))

'MASSIMO DELL'INDICE DI DISUGUAGLIANZA

den = 2 * den / (UBound(tb, 1) * UBound(tb, 2))

If den = 0 Then
gini = 1
Else
gini = num / den
End If
End Function

'********************************************

Usare R in Calc: ROOo

2007-05-24T11:16:00.000+01:00

A causa di parecchio lavoro ho veramente poco tempo da dedicare al blog, ma questa notizia non può essere di certo trascurata. E' nato un progetto di integrazione tra R e Calc (il foglio elettronico di OpenOffice), curato sempre da Thomas Baier e company, sia in ambiente Windows che Linux. La notizia mi è giunta proprio oggi e, ovviamente, il tutto è in versione alpha / test. Io per lavoro uso sempre Excel, quindi non sono direttamente interessato, tuttavia il progetto è sicuramente importante per gli utenti di Calc. Info e downolad di ROOo a questo indirizzo.

Firebird, Flamerobin e IBUtils

2007-03-15T18:08:00.001+01:00

In alcuni lavoro che ho svolto (e che continuo a svolgere) mi sono trovato a sviluppare e gestire basi di dati. Nell'immenso universo dei possibili database, spesso per decisioni aziendali legate a motivazioni puramente economiche, mi sono trovato a dover scegliere tra tutte le possibilità a basso costo (diciamo pure aggratiss). La mia esperienza assolutamente positiva e, soprattutto, a costo nullo è legata ad un nome: Firebird.
Non intendo discutere di eventuali confronti con altri database (commerciali e non) non avendo le competenze per farlo ed essendo l'argomento già ampiamente trattato in rete (inoltre penso non si arriverebbe a conclusione, essendo i pareri discordanti). Voglio solo esprimere la mia totale soddisfazione nel gestire (ripeto: a costo nullo!!!) grossi database.
In particolare, in seguito alla continua ricerca in rete di "strumenti" (sempre aggratiss) per lavorare con Firebird e in seguito a ripetuti confronti tra tutto ciò che offre il web, mi sento di poter riassumere in due link quelli che sono attualmente i miei ferri del mestiere che, quindi, consiglio a tutti: Flamerobin, per lavorare via sql con tabelle e procedure, IBUtils per disegnare la struttura del db in maniera grafica e visuale.

RDCOM Server V2.5 e RExcel V1.75

2007-03-02T09:12:00.000+01:00

In riferimento a quanto già discusso nel mio precedente post, dopo un breve periodo di test è ora possibile scaricare la nuova versione di RDCOM e di RExcel. Il download può essere effettuato a questo indirizzo, ma Thomas Baier annuncia che presto sarà aggiornata la relativa pagina web.

Excel 2007 e R(D)COM

2007-02-13T18:14:00.000+01:00

Un aspetto interessantissimo della nuova versione di Excel è sicuramente il suo nuovo e più ampio limite in termini di "dimensione": 1,048,576 "righe" e 16,384 "colonne" (rispettivamente records e campi per un informatico, casi e variabili per uno statistico :-). Questi limiti, infatti, rendono sicuramente possibile l'utilizzo di excel come piattaforma di "base" per la gestione di dataset abbastanza grandi. Leggendo questa mia affermazione, un dataminer che lavora con SAS si farà una bella risata nel pensare alle dimensioni (in termini di records, campi e terabyte) dei dataset che lui stesso reputa grandi!!!!! Tuttavia il passaggio da 65,536 a 1,048,576 records aumenta di molto le possibilità di usare Excel come strumento di analisi di dati. Ovviamente non sto pensando a questo foglio elettronico come al motore di analisi del dato, ma sto considerando la possibilità di interagire, tramite R(D)COM, con il software R. Quest'ultimo, infatti, permette sicuramente la possibilità di ricorrere ad un elevato numero di librerie di "funzioni" che, a volte, mi sembrano più aggiornate e più affidabili di quanto sviluppato nei software commerciali.
Attualmente sto seguendo (sulla mailing list) le discussioni degli sviluppatori relative agli aggiornamenti di R(D)COM (o meglio, aggiornamento di RExcel) per una release compatibile con Excel 2007 e, ovviamente, non tarderà ad arrivare una versione stabile.
Infine, ma non per importanza, bisogna sottolineare che le possibilità di utilizzo di R ed Excel per dataset "grandi" (...e ancora una volta ci saranno sicuramente pareri discordanti...) sono direttamente dipendenti dalla macchina sui cui girano i dati. Le possibilità di sfruttare questi nuovi e più ampi limiti di Excel, infatti, sono legati ad un doppio processore e a macchine con ram più consistenti di quelle a cui siamo stati abituati fino ad ora.

Google PageRank

2006-12-22T16:26:00.000+01:00

L'anno scorso lessi un breve ed interessante manualetto sul fuzionamento di Google ed ora segnalo l'esistenza della seconda edizione.
L'argomento a cui ero molto interessato era il calcolo del PageRank (discusso nel libro in maniera generica e senza affrontare gli aspetti matematici e computazionali), ossia al voto che la rete stessa assegna ad ogni singola pagina Web. In parole povere (...ma molto povere visto che l'algoritmo di calcolo si basa sul concetto di processo di Markov...) il PageRank è una "somma pesata" del numero di link che rimandano alla pagina in questione, utilizzando come pesi dei "coefficienti di importanza e popolarità" del sito da cui parte il collegamento.
Tra tutto il materiale che ho letto in rete mi è piaciuto molto quello che ho trovato su questo sito, in particolare la pagina relativa all'algoritmo di calcolo.
Per rendersi conto dell'importanza del PageRank basti pensare al fatto che la rilevanza di un sito in rete, secondo un mio parere personale, si misura ormai in base alla posizione che questo occupa nei risultati di una ricerca fatta su Google.

R commander e SciViews-R

2006-12-13T03:38:00.000+01:00

Con questo post segnalo l'esistenza di alcuni progetti volti a creare una GUI per R , considerando che mi sembra che tale aspetto sia poco "pubblicizzato". Per un po' ho lavorato cercando di limitare il più possibile l'interfacca a linea di comando per testare quelli che dovrebbero essere i progetti più interessanti: R Commander e SciViews-R. R Commander è "semplicemente" una libreria da richiamare per poter poi usufruire di un'interfaccia grafica come aiuto nella gestione dei dati: importazione di un dataset, esecuzione delle più comuni procedure di analisi statistiche, esportazione dei dati. In base i miei gusti (anche se immagino che come me a molti non interessi), penso che come interfaccia non sia molto accattivante per quanto riguarda la sua veste grafica (aspetto da non sottovalutare da un punto di vista commerciale), ma le possibilità offerte sono veramente interessanti. In particolare, l'operazione più disincentivante nell'utilizzo di un software come R penso sia la semplice importazione della matrice di dati. Se lavorate, ad esempio, con un foglio excel che dovete importare in R per poi effettuare una analisi di regressione, vi scontrerete sicuramente con l'uso di read.table e dovrete stare attenti a precisare l'indirizzo a cui corrisponde il file da importare, il separatore, la presenza o meno di una riga di intestazione e soprattutto il separatore per i decimali!!!! (che per gli anglosassoni è il punto e per noi italiani la virgola; a proprosito, in excel evitate di usare il separatore delle migliaia se dovete importare in R). Tutta questa operazione va semplicemente eseguita (dopo aver richiamato la libreria R Commander: Rcmdr) con una serie di click in maniera sostanzialmente analoga a quanto avviene nei software commerciali. Infine, penso che l'altro aspetto importantissimo sia la possibilità di leggere il codice R corrispondente ad una qualunque procedura di analisi eseguita tramite l'ausilio dell finestre di Rcmdr (acquisendo padronanza con il linguaggio).Per quanto riguarda SciViews-R, credo che la sostanza non cambi, mentre cambia la veste grafica che mi sembra più interessante (ma ripeto, questo è forse un aspetto che non interessa). In particolare, segnalo che le procedure "guidate" di analisi dati si ottengono richiamando la stessa libreria Rcmdr (quindi ritorniamo sempre alle stesse finestrelle di cui sopra). Uno strumento sicuramente interessante è invece l' Object explorer che permette di osservare l'elenco di funzioni e dataset presenti in ogni libreria, con la possibilità di richiamare esempi associati alle stesse.Infine, un problema esistente attualmente ma che dovrebbe essere risolto è la versione di R. Alla data in cui scrivo la 2.4.0 è la versione più recente, mentre SciViviews-R "gira" correttamente con la 2.2.0. Sul sito è chiaramente indicato che la versione richiesta è la 2.2.0, ma nel manuale si legge <<...you must make sure you install at least R version 2.2.0..>>. Io comunque ho testato il tutto ed ho avuto una discussione via email con Philippe Grosjean: attualmente è necessario usare la 2.2.0, quindi ho risolto installando sial la 2.4.0 che la 2.2.0. Quest'ultima la uso solo quando avvio SciViews-R.

Comunque, concludendo, io continuo a lavorare con la linea di comando di R, richiamando Rcmdr ogni tanto, soprattutto per l'importazione dei dataset (è veramente comodo), mentre uso SciViews-R solo per richiamare l'esploratore di oggetti. Penso però che si tratti di strumenti utilissimi (soprattutto per chi è alle prime armi) da usare come guida di fronte alla necessità di eseguire un'operazione della quale non si conosce bene il codice in linguaggio R.

MARS: multivariate adaptive regression splines

2006-11-14T03:38:00.001+01:00

Tra le varie tecniche di analisi dati sviluppatesi ultimamente nell'ambito del data mining, in relazione al tanto noto problema di modellazione statistica con un numero elevato di variabili esplicative, segnalo i modelli MARS. A differenza di altre tecniche statistiche, inoltre, penso ci sia meno materiale in giro (in particolare in italiano). In questo mio articolo, comunque, non intendo affrontare l'argomento nello specifico, ma segnalare solo alcuni link dal quale trarre le giuste informazioni. La logica alla base del modello si sviluppa, anche in questo caso, nel mitico dipartimento di statistica della Stanford University. Ovviamente penso che la consultazione di tale sito sia d'obbligo per chi vuole essere aggiornato sugli sviluppi scientifici del data mining: si provi, tra i tanti, a dare un'occhiatina alla pagina di Jerome H. Friedman...Il rischio di "partire" con altre discussioni off topic è davvero elevato se si dovessere prendere spunto da tutto quello che ha scritto Friedman...Comunque, ritornando ai modelli MARS, ci sono tanti articoli liberamente scaricabili a questo indirizzo. Potete notare che il materiale deriva dal sito della Salford System, società americana che produce software per sviluppo di analisi di data mining. Non a caso, la società collabora con i big della Stanford University (...non ho ben capito che legame ci sia tra l'università e l'azienda, comunque nel sito dell'università non sono pochi i link che rimandano alla Salford System...). In Italia non vi sono sedi di tale società, ma il software è ad esempio distribuito dalla TStat. Comunque, tornando ai modelli MARS, penso che per la comprensione a fondo dell'argomento sia anche qui necessaria una buona preparazione di matematica, infatti come lo stesso Friedman dice : ...the procedure is implemented by constructing a set of (globally defined) basis functions that span the space of qth order approximations... (in particolare, con tale frase ci si riferisce alle funzioni spline, e a tal proposito un seggerimento lo trovate qui). Infine, voglio riportare una frase molto significativa di Friedman, sottolineando che sulla curse of dimensionality (maledizione della dimensionalità) potete trovare un bel paragrafo nel libro di Azzalini-Scarpa: Analisi dei dati e data mining. Penso che sia un ottimo libro in lingua italiana sul data mining, ma il livello è sicuramente introduttivo. Dimenticavo :-), ecco la frase di cui parlavo:...the direct extension of piecewise parametric modeling to higher dimensions (n > 2) is straightforward in principle but difficult in practice. These difficulties are related to the so called “curse-of-dimensionality,” a phrase coined by Bellman (1961) to express the fact that exponentially increasing numbers of (data) points are needed to densely populate Euclidean spaces of increasing dimension. In the case of spline approximations the subregions are usually constructed as tensor products of K + 1 intervals (defined by K knots) over the n variables. The corresponding global basis is the tensor product over the K + q + 1 basis functions associated with each variable (6). This gives rise to (K + q + 1)^n coefficients to be estimated from the data. Even with a very coarse grid (small K), a very large data sample is required... . Per quanto riguarda la possibilità di implementare un tale modello con strumenti open source, per fortuna che c'è R. Nell' mda Package è disponibile la funzione mars, tuttavia lo stesso autore sottolinea che si tratta di una procedura ancora in fase di test (...svantaggi dell'essere gratis????.... :-)

aritmetica floating point

2006-11-11T03:45:00.000+01:00

Spesso mi è capitato di riflettere sull'importanza dell'utilizzo del calcolatore in un contesto lavorativo in cui si analizzano dati. La cosa sorpendente è come la gestione di questi possa avvenire (...entro certi limiti...) senza interrogarsi affatto su quello che accade a livello di linguaggio macchina.Allo stesso tempo, comunque, spinto dal desiderio di capire a fondo le modalità di risoluzione di un problema da parte di un eleboratore, mi sono imbattuto in alcuni testi di calcolo numerico. A tal proposito penso che il corso di laurea in Scienze Statistiche debba necessariamente prevedere un esame in tale ambito, essendo oggi giorno fondamentale per uno statistico capire quello che accade "dietro le quinte" del calcolatore. Allo stato attuale, invece, mi sembra che ciò non accada nelle facoltà italiane di statistica (ma probabilmente è solo una mia impressione sbagliata).Lo studio dell' aritmetica floating point, quindi, è fortemente consigliata. Tra i vari testi che in passato ho utilizzato mi permetto di consigliarne uno introduttivo ed abbastanza semplice:Fondamenti di Calcolo Numerico - G. Monegato - Levrotto&Bella.In particolare, il primo capitolo consiste in un'introduzione chiarissima alla rappresentazione dei numeri in un calcolatore, al condizionamento di un problema e alla stabilità di un algoritmo.Tra il materiale free (in italiano, altrimenti ce n'è una marea) disponibile in rete, invece, segnalo questo e quest'altro.Sempre nel testo di Monegato (...giacché ci troviamo, sperando di non essere off topic... :-) consiglio fortemente anche la lettura del capitolo 5 che riguarda, invece, l'approssimazione di dati e di funzioni. Noi statistici, infatti, siamo continuamente di fronte alla necessità di costruire un modello matematico che descriva sufficientemente bene un insieme di "punti". Gli argomenti trattati in questo capitolo, infatti, possono essere visti come introduzione di taglio matematico ai metodi di analisi dei dati che, in maniera molto generale, mi piace vedere come capitoli del data mining (si pensi, ad esempio, all'interpolazione polinomiale di Lagrange e alle funzioni spline).

Basilea 2

2006-11-05T03:50:00.000+01:00

Per chiunque fosse interessato a Basilea 2, il nuovo accordo internazionale sui requisiti patrimoniali delle banche, vi segnalo un buon libro uscito da poco per la FrancoAngeli:Basilea 2: diagnosi e terapie. Guida pratica per le imprese di Marco Muscettola.

Ovviamente :-)))), tra i contributi al libro di altri autori, segnalo il mio, ossia il capitolo in appendice sul rischio di redito. In esso ho cercato di riassumere i concetti di incertezza, rischio e previsione, soffermandomi sui metodi di gestione del rischio di credito e sui metodi di credit scoring a supporto delle decisioni di affidamento.

una breve premessa

2006-11-04T03:47:00.011+01:00

Un po' di info su le trovate su linkedin. Se volete, potete contattarmi su micheledemeo-gmail-com.