programmi in cerca di autore ... R - Gambas et al ...

[pedrak]

Fantastico !!!! 
meglio di quanto avessi sperato !!! ...

mi studio l'esempio e poi vi racconto qualcosa di più
su quanto avevo in mente e gli sviluppi che potrebbe avere

 

Giuseppe

[pedrak]

Amici e Gambas Gurus,

sperando possa interessarvi provo a raccontarvi qualcosa in più  dell'uso che mi piacerebbe fare di Gambas e R . Spero resistiate a leggere fino in fondo ...

Se credete posso poi darvi tutte le informazioni anche personali che riterrete di chiedere.

Mi occupo di ricerca nel campo della Fisica e lavoro all'Università di Parma. Insieme ad altri colleghi e in  collaborazione anche con alcuni ricercatori della NASA stiamo sviluppando alcuni modelli matematici per l'analisi di dati che vengono inviati dalle sonde spaziali. Questi dati dovrebbero aiutare a capire, mediante immagini e spettri in riflettanza la composizione mineralogica della superficie planetaria, ad esempio di Marte. 

A tale scopo abbiamo codificato il modello che ci serve per analizzare i dati in R. ( http://cran.r-project.org/ )

Come dovrebbe ormai  risultarvi credibile, R è estremamente versatile e potente, in poche righe di codice si possono definire funzioni anche molto complesse e si hanno a disposizione, praticamente senza scrivere codice, routine potenti per il fitting dei dati sperimentali, l'analisi statistica, e la grafica . R sta diventando sempre di più lo standard del mondo accademico per quanto riguarda la statistica. Anche pacchetti commerciali da decine di migliaia di euro tipo Matlab e SPSS stanno rilasciando le loro ultime versioni con plug-in aggiuntivi per R.  Questo è un grande riconoscimento all'open source !

D'altra parte R è principalmente a riga di comando e batch, quindi non piace molto a tutte quelle persone, compresi scienziati più o meno famosi che non hanno molta dimestichezza con la programmazione e magari usano solo Excel o qualche pacchetto preconfezionato per un certo uso.

Tempo fa, abbiamo scritto un programma in visual basic .net che si interfacciava con R , tramite COM, e permetteva di utilizzare una interfaccia grafica per pilotare tutto il processo di lettura dei dati, analisi statistica e plot dei risultati. Tutto graficamente. Il programma è piaciuto ai colleghi che lo hanno visto e volevamo metterlo a disposizione come progetto open con licenza GPL. Poi abbiamo cominciato a incontrare problemi vari di compatibilità software, il programma non funzionava allo stesso modo su computer diversi nonostante la stessa versione di .net, visual Basic ecc ecc ...
Questo magari è dovuto anche al fatto che non siamo programmatori professionisti, quindi siamo un po' scarsi ... 
tuttavia ci ha disturbato parecchio.

Comunque è passato un po' di tempo, io ho sviluppato sempre di più l'interesse per Linux e il mondo Open Source ... allora mi sono chiesto ...

Perchè non in Gambas ?

Mi piacerebbe coinvolgere un po' la comunità Gambas per produrre un progettino come questo. Si potrebbero pubblicare senza difficoltà i risultati su una rivista scientifica internazionale e rendere disponibile il software come Università e comunità Gambas, inclusi i nomi di chi effettivamente partecipasse.   

Penso che per un esperto come fsurfing (Sergio)  sarebbe un gioco da ragazzi far funzionare il tutto in pochissimo tempo ...
ho visto il software che ha sviluppato, molto interessante davvero.

---------

Avrei poi un altro progetto, un pochino più complesso ma di portata ben maggiore se ci fosse interesse ...

Sviluppare un intero pacchetto per l'analisi statistica, tipo SPSS. Grafica Gambas, ovviamente, e motore R .

Produrrebbe sicuramente un grande interesse, anche internazionale. L'Università dove lavoro paga parecchio per le licenze di SPSS, non sarebbe meglio se ce li spendessimo a cena o in qualche altra attività di comune interesse ? 

Se qualcuno è interessato ... batta un colpo .


Saluti più che cordiali a tutti
Giuseppe

[milio]

Caspiterina, addirittura la NASA 

Se serve una mano ben volentieri, ma bisognerebbe studiarsi il modo di integrare le funzioni direttamente in gambas senza utilizzare la Shell...
Stasera se ho tempo vedo di trovare un modo, ma non prometto niente

[pedrak]

grazie in ogni caso ...

sono sicuro che con il vostro aiuto qualcosa di buono
verrà fuori sicuramente, magari diverso dallo scopo originale
ma comunque interessante ...

Giuseppe

[Taurus dei miracoli]

@pedrak e milio

Se avete bisogno di bassa manovalanza Gambas fatemi sapere, un po' di tempo ce l'ho...
...io ho incontrato Gambas da poco dopo aver programmato per 20 anni sotto Windows (soprattutto Visual Basic).
Fatemi sapere.

[Taurus dei miracoli]

Già che si pensa ad un progetto così importante...
...e a lungo termine, non è il caso di pensare a G3

[fsurfing]

il tuo preambolo non può che essere super interessante , ma avete considerato il fatto che gambas si puo utilizzare a livello nativo solo su macchine LINUX?  per utilizzare il programma su win si dovrebbe far girare  tramite macchina virtuale o al limite come applicazione client di un server LINUX

Poi per riuscire a realizzare qualcosa di valido bisognerebbe sapere esattamente cosa si vuole realizzare , percui dovresti descrivere per benino le funzioni che dovrebbero essere implementate dal programma.

@milio
Slegare R dai comandi shell sarebbe molto bello , credo che l' unico modo sia tramite i comandi extern , ma questo penso implichi la completa conoscenza di tutte le funzioni di R e di tutti i moduli aggiuntivi, forse con un buon controllo degli errori shel sia meglio , del resto viene utilizzato solo per avviare R e poi i comandi vengono inviati tramite il processo.
che ne dici?

[milio]

il tuo preambolo non può che essere super interessante , ma avete considerato il fatto che gambas si puo utilizzare a livello nativo solo su macchine LINUX?  per utilizzare il programma su win si dovrebbe far girare  tramite macchina virtuale o al limite come applicazione client di un server LINUX

E chi se ne frega, peggio per loro! 

@milio
Slegare R dai comandi shell sarebbe molto bello , credo che l' unico modo sia tramite i comandi extern , ma questo penso implichi la completa conoscenza di tutte le funzioni di R e di tutti i moduli aggiuntivi, forse con un buon controllo degli errori shel sia meglio , del resto viene utilizzato solo per avviare R e poi i comandi vengono inviati tramite il processo.
che ne dici?

Penso che tu abbia ragione, anche perche' io non so quali siano le funzioni da utilizzare o cosa bisognerà tirare fuori come output...

[fsurfing]

E chi se ne frega, peggio per loro!  Linguaccia

concordo 
ma pedrak potrebbe essere di diverso avviso..

[fsurfing]

intanto ho provato a mettere in pratica il suggerimento di milio a riguardo di far scrivere il grafico direttamente in un file, il funzionamento è ottimo però in caso si voglia aggiungere altri disegni al grafico diventa un problema, per cui ho optato per l' embledded

[Ceskho]

Amici e Gambas Gurus,

sperando possa interessarvi...

@pedrak

Non dispiacerti ma ho editato il messaggio per renderlo più compatto. Non c'è bisogno di andare a capo ad ogni rigo altrimenti vien su una poesia...la casella ha l'auto wrap e va a capo da sola...

Comunque personalmente direi che conviene abbandonare questa discussione visto che l'oggetto della richiesta ormai non sussiste più e di aprire una nuova discussione, magari in "Progetti in cerca di aiuto"....

P.S. La tua proposta è molto allettante ma io sono solo un bracciante agricolo più che ventiduenne e con la NASA ho poco a che fare..

[pedrak]

grazie Ceskho,

accetto volentieri il tuo suggeriremento di aprire una nuova discussione ... domani provvedo,
con tutti i dettagli.

Per quanto riguarda il resto ... l'esperienza e le capacità creative sono qualità preziose che possono
interessare chiunque, NASA compresa ...
A volta non si sospetta nemmeno di quanto utile possa essere per altri quel che si sa fare ...

Saluti
Giuseppe

[fsurfing]

R è veramente un bel programmone

provate a copiare questo listato nel programma allegato (pulsante "scrivi listato")  , avrete un grafico delle anomalie termiche ( fonte http://www.climatemonitor.it/?cat=420)

Codice: [Seleziona]

options(digits=6) # APPROSSIMAZIONE ALLA 6° CIFRA DECIMALE
library(tseries)
install.packages("tseries")
dati<- "http://www.remss.com/data/msu/monthly_time_series/RSS_Monthly_MSU_AMSU_Channel_TLT_Anomalies_Land_and_Ocean_v03_2.txt"
RSS_mensile <- read.table(dati,skip = 3,sep = "",dec=".",row.names = NULL,header = FALSE,as.is = T,colClasses = c(rep("numeric",3),rep("NULL", 8)),comment.char = "#",na.strings = c("*", "-",-99.9, -999.9),col.names = c("Anno", "Mese", "RSS_anom", rep("",8)))
anno_fraz <- RSS_mensile$Anno + (RSS_mensile$Mese-1)/12
RSS_data_frame<-data.frame(RSS_mensile,anno_fraz)
attach(RSS_data_frame)
c<-nrow(RSS_data_frame)
ultimo_mese <- RSS_data_frame$Mese
ultimo_anno <- RSS_data_frame$Anno
ultimo_dato <- RSS_anom
RSS <- ts(RSS_anom,start=c(1979,1),frequency=12)
plot(anno_fraz,RSS_anom,type="s",col="grey",xlab="",ylab = "°C - Anomalia termica",xlim=c(1979, 2010), ylim=c(-0.6,max(RSS)),cex.axis=0.95,cex.lab=0.95)
lines(RSS,type="h",col="lightgrey") # GRAFICO DI FONDO
abline(h=0,col="darkgrey")
lm_fit <- lm(RSS_anom~anno_fraz)
a <- coef(lm_fit)[1]
b <- coef(lm_fit)[2]
yr1 <- min(anno_fraz)
yr2 <- max(anno_fraz)
y1 <- a+b*yr1
y2 <- a+b*yr2
x_val <- c(yr1,yr2)
y_val <- c(y1,y2)
lines(x_val,y_val,type="l",col="red")
b <- signif(b, 3)
#points(yr2, ultimo_dato, pch=20, col = "blue")
#points(1995, -0.5, pch=20, col = "blue")
note2 <- paste("Ultima osservazione ",ultimo_mese, "/", ultimo_anno, " = ", ultimo_dato," °C")
text(1995, -0.5, note2, pos = 4, col = "blue", cex = 0.7)
note3 <- paste("Trend = ",b," °C / anno ")
text(1995,-0.4, note3,pos=4, col = "red", cex = 0.7)

[pedrak]

fsurfing, hai già prodotto molto di quello che può servire per il primo progettino !! ...   
... sono convinto che con tutti i dettagli vi basterebbe un giorno o due per produrne una versione
perfettamente funzionante e di gran lunga migliore della mia 

allego un file zippato con un pdf che mostra alcune immagini di quello che faceva il programma visual basic. In sostanza l'interfaccia serviva per aprire e leggere un file di dati in formato ASCII, plottare tramite R il grafico (spettro) corrispondente, poi aggiungere un certo numero di curve (che abbiamo chiamato EGO [Exponential Gaussian Optimization]), modificare la forma interattivamente con refresh del grafico, sempre via R, e alla fine, ottenuto il profilo voluto, far partire la routine di calcolo con R che produce i parametri finali. Dall'output di R viene poi aperta una finestra che mostra i risultati statistici e permette di salvarli in formati diversi, così come per il plot.
Il tuo programmino Gambas ha già molto di tutto questo ...

Nel pdf ho anche allegato una ricerca che potete fare con google e che rimanda a due lavori che abbiamo pubblicato sulle curve EGO scaricabili via internet. Non li ho allegati perchè occupano troppo spazio. A chi fosse interessato posso eventualmente inviarne una copia via email, se ha problemi a scaricarli dalla rete.

Spero davvero che questo possa essere l'inizio di una lunga e proficua collaborazione con la comunità Gambas.

Per quanto riguarda

E chi se ne frega, peggio per loro!  Linguaccia

concordo 
ma pedrak potrebbe essere di diverso avviso..

mi trovo anch'io d'accordo ... facciamo pubblicità a Gambas e ai "gamberi" nazionali ...

chiedo scusa a Ceskho, la discussione in effetti sarebbe più opportuna continuarla aprendo un nuovo titolo  ...

[pedrak]

Gent.mi tutti,

continuando la discussione iniziata nell'area programmazione dal titolo "leggere e scrivere in una finestra terminale", alla quale rimando per le prime  informazioni (se riscrivo tutto Ceskho mi bacchetta ...  ) , rinnovo l'invito, a chi fosse interessato, a produrre insieme qualcosa che riguardi l'uso di Gambas come interfaccia grafica per il pacchetto statistico R  (forse più di un pacchetto, un sistema ormai)    (http://cran.r-project.org/).

Avevo proposto un primo progettino per il fitting di dati sperimentali, con l'idea poi di passare a qualcosa di più complesso e ambizioso come un software statistico tipo SPSS. Esiste già un progetto simile in Linux, chiamato RKWard che si basa su R, ma a mio avviso non è proprio entusiasmante per gli utilizzatori. Se riuscissimo a produrre qualcosa in questo senso (prendendo ovviamente tutto il tempo necessario) potrebbe essere un progetto di grande interesse per chiunque usi software scientifico (e una grande pubblicità per la comunità Gambas italiana).

Tagliando corto ... , l'amico fsurfing (con suggerimenti anche di Milio et al) ha già prodotto alcune idee per usare Gambas insieme ad R  .  Ho fatto alcune prove, che non allego ora per non schifare nessuno  ,  e ho visto che il primo progettino che vi avevo proposto mi sembra già pienamente realizzabile. Tra l'altro già così com'è appare più veloce dell'equivalente programma in visual basic .net sotto windows 
Avevo provato anche ad usare Python con RPy, ma sinceramente con Gambas è più facile e versatile.

Mi prendo qualche giorno per produrre qualcosa di più decente (forse) e poi vi allego tutto, codice R compreso, per sottoporlo alla vostra attenzione .

Ringrazio tantissimo per il tempo che avete già dedicato e rimango ammirato per le soluzioni trovate ...

Saluti a tutti
Giuseppe