Ebot è un Web crawler scritto in Erlang dall’italiano Matteo Redaelli.
I vari indirizzi vengono raccolti dai vari crawler ed inviati in coda attraverso AMQP. I dati vengono salvati all’interno di database NoSQL come Apache CouchbDB o Riak. Con questa architettura è possibile far girare molti crawler in parallelo e fermarli o farne partire altri senza alcun problema.
Gli indirizzi ed i domini possono essere filtrati, riscritti o normalizzati utilizzando espressioni regolari o funzioni. Il codice è rilasciato sotto licenza GPLv3+.
Disco è una piattaforma open source per l’analisi di una gran quantità di dati.
Il framework supporta l’esecuzione parallela su normali computer di più computazioni su insiemi di dati molto grandi. Supporta varie implementazioni fra cui anche il sistema MapReduce.
Il nucleo di Disco è scritto in Erlang, un linguaggio che ben si adatta alla creazione di applicazioni distribuite e fault-tolerant. Gli utenti della piattaforma possono scrivere i propri job da eseguire in Python rendendo molto rapido lo sviluppo di programmi che gestiscono una grande mole di dati.
Questo progetto è nato nel Nokia Research Center come per rendere più facile la gestione del calcolo distribuito. Da allora è stato usato in molti ambiti: parsing, analisi di log, data mining, full-text indexing, modelli probabilistici, machine learning ed altro ancora.
Via | DiscoProject
Tsung è un programma distribuito per testare la capacità di carico di un sistema. Può essere utilizzato per effettuare stress test di server HTTP, WebDAV, SOAP, PostgreSQL, MySQL, LDAP e Jabber/XMPP.
Il punto di forza di Tsung è la capacità di generare una grande quantità di richieste da parte di migliaia di utenti diversi anche su un singolo processore. Ogni utente non è sempre attivo, ma può avere un tempo di inattività per riprodurre un vero utilizzo interattivo.
Se poi una macchina non è sufficiente potrete creare facilmente un cluster per aumentare il carico di lavoro sul vostro server. Il software è sviluppato in Erlang, basato su OTP e rilasciato sotto licenza GPLv2.
Via | Tsung
Da qualche giorno nella comunità Erlang italiana si parla della possibilità di una conferenza dedicata in Italia.
Tutto è nato sulla mailing list ufficiale che ha dato una spinta all’unico Erlang User Group in Italia, Erlang Etna User Group, e grazie all’interesse mostrato da Erlang Solutions Ltd. l’evento potrebbe tenersi nei prossimi mesi nel nostro paese.
L’Erlang Factory Lite consiste in una sequenza di talk seguita da incontri informali, erlounge, che normalmente si tengono in un pub o struttura simile. La probabile sede dovrebbe essere Roma, ma niente è ancora stato deciso e sono presenti ancora Milano e Catania nella rosa delle città candidate. Potete seguire la discussione su twitter (#erlangit) oppure su google gruppi.
Via | AloiRoberto
Mnesia è un DBMS distribuito scritto in Erlang con prestazioni soft real-time.
È stato sviluppato da Ericsson per l’uso nel settore delle telecomunicazioni ed è più simile concettualmente ad un database integrabile nell’applicazione come Berkeley DB anziché un vero e proprio standalone db server basato su sql.
Il modello del database è relazionale ed uno degli aspetti fondamentali di Mnesia è l’alta disponibilità che consente di riconfigurare le tabelle all’interno di uno schema e spostarle su nodi diverse anche mentre le operazioni di scrittura sono ancora in corso.
CouchDB, o più precisamente Apache CouchDB, è un database server fault-tolerant e schema-free document-oriented che utilizza per il dialogo RESTful HTTP/JSON API.
Tra le caratteristiche principali citiamo repliche incrementali con gestione e risoluzione automatica dei conflitti, indicizzazione dei dati senza bisogno di uno schema fisso ed infine l’uso di JavaScript come linguaggio di interrogazione.
CouchDb è scritto in Erlang e vi si può accedere da qualsiasi ambiente sia in grado di effettuare chiamate HTTP. Ci sono molte librerie per semplificare la programmazione per i più diffusi linguaggi.
ossblog è un supplemento alla testata Blogo.it registrata presso il Tribunale di Milano n. 487/06, P. IVA 04699900967. Contatti, chi siamo
© 2004-2011 Blogo.it, alcuni diritti riservati sotto licenza Creative Commons.
Per informazioni pubblicitarie e progetti speciali su Ossblog.it contattare la concessionaria esclusiva Populis Engage.
