Ebot è un Web crawler scritto in Erlang dall’italiano Matteo Redaelli.

I vari indirizzi vengono raccolti dai vari crawler ed inviati in coda attraverso AMQP. I dati vengono salvati all’interno di database NoSQL come Apache CouchbDB o Riak. Con questa architettura è possibile far girare molti crawler in parallelo e fermarli o farne partire altri senza alcun problema.

Gli indirizzi ed i domini possono essere filtrati, riscritti o normalizzati utilizzando espressioni regolari o funzioni. Il codice è rilasciato sotto licenza GPLv3+.

Ebot, un crawler scritto in Erlang é stato pubblicato su Ossblog.it alle 14:00 di lunedì 03 gennaio 2011.

Disco è una piattaforma open source per l’analisi di una gran quantità di dati.

Il framework supporta l’esecuzione parallela su normali computer di più computazioni su insiemi di dati molto grandi. Supporta varie implementazioni fra cui anche il sistema MapReduce.

Il nucleo di Disco è scritto in Erlang, un linguaggio che ben si adatta alla creazione di applicazioni distribuite e fault-tolerant. Gli utenti della piattaforma possono scrivere i propri job da eseguire in Python rendendo molto rapido lo sviluppo di programmi che gestiscono una grande mole di dati.

Questo progetto è nato nel Nokia Research Center come per rendere più facile la gestione del calcolo distribuito. Da allora è stato usato in molti ambiti: parsing, analisi di log, data mining, full-text indexing, modelli probabilistici, machine learning ed altro ancora.

Via | DiscoProject

Disco: massive data, minimal code é stato pubblicato su Ossblog.it alle 13:00 di mercoledì 21 luglio 2010.

Tsung è un programma distribuito per testare la capacità di carico di un sistema. Può essere utilizzato per effettuare stress test di server HTTP, WebDAV, SOAP, PostgreSQL, MySQL, LDAP e Jabber/XMPP.

Il punto di forza di Tsung è la capacità di generare una grande quantità di richieste da parte di migliaia di utenti diversi anche su un singolo processore. Ogni utente non è sempre attivo, ma può avere un tempo di inattività per riprodurre un vero utilizzo interattivo.

Se poi una macchina non è sufficiente potrete creare facilmente un cluster per aumentare il carico di lavoro sul vostro server. Il software è sviluppato in Erlang, basato su OTP e rilasciato sotto licenza GPLv2.

Via | Tsung

Tsung, multi-protocol distributed load testing tool é stato pubblicato su Ossblog.it alle 12:00 di domenica 21 marzo 2010.

Da qualche giorno nella comunità Erlang italiana si parla della possibilità di una conferenza dedicata in Italia.

Tutto è nato sulla mailing list ufficiale che ha dato una spinta all’unico Erlang User Group in Italia, Erlang Etna User Group, e grazie all’interesse mostrato da Erlang Solutions Ltd. l’evento potrebbe tenersi nei prossimi mesi nel nostro paese.

L’Erlang Factory Lite consiste in una sequenza di talk seguita da incontri informali, erlounge, che normalmente si tengono in un pub o struttura simile. La probabile sede dovrebbe essere Roma, ma niente è ancora stato deciso e sono presenti ancora Milano e Catania nella rosa delle città candidate. Potete seguire la discussione su twitter (#erlangit) oppure su google gruppi.

Via | AloiRoberto

Erlang Lite, il primo evento dedicato in Italia é stato pubblicato su Ossblog.it alle 11:00 di venerdì 19 marzo 2010.

Mnesia è un DBMS distribuito scritto in Erlang con prestazioni soft real-time.

È stato sviluppato da Ericsson per l’uso nel settore delle telecomunicazioni ed è più simile concettualmente ad un database integrabile nell’applicazione come Berkeley DB anziché un vero e proprio standalone db server basato su sql.

Il modello del database è relazionale ed uno degli aspetti fondamentali di Mnesia è l’alta disponibilità che consente di riconfigurare le tabelle all’interno di uno schema e spostarle su nodi diverse anche mentre le operazioni di scrittura sono ancora in corso.

Il linguaggio per le interrogazioni è Erlang e questo semplifica la scrittura del codice. Il nome originale era Amnesia, ma essendo un nome poco adatto per un database è stata eliminata la “A” iniziale.

MNESIA Database Management System

Via | Developer

Mnesia, un DBMS distribuito é stato pubblicato su Ossblog.it alle 18:00 di venerdì 12 febbraio 2010.

CouchDB, o più precisamente Apache CouchDB, è un database server fault-tolerant e schema-free document-oriented che utilizza per il dialogo RESTful HTTP/JSON API.

Tra le caratteristiche principali citiamo repliche incrementali con gestione e risoluzione automatica dei conflitti, indicizzazione dei dati senza bisogno di uno schema fisso ed infine l’uso di JavaScript come linguaggio di interrogazione.

CouchDb è scritto in Erlang e vi si può accedere da qualsiasi ambiente sia in grado di effettuare chiamate HTTP. Ci sono molte librerie per semplificare la programmazione per i più diffusi linguaggi.

Al suo interno è disponibile un’interfaccia di gestione utilizzabile via http, che prende il nome di Futon. Per un maggior approfondimento vi rimando all’introduzione generale e tecnica.

Via | Couchdb

CouchDb, il database non relazionale é stato pubblicato su Ossblog.it alle 17:00 di giovedì 09 aprile 2009.