Ebot, un crawler scritto in Erlang

Ebot

Ebot è un Web crawler scritto in Erlang dall'italiano Matteo Redaelli.

I vari indirizzi vengono raccolti dai vari crawler ed inviati in coda attraverso AMQP. I dati vengono salvati all'interno di database NoSQL come Apache CouchbDB o Riak. Con questa architettura è possibile far girare molti crawler in parallelo e fermarli o farne partire altri senza alcun problema.

Gli indirizzi ed i domini possono essere filtrati, riscritti o normalizzati utilizzando espressioni regolari o funzioni. Il codice è rilasciato sotto licenza GPLv3+.

Vota l'articolo:
3.67 su 5.00 basato su 3 voti.  

I VIDEO DEL CANALE TECNOLOGIA DI BLOGO