Ebot, un crawler scritto in Erlang

Scritto da: -

Ebot

Ebot è un Web crawler scritto in Erlang dall’italiano Matteo Redaelli.

I vari indirizzi vengono raccolti dai vari crawler ed inviati in coda attraverso AMQP. I dati vengono salvati all’interno di database NoSQL come Apache CouchbDB o Riak. Con questa architettura è possibile far girare molti crawler in parallelo e fermarli o farne partire altri senza alcun problema.

Gli indirizzi ed i domini possono essere filtrati, riscritti o normalizzati utilizzando espressioni regolari o funzioni. Il codice è rilasciato sotto licenza GPLv3+.

Vota l'articolo:
3.67 su 5.00 basato su 3 voti.  
 
  • nickname Commento numero 1 su Ebot, un crawler scritto in Erlang

    Posted by: coachoutlettt

    The mother <a href="http://www.chanel-bags-storei.net/" rel="nofollow">Chanel Bags</a> did not <a href="http://www.coach-outlett.com/" rel="nofollow">Coach Outlet</a> answer questions <a href="http://www.louis-vuittonn.net/" rel="nofollow">Louis Vuitton</a> about,rest of what's said was obscured by the screams of the young child. Scritto il Date —

 

© 2004-2014 Blogo.it, alcuni diritti riservati sotto licenza Creative Commons.
Per informazioni pubblicitarie e progetti speciali su Blogo.it contattare la concessionaria esclusiva Populis Engage.

Ossblog.it fa parte del Canale Blogo Tecnologia ed è un supplemento alla testata Blogo.it registrata presso il Tribunale di Milano n. 487/06, P. IVA 04699900967.