Logo Blogo

Tutti gli articoli con tag map reduce

Disco: massive data, minimal code

pubblicato da Lpt on fire!


Disco è una piattaforma open source per l’analisi di una gran quantità di dati.

Il framework supporta l’esecuzione parallela su normali computer di più computazioni su insiemi di dati molto grandi. Supporta varie implementazioni fra cui anche il sistema MapReduce.

Il nucleo di Disco è scritto in Erlang, un linguaggio che ben si adatta alla creazione di applicazioni distribuite e fault-tolerant. Gli utenti della piattaforma possono scrivere i propri job da eseguire in Python rendendo molto rapido lo sviluppo di programmi che gestiscono una grande mole di dati.

Questo progetto è nato nel Nokia Research Center come per rendere più facile la gestione del calcolo distribuito. Da allora è stato usato in molti ambiti: parsing, analisi di log, data mining, full-text indexing, modelli probabilistici, machine learning ed altro ancora.

Via | DiscoProject

....
condividi 0 Commenti

MongoDB 1.4, finalmente stabile!

pubblicato da Lpt on fire!


Sviluppatori del progetto MongoDB hanno annunciato con molta soddisfazione la nuova versione 1.4.0 che è la prima a potersi fregiare del titolo “ready for production” ed è arrivata dopo altri 3 mesi di sviluppo dalla precedente release.

Per arrivare a questo risultato è stato indispensabile l’aiuto degli utenti che già utilizzavano questo database NoSQL in ambiti di produzione. La versione 1.4 ha migliorato le prestazioni, ha la possibilità di creare indici in background ed una gestione migliorata degli slave.

Migliorata anche la parte più vicina al programmatore, infatti il linguaggio di interrogazione si è arricchito di nuove keyword e della possibilità di fare ricerche geospaziali.

Il codice è rilasciato sotto licenza Affero GPLv3 ed è disponibile per Linux, Mac OS X, Solaris e Windows.

Via | MongoDB

....
condividi 6 Commenti

MongoDB

pubblicato da Lpt on fire!


I database relazionali non sono sempre e certamente il sistema migliore dove immagazzinare i dati.

Negli ultimi mesi si stanno affermando database non relazionali per la gestione di dati o di interi documenti. Uno di questi è MongoDB che è sviluppato in c++ e prende il suo nome dal termine humongous.

I dati vengono salvati in formato Bson, in pratica un documento Json con una rappresentazione binaria efficiente. Grazie all’assenza di uno schema ed al supporto per strutture, liste, array associativi e blob binari potete inserire direttamente i dati dei vostri oggetti all’interno del database.

Continua a leggere: MongoDB

....
condividi 0 Commenti