thumb

Die Big-Data-Engine "Vespa" von Yahoo, das seit letztem Jahr zur Verizon Digital Network Sparte Oath gehört, wird unter eine Open-Source-Lizenz gestellt. Das Java-Projekt "Vespa" soll es Admins erleichtern, Anwendungen zu erstellen, die in Echtzeit Resultate aus einer grossen Menge an Daten herausfiltern, um sie dem Benutzer dann zu präsentieren.

Während Hadoop und Storm dazu dienen, die Daten zu verarbeiten, sei der letzte Schritt, sie auszuliefern, noch ein Problem. Vespa soll diese Lücke nun füllen. Im Hinblick auf die Codezeilen sei "Vespa" grösser als jedes bislang veröffentlichte Open-Source-Projekt von Yahoo. Die Software kommt bei Oath unter anderem für Yahoo.com, Yahoo News oder Flickr zu Einsatz. Sie soll 90'000 mal pro Sekunde Inhalte und Anzeigen ausliefern können, mit Latenzen im Zehntel-Millisekunden-Bereich. Für Flickr bewältige Vespa zum Beispiel hunderte von Abfragen pro Sekunde und durchwühle dabei einige Milliarden von Bildern. Über Yahoo Gemini wickle Vespa rund drei Milliarden native Anzeigenabfragen pro Tag ab. Vespa erlaubt es Anwendungsentwicklern, Daten und Modelle beliebiger Größe in das Betriebssystem einzuspeisen und die endgültigen Berechnungen zur gewünschten Zeit auszuführen. Der Code für Vespa steht auf Github unter der Apache-Lizenz-2.0 bereit.