Splunk Alternativen

Wenn es heute um professionelle Big Data Lösungen oder Log File Analysen geht, dann ist die häufigste Antwort Splunk. Sprung ist wirklich eine gute Softwarelösung, skaliert gut und lässt sich sogar auf dem Laptop installieren. Für viele Anwender sind die Lizenzkosten der Hauptnachteil von Splunk. Deshalb schauen sich viel Unternehmen nach FOSS (Free and Open Source Software) Alternativen um. Je nach Anwendungsfall bieten sich zwei ähnliche Verfolger an, Elastic Search mit Kibana oder Graylog2. Graylog2 ist eine Java-Anwendung, Kibana ist JavaScript. Beide sind ein Elastic Search Frontend, Graylog2 geht aber noch darüber hinaus und bietet weitere Management-Funktionen bzw. ein Monitoring an.

Im Alltag sind sowohl Kibana als auch Graylog2 gut einsetzbar, man merkt ihnen aber noch deutlich ihr junges Alter an. Es gibt immer Dinge die fehlen. Keines der beiden Systeme kommt an den Funktionsumfang, die Benutzbarkeit oder die Robustheit von Splunk heran. Man muss klar sagen,  das Splunk zur Zeit mehrere Jahre Technologievorsprung hat gegenüber den beiden Verfolgern Kabine und Graylog2. Um den Technologiestack im Analysebereich abzurunden, sollte man noch R oder ggf. Python hinzuziehen. Alle Systeme nehmen Anfragen via REST-API entgegen. Leider liefert Elastic Search (Kibana, Graylog2) nur Daten als JSON. JSON ist wie XML für schnelle Datenanalysen nicht optimal geeignet und muss umgewandelt werden z.B. CSV.

Man kann Big Data Lösungen natürlich auch mit einem ganz anderen Softwarestack umsetzen, z.B. mit konventionellen relationalen Datenbanken und oder Filesystemen.

SPLUNK Rest API Probleme

Das Splunk ein prima Werkzeug ist, ist keine Frage nur leider gibt es paar wesentliche Einschränkungen in Bezug auf Spluks' Rest API (Version Splunk 5.0.2):

• Dokumentation des REST API ist fehlerhaft.
• Java Wrapper fürs REST API ist fehlerhaft und damit sinnlos.
• Die Suchergebnisse unterscheiden sich zwischen dem REST API und dem Web GUI (Link) und in der Web GUI fehlerfreie Anfragen führen zu einem leeren Ergebnis und zu keinem Fehler und machmal Splunk Debug-Ausgaben.
• Fehlerhafte REST Suchen liefern leere Ergebnisse wenn das Ausgabeformat CSV ist.
• REST Suchen mit dem Ausgabeformat CSV liefern auch interne Felder zurück. Splunk interne Werte beginnen mit einem Unterstriche (_time, _span, ...).
• DieFormatierung des Zeitstempels ist zwischen REST API und Web GUI unterschiedlich.

Alle diese Punkte verhindern eine einfache Integration von Splunk in bestehende Umgebungen. Schade, weil Splunk ein sonst guten Eindruck macht. Übrigens verwendet die Web GUI nicht die REST Schnittstelle von Splunk, was gut zu den unterschiedlichen Suchergebnissen passt.

Ach so liebe Splunkies, ich warte immer noch auf mein T-Shirt.

Was ist die wichtigste Analyse Software?

Es gibt verschiedene Systeme mit den entsprechenden Sprachen für mathematische und statistische Analyse bzw. Business Intelligence (BI). SAS und S fühlen sich als Marktführer. Doch auch die Open Source Alternative R behauptet die dominierende Kraft zu sein. In einem Blogbeitrag von Robert A. Muenchen wird das Diskussionsaufkommen in verschiednen Bereichen als Indikator herangezogen. R dominiert das Feld deutlich vor Staat, SAS und SPSS. Jetzt kann man mehrere Einwende gegen dieses Messverfahren hervorbringen. Besonders anfällige Systeme erzeugen mehr Diskussionen als perfekte Systeme. Ich denke, das dies langfristig nicht haltbar ist, weil die Anzahl der Diskussionen in den Foren wesentlich stärker von der Menge der Benutzer abhängt als vom System selbst. Gibt es dafür Belege? Weiterhin ist nicht der kommerzielle Support in die Messung eingegangen, der im nichtöffentlichen Bereichen stattfindet z.B. in geschlossenen Foren oder via Email.
Wenn man aber weitere Quellen wie GULP oder Tiobe heranzieht, dann bestätigt sich das Bild, dass R das verbreitetste Analyse System ist. Allerdings ist nicht nicht nur Sonne auf der R Seite, es gibt zwar scheinbar für jedes Problem ein R-Paket, das sich meist einfach installieren lässt, aber viele Pakete werden nicht kontinuierlich gepflegt oder weiterentwickelt. Das liegt auch stark an der massiven Verbreitung von R im akademischen Bereich.
Übrigens gibt es ein oft übersehenen Konkurrenten zu R ist Python. Für Python gibt es gut numerische Pakete und sehr einfache Zugrissmöglichkeiten auf Matrizen. Zusammen mit diesen Paketen fühlt sich Python schon sehr R-like an, das ist wahrscheinlich warum Splunk intern auf Python setzt.

Externe JARs in Maven integrieren

Das ist leider unschön, kann aber so realisiert werden:


<dependencies>
<dependency>
<groupId>com.splunk</groupId>
<artifactId>splunk</artifactId>
<version>1.0</version>
<scope>system</scope>
<systemPath>${basedir}/lib/splunk-1.0.jar</systemPath>
</dependency>
</dependencies>


Wichtig: Wenn ich versuche dieses Projekt via exec:java (Link) dann schlägt die Fehl. Das MAven Exec Plugin unterstützt diese externe JARs nicht. Das ist unerwartet und schade. Abhilfe kann hier das Maven Package Plugin schaffen, siehe Link. Dabei wird ein Bigjar bebaut, dass man dann sehr einfach ausführen kann.