Die Evolution der Datenaustausch-Formate: Binary, CSV, XML, Properties, JSON, YAML

Es gibt eine Reihe von Datenformaten für den Datenaustausch zwischen Programmen bzw. für deren Konfiguration. Hier eine Übersicht über gängige Formate, deren Vor- und Nachteile.

	Binary	CSV	XML	JSON	YAML	Properties
Geeignet für Datenausch	Ja	Ja	Ja	Ja	Ja	Schlecht
Geeignet für Konfiguration	Nein	Nein	Ja	Ja	Ja	Ja
Verständlichkeit beim Lesen für den Entwickler	Nein	Gut	Gut	Sehr gut	Sehr gut	Sehr gut
Speichereffizienz	Sehr gut	Gut bis Sehr gut	Sehr Schlecht	Schlecht	Gut	Schlecht
Unetrsctüzung in der BASH	Nein	Sehr gut	Gut	Gut	Schlecht	Sehr gut
Parser Geschwindigkeit	Sehrt hoch	Hoch	Gering	Gering	Gering	Hoch
Nachteile	Eingeschränkte Kompatibilität			Kein Kommentare
Vorteile		Sehr hohe Verbreitung	Schema Definition

Graphische Trendanalyse von stark schwankenden Messwerten mit R

Statistisch lässt sich das Problem recht einfach mit dem XX-Test und ähnliche Test lösen. Neben diese Aussage ist es notwendig die Rohdaten entsprechend graphisch aufzubereiten, weil man mit Grafiken wesentlich besser überzeugt als mit der Angabe von Wahrscheinlichkeit oder Koeffizienten.

Die graphische Aufbereitung von stark schwankenden (volatiler) Messwerten kann man einfach als Signalverarbeitungsproblem sehen. Zuerst muss man das Signal (Messwerte) glätten und danach schärfen.

Die mathematische Entsprechung einer einfachen Glättungsfunktion, bei der Bildverarbeitung spricht man auch von einem Weichzeichner, ist der gleitende Mittelwert mit einer Gauss-Verteilungs-Gewichtung.

In R sieht dass dann wie folgt aus:
library('smoother')
smth.gaussian(dtDateRange$duration_min, window = kSmoothingWindowSize, tails = T)


Hier ein Ergebnis in graphischer Form. Klar sind hier die unterschiedlichen Bereich erkennbar. Man kann das Ergebnis noch deutlich verbesser um alle hochfrequenten Schwingungen zu eliminieren.

Hier noch ein anderes Beispiel für die graphische Trendanalyse inclusive der originalen Werte.

Python vs. R

Im akademischen Bereich ist R schon lange eine wichtige Konstante wenn es darum geht statistische Auswertungen aka Data Science zu machen (Link). Lange wurde Python wegen seines guten Handlings von Daten als Ersatz für Mainstream-Anwendungen benutzt. Das Datenhandling war ähnlich einfach wie das in R.
R ist im Vergleich zu anderen Programmiersprachen gewöhnungsbedürftig (Link). Auch wenn diese Dinge wie Schleifen vs apply oder der Mangel an graphischen Interfaces (GUI), Blockkommentaren oder Multithreading berechtigt sind, so lässt sich R aber sehr komfortabel als Scriptsprache, wie unter anderem auch Python einsetzen.
Das führt auch  zu einer ständig wachsenden Beliebtheit dieser Sprache wie Redmonk in ihrem Ranking für Programmiersprachen feststellt feststellt (Link). Python schneidet bei diesen Rankings deutlich besser ab. Einen Anteil an der wachsenden Popularität von R hat das gute R IDE RStudio (Link), das abgesehen von der Doppelklick-Select-Word Anomalie sehr zu empfehlen ist.

Kurz zusammengefasst: R ist nicht tot sondern erfreut sich wachsender Beliebtheit und Python sowieso.