High Speed Merge

Der High Speed Apache Log Merger ist ein kleines Programm welches mehrere Apache Logfiles von mehreren Servern zu einem großen Apache Log zusammenstellt und dabei die Reihenfolge der Hits, anhand des Datum, beachtet.

Wenn mehrere Server mittels Loadbalancer eine Seite ausliefern sollen, so befinden sich die Hits der Benutzer gemischt in den einzelnen Logfiles auf dem Server. Sofern man Round-Robin ohne Sticky Sessions benutzt. So war es früher immer.

Wollte man dann aber diese Logfiles mit Webalizer auswerten, gab es immer das Problem der Reihenfolge im inkremental Modus. Man musste die Logfiles der Server zu einem Logfile verbinden.

Es gab zu der Zeit bereits Tools die das machten, aber sie brauchten unendlich lange dafür, also hab ich mich hingesetzt und ein Tool gebaut das etwas schneller arbeitet. Getestet hab ich es an einem System welches aus 20 Webserver mit etwa 500.000 Hits pro Stunde pro Server bestand. Stündliche Statistiken konnten innerhalb von wenigen Minuten erstellt werden.

Mittlerweile ist die Software eingestampft! Die Notwendigkeit zu Zeiten von externen Zählseiten, Zählpixeln und sonstigen JavaScript Sachen dort noch Logfiles zu sortieren und selbst zu Statistiken zu bauen sind vorbei. Aus diesem Grunde gibt es ein ZIP File wo alles drin ist. FreeBSD, Linux und Solaris Version

Download

  • whhsm.zip (18 KB)