Logauswertung der Bubatzkarte
In den vergangenen 14 Tagen gab es insgesamt 368.738.569 Anfragen von 1.225.731 Besucher*innen. Die Menge der übertragenen Daten beträgt 1,65 TiB.
Die meisten Anfragen kamen am 1. April: 56.172.621, am zweiten April dann die zweitmeisten (zum Zeitpunkt der Logauswertung): 54.946.508.
Die Daten vom 3. April sind unvollständig, da die Auswertung gestern Abend gestartet wurde.
Der Ausfall am 2. April lag nicht einfach nur an der großen Menge der Zugriffe, sondern auch an einem Fehler meinerseits: der Cache war enorm angewachsen, die Inodes im Dateisystem waren nahezu alle belegt, also habe ich den Cache bereinigt, allerdings zu aggressiv.
Durch die fortwährenden Anfragen stieg die Systemlast immer weiter an, irgendwann gab es wohl keine Dateideskriptoren mehr und die Software hat sich irgendwie in einen Deadlock begeben.
Als kurzfristige Lösung wurden die Tiles vorberechnet und in einem Dateisystem mit ausreichender Menge an Inodes abgelegt und werden direkt von Nginx ausgeliefert.
Langfristig werden die Tiles wahrscheinlich in ein PMTiles Archiv wandern.
Ich habe gelernt, dass so ziemlich alles irgendwie zu wenig sein kann und dass Nginx extrem schnell ist.
Bei der Auswertung der Logs fällt auf, dass einige Besucher*innen überaus ungewöhnliches Verhalten an den Tag legten. Die meisten Aufrufe (1.758.521 mit 6,2 Gigabyte Traffic) kamen aus dem Netzwerk des Landesbetrieb IT.Niedersachsen.
Nachfolgend die Top 6 der ISPs mit ungewöhnlicher Häufung an Zugriffen:
- Landesbetrieb IT.Niedersachsen
- Landesbetrieb Daten und Information Rheinland-Pfalz
- Bundesministerium des Innern und Fuer Heimat (Staatsbetrieb Saechsische Informatik Dienste)
- ITZBund
- Bundesministerium des Innern und Fuer Heimat
- Ministerium der Finanzen Sachsen-Anhalt
--
Es liegen noch sehr viele unbeantwortete Emails herum, da gab es noch keine Zeit, auf alles zu antworten.
Sieht ja fast so aus als würden die Innenministerien ihre Polizeibehörden mit der Bubatzkarte ausbilden Zwinkersmiley
Hoffen wir, das da keine übereifrigen Beamten einfach nur auf die Karte gucken und “rot sehen” ohne auf tatsächliche Sicht-weite zu achten…
deleted by creator
@iameru
GoAccess heißt die Software: du wirfst Serverlogs rein, und bekommst eine menschenlesbare Auswertung raus: https://goaccess.io/
Es hat eine Weile gedauert das auszuwerten, das Logfile vom 1. April war um die 14 Gigabyte groß.
@cannabis
@bubatzkarte
Was ist das für ein schönes Dashboard? :)
@cannabis@yala
Das ist GoAccess: https://goaccess.io/
@cannabis
@bubatzkarte @cannabis ist das offenlegen von Informationen wer auf die Seite zugegriffen hat denn legal? Verstößt das nicht gg den Datenschutz? Frage für einen Freund.
@Blaumensch1
Spannende Frage, ich bin kein Jurist.
Besonders geschützt sind ja personenbezogene Daten, das sind die Daten natürlicher Personen. Eine Behörde ist keine natürliche Person, daher ging ich nicht davon aus, dass die von mir getroffene Aussage gegen den Datenschutz verstößt.
Hat da jemand mehr Ahnung?
@cannabis@bubatzkarte
Ich kann in den Screenshots keine personenbezogenen Daten erkennen, nur Aggregate.
Die Aufschlüsselung der Herkunft der Zugriffe scheint erstmal unfragwürdig, da keine (vollständigen) IP-Adressen veröffentlicht wurden. Ohne Zugriff auf die Rohdaten können wir die Auswertung auch nicht nachvollziehen, sodass diese schlicht eine unüberprüfbare Behauptung bleibt. Die Nennung der Organisationen verletzt auch keine Persönlichkeitsrechte.
Bin aber auch kein Anwalt.
@cannabis @Blaumensch1
