Springe zum Inhalt

7

Auf allen Blogs, Webseiten und überhaupt allem, was http spricht, tummeln sich Bots. Die meisten davon sind Bots der Suchmaschinenbetreiber. Daneben gibt es solche, die für die Webseite keinerlei Nutzen bringen, ja sogar gegen die Webseitenbetreiber arbeiten. So z.B. der Pixray-Bot, der Webseiten nach urheberechtlich geschützen Bildern durchsucht. Bei einem Fund kann man sich anschließend offensichtlich auf Post vom Anwalt freuen.

Da meiner Meinung nach das Verhalten des Pixray-Bots einer digitalen Hausdurchsuchung entspricht, ich ihm das nicht erlaubt habe und ich den durch den Bot generierten Traffic bezahlen muss, habe ich nach einer Lösung gesucht, den Bot von meinen Webseiten fernzuhalten. ...weiterlesen "Pixray-Bot mit Fail2ban aussperren"

In der Standardinstallation unter Ubuntu ist der Zugriff auf die Statistiken von AWStats nicht geschützt. Die Einstellungen für Apache zu AWStats sind in der Datei /etc/apache2/conf.d/awstats gespeichert. Um nun den Zugriff auf AWStats nur noch nach erfolgreicher Authentifizierung zu erlauben, erweitert man die Apache-Konfigurationsdatei für AWStats um folgende Einträge:

Anschließend erstellt man die Datei /etc/awstats/awstats-htpasswd mit folgendem Befehl:

Nach einem Neustart des Apache ist dann der Zugang zu den AWStats-Auswertungen nur noch für berechtigte Benutzer möglich.

Manchmal werden die Apache access.logs von meinem Provider nicht immer in der richtigen Reihenfolge geliefert. Nach dem Zusammenkopieren stellte ich fest, dass das Datum nicht immer in der richtigen Reihenfolge war. Dies ist aber Vorraussetzung, um die Logfiles mit Awstats weiter zu bearbeiten. Wie aber nun sortieren? GNU-sort hat da ein paar interessante Features, mit dem verschiedene Keys ausgewählt werden können. Der Sort-Befehl, um ein Apache access.log nach Datum und Uhrzeit zu sortieren sieht dann so aus:

Als Feldtrenner wird mit -t' ' ein Leerzeichen festgelegt. Mit -k 4... wird das vierte Feld in der Zeile angesprochen und mit der nachfolgenden Auswahl der Stellen im Feld 4 nach Jahr, Monat, Tag, Stunde, Minute und Sekunde sortiert.