Springe zum Inhalt

Schlagwort: Apache

7

Veröffentlicht am 7 Kommentare zu Pixray-Bot mit Fail2ban aussperren

Auf allen Blogs, Webseiten und überhaupt allem, was http spricht, tummeln sich Bots. Die meisten davon sind Bots der Suchmaschinenbetreiber. Daneben gibt es solche, die für die Webseite keinerlei Nutzen bringen, ja sogar gegen die Webseitenbetreiber arbeiten. So z.B. der Pixray-Bot, der Webseiten nach urheberechtlich geschützen Bildern durchsucht. Bei einem Fund kann man sich anschließend offensichtlich auf Post vom Anwalt freuen.

Da meiner Meinung nach das Verhalten des Pixray-Bots einer digitalen Hausdurchsuchung entspricht, ich ihm das nicht erlaubt habe und ich den durch den Bot generierten Traffic bezahlen muss, habe ich nach einer Lösung gesucht, den Bot von meinen Webseiten fernzuhalten. ...weiterlesen "Pixray-Bot mit Fail2ban aussperren"

Veröffentlicht am

In der Standardinstallation unter Ubuntu ist der Zugriff auf die Statistiken von AWStats nicht geschützt. Die Einstellungen für Apache zu AWStats sind in der Datei /etc/apache2/conf.d/awstats gespeichert. Um nun den Zugriff auf AWStats nur noch nach erfolgreicher Authentifizierung zu erlauben, erweitert man die Apache-Konfigurationsdatei für AWStats um folgende Einträge:

<Directory /usr/lib/cgi-bin>
  <Files awstats.pl>
    AuthUserFile /etc/awstats/awstats-htpasswd
    AuthName "AWStats"
    AuthType Basic
    require valid-user
  </Files>
</Directory>

Anschließend erstellt man die Datei /etc/awstats/awstats-htpasswd mit folgendem Befehl:

htpasswd -c /etc/awstats/awstats-htpasswd benutzername

Nach einem Neustart des Apache ist dann der Zugang zu den AWStats-Auswertungen nur noch für berechtigte Benutzer möglich.

Veröffentlicht am

Manchmal werden die Apache access.logs von meinem Provider nicht immer in der richtigen Reihenfolge geliefert. Nach dem Zusammenkopieren stellte ich fest, dass das Datum nicht immer in der richtigen Reihenfolge war. Dies ist aber Vorraussetzung, um die Logfiles mit Awstats weiter zu bearbeiten. Wie aber nun sortieren? GNU-sort hat da ein paar interessante Features, mit dem verschiedene Keys ausgewählt werden können. Der Sort-Befehl, um ein Apache access.log nach Datum und Uhrzeit zu sortieren sieht dann so aus:

sort -s -b -t' ' -k 4.9,4.12n -k 4.5,4.7M -k 4.2,4.3n -k 4.14,4.15n -k 4.17,4.18n -k 4.20,4.21n

Als Feldtrenner wird mit -t' ' ein Leerzeichen festgelegt. Mit -k 4... wird das vierte Feld in der Zeile angesprochen und mit der nachfolgenden Auswahl der Stellen im Feld 4 nach Jahr, Monat, Tag, Stunde, Minute und Sekunde sortiert.