Hallo,
bei einem Umzug habe ich sieben vhosts mit rsync vom alten auf den neuen Server kopiert, bei vier vhosts zeitnah den Content geloescht, drei als vhosts konfiguriert, samt error.log. Die error.logs der vhosts sind in der Regel leer oder verstaendlich und ansonsten funktioniert auch alles erwartungs- und wunschgemaess. Also alles prima!
Der Wermutstropfen: Anders das Apache error.log ( /var/log/apache2/error.log ). Dort findet sich beginnend mit logrotate taeglich zunaechst ein Eintrag von mpm_prefork und ueber den Tag verteilt dazu eine Vielzahl von Fehlermeldungen zu den laengst nicht mehr vorhandenen vhosts, dazu verschiedenlich welche, die geradezu abenteulich sind. Es ist raetselhaft, woher der Apache die nimmt und wie ich das abstellen kann - zumal die nicht gefundenen error.logs (siehe unten) fuer mich jedenfalls voellig undurchsichtig sind.
Beispiel mpm_prefork,
[Tue Feb 04 06:25:01.961304 2020] [mpm_prefork:notice] [pid 30135] AH00163: Apache/2.4.25 (Debian) OpenSSL/1.0.2u configured -- resuming normal operations
[Tue Feb 04 06:25:01.961341 2020] [core:notice] [pid 30135] AH00094: Command line: '/usr/sbin/apache2'
[Tue Feb 04 06:25:02.073950 2020] [mpm_prefork:notice] [pid 30135] AH00171: Graceful restart requested, doing restart
[Tue Feb 04 06:25:02.133415 2020] [mpm_prefork:notice] [pid 30135] AH00163: Apache/2.4.25 (Debian) OpenSSL/1.0.2u configured -- resuming normal operations
[Tue Feb 04 06:25:02.133436 2020] [core:notice] [pid 30135] AH00094: Command line: '/usr/sbin/apache2'
Beispiel error.log,
couldn't open "www.asxi.de_error.20180715040010": no such file or directory - und im Anschluss daran noch ein paar Zeilen.
Der Eintrag mpm_prefork scheint bekannt, zu den weiteren Eintraegen im error.log ist nichts zu finden. Dort wird teilweise auch als "couldn't open "www.asxi.de_error": no such file or directory" eingetragen und ganz aehnlich sowohl fuer die bereits laengst entfernten und nie konfigurierten vhosts als auch fuer die drei vorhandenen und genutzten vhosts.
Bin voellig ratlos! Hat jemand eine Idee, wodurch diese Eintraege moeglicherweise oder genau ausgeloest und wie diese generalisierend abgestellt werden koennen?
Max
Apache, vhosts und error.logs
Re: Apache, vhosts und error.logs
Schau mal welche vhosts aktiviert sind, und ob in einer Deiner Configs zB der Domainname www.asxi.de auftaucht.
Wenn ja nimms raus und dann sollten auch die Fehler verschwinden.
Wenn ja nimms raus und dann sollten auch die Fehler verschwinden.
Re: Apache, vhosts und error.logs
asxi.de existiert nicht in der Config, ist auch sonst unauffindbar. Darum ist es fuer mich voellig unverstaendlich, wie diese Fehlermeldung ausgeloest werden koennte? In der Vhost-Config finden sich ausschliesslich die vorhandenen drei vhosts, bei denen allerdings ebenso wie bei den nicht-existierenden asxi.de nach error.logs gesucht hat, bspw. www.asxi.de_error.20180715040010, die ich bisher so noch nicht gesehen habe.
Re: Apache, vhosts und error.logs
Michael
Das habe ich bereits x-mal fruchtlos versucht, ebenso nunmehr wiederholt, nicht nur bei /etc/apache2 etc. Angezeigt werden ausschliesslich die drei konfigurierten vhosts.
Was nun, was tun?
Max
Das habe ich bereits x-mal fruchtlos versucht, ebenso nunmehr wiederholt, nicht nur bei /etc/apache2 etc. Angezeigt werden ausschliesslich die drei konfigurierten vhosts.
Was nun, was tun?
Max
Re: Apache, vhosts und error.logs
Das klingt etwas strange. Gibt es da irgendwo vielleicht eine Weiterleitung zu der alten Domain ? Oder so etwas in der Art ?
Was ja auch etwas komisch ist, ist die Tatsache der er versucht ein 2 Jahre altes Errorlog zu öffnen. Logrotate ?
www.asxi.de_error.20180715040010 wäre ja der Timestamp zum Schluss.
Was wäre wenn Du das Log mal händisch anlegst und schaust was da reinkommt.
Was ja auch etwas komisch ist, ist die Tatsache der er versucht ein 2 Jahre altes Errorlog zu öffnen. Logrotate ?
www.asxi.de_error.20180715040010 wäre ja der Timestamp zum Schluss.
Was wäre wenn Du das Log mal händisch anlegst und schaust was da reinkommt.
Re: Apache, vhosts und error.logs
Ich würde die Suche mal auf das kompeltte /etc-Verzeichnis ausdehenen und das ".de" weglassen:
Code: Alles auswählen
grep -r asxi /etcRe: Apache, vhosts und error.logs
Der Gedanke mit www.asxi.de_error.20180715040010 ist interessant, allerdings sind die folgenden Ziffern leider nicht konstant, sondern springen hin und her.
"grep -r asxi /etc" erzielt (leider!) keine Treffer. Anders mit konfigurierten vhosts. Allerdings gibt es in den aelteren error.logs zahlreiche Treffer, immer verknuepft mit AhrefsBot. Das war neu fuer mich.
Die Verknuepfung mit einem anderen Server schliesse ich aus, weil asxi.de ohne Content bei einem Haendler geparkt wird, weil beispielsweise der gerade aktuelle Eintrag eine Domain auf einem anderen Server betrifft, die ich vor nahezu einem Jahr selbst dort eingerichtet habe und wie meine Westentasche kenne.
* couldn't open "/var/www/vhosts/www.nlp.de/cgi-bin/anagrams/wordplay.vcd": no such file or directory
Das Fazit ist jedenfalls richtig, weil das hier doch ueberhaupt nicht existiert! Und wird das Programm auf dem anderen Server genutzt, funktioniert das natuerlich auch erwartungsgemaess.
Da AhrefsBot seit Monaten unbeirrt ein dort offensichtlich fehlerhaft indexiertes CGI als Verzeichnis "/example.cgi/example.cgi" aufruft, koennte es sein, dass dadurch auch diese Eintraege im error.log ausgeloest werden? Keine Ahnung! Ich habe jetzt, wie zuvor bereits schon einmal, AhrefsBot und SemrushBot generalisierend gesperrt. Mal schauen, was passiert, wenn dieses Duo sich daran haelt.
Max
"grep -r asxi /etc" erzielt (leider!) keine Treffer. Anders mit konfigurierten vhosts. Allerdings gibt es in den aelteren error.logs zahlreiche Treffer, immer verknuepft mit AhrefsBot. Das war neu fuer mich.
Die Verknuepfung mit einem anderen Server schliesse ich aus, weil asxi.de ohne Content bei einem Haendler geparkt wird, weil beispielsweise der gerade aktuelle Eintrag eine Domain auf einem anderen Server betrifft, die ich vor nahezu einem Jahr selbst dort eingerichtet habe und wie meine Westentasche kenne.
* couldn't open "/var/www/vhosts/www.nlp.de/cgi-bin/anagrams/wordplay.vcd": no such file or directory
Das Fazit ist jedenfalls richtig, weil das hier doch ueberhaupt nicht existiert! Und wird das Programm auf dem anderen Server genutzt, funktioniert das natuerlich auch erwartungsgemaess.
Da AhrefsBot seit Monaten unbeirrt ein dort offensichtlich fehlerhaft indexiertes CGI als Verzeichnis "/example.cgi/example.cgi" aufruft, koennte es sein, dass dadurch auch diese Eintraege im error.log ausgeloest werden? Keine Ahnung! Ich habe jetzt, wie zuvor bereits schon einmal, AhrefsBot und SemrushBot generalisierend gesperrt. Mal schauen, was passiert, wenn dieses Duo sich daran haelt.
Max
Re: Apache, vhosts und error.logs
Hallo
Wie bereits vermutet, werden die raetselhaften Probleme durch Bots ausgeloest. Allerdings ging es definitiv nicht um AhrefsBot, der abstellbar ist, auch nicht um SemrushBot, bei dem es mir nicht gelingt, ihn abzustellen. Was auch immer ich bei SemrushBot versuche, es wird ignoriert!
Nach meinem aktuellen Kenntnisstand wurden und werden die beschriebenen Probleme durch Mozilla/5.0 und/oder DotBot/1.1 ausgeloest:
216.244.66.202 - - [10/Mar/2020:08:45:26 +0100] "GET /cgi-bin/disco/errorlog.cgi?action=browse&log=www.akazien-verlag.de_error&size=0 HTTP/1.1" 200 4883 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)" (Quelle: apache2/access.log)
"216.244.66.202 - - [11/Mar/2020:09:15:28 +0100] "GET /cgi-bin/disco/errorlog.cgi?action=browse&log=www.optimismusbarometer.de_error&size=0 HTTP/1.1" 200 4888 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)" (Quelle: apache2/access.log)
Ein Vhost akazien-verlag.de existiert auf dem Server, aber kein log file www.akazien-verlag.de_error; ein Vhost optimismusbarometer.de existiert nicht auf diesem Server. Gut waere eine Moeglichkeit, dem einen oder dem anderen Bot mitzuteilen, dass er seine Datenbank doch bitte hin und wieder aktualisieren soll. Mit dem sehr freundlichen und hilfsbereiten Personal von Ahrefs hatte ich zum Thema eine ermuedende Diskussion, ohne dass sich dort etwas geaendert haette. Darum habe ich AhrefsBot bis auf weiteres deaktiviert, auch weil Ahrefs bei einem Vhost geradezu Amok gelaufen ist.
Nun versuche ich Mozilla/5.0 und DotBot/1.1 abzuschalten, bin aber unsicher, wie das erfolgen muss. Teils werden dafuer ganze Romane geschrieben, teils ein spartanischer Vermerk (User-agent: dotbot \ Disallow: /). Bei Ahrefs und anderen findet sich ein freundlicher Hinweis, wie das erfolgen soll, bei anderen wie Mozilla/5.0 habe ich vergeblich gesucht, wie der Eintrag in die robots.txt (genau!) lauten sollte.
Max
Wie bereits vermutet, werden die raetselhaften Probleme durch Bots ausgeloest. Allerdings ging es definitiv nicht um AhrefsBot, der abstellbar ist, auch nicht um SemrushBot, bei dem es mir nicht gelingt, ihn abzustellen. Was auch immer ich bei SemrushBot versuche, es wird ignoriert!
Nach meinem aktuellen Kenntnisstand wurden und werden die beschriebenen Probleme durch Mozilla/5.0 und/oder DotBot/1.1 ausgeloest:
216.244.66.202 - - [10/Mar/2020:08:45:26 +0100] "GET /cgi-bin/disco/errorlog.cgi?action=browse&log=www.akazien-verlag.de_error&size=0 HTTP/1.1" 200 4883 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)" (Quelle: apache2/access.log)
"216.244.66.202 - - [11/Mar/2020:09:15:28 +0100] "GET /cgi-bin/disco/errorlog.cgi?action=browse&log=www.optimismusbarometer.de_error&size=0 HTTP/1.1" 200 4888 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)" (Quelle: apache2/access.log)
Ein Vhost akazien-verlag.de existiert auf dem Server, aber kein log file www.akazien-verlag.de_error; ein Vhost optimismusbarometer.de existiert nicht auf diesem Server. Gut waere eine Moeglichkeit, dem einen oder dem anderen Bot mitzuteilen, dass er seine Datenbank doch bitte hin und wieder aktualisieren soll. Mit dem sehr freundlichen und hilfsbereiten Personal von Ahrefs hatte ich zum Thema eine ermuedende Diskussion, ohne dass sich dort etwas geaendert haette. Darum habe ich AhrefsBot bis auf weiteres deaktiviert, auch weil Ahrefs bei einem Vhost geradezu Amok gelaufen ist.
Nun versuche ich Mozilla/5.0 und DotBot/1.1 abzuschalten, bin aber unsicher, wie das erfolgen muss. Teils werden dafuer ganze Romane geschrieben, teils ein spartanischer Vermerk (User-agent: dotbot \ Disallow: /). Bei Ahrefs und anderen findet sich ein freundlicher Hinweis, wie das erfolgen soll, bei anderen wie Mozilla/5.0 habe ich vergeblich gesucht, wie der Eintrag in die robots.txt (genau!) lauten sollte.
Max
Re: Apache, vhosts und error.logs
Hi
Hab dazu folgenden Link in meinen Wiki, und sowohl beruflich und privat schon verwendet:
https://www.buildersociety.com/threads/ ... ated.1898/
LG
Michael
Hab dazu folgenden Link in meinen Wiki, und sowohl beruflich und privat schon verwendet:
https://www.buildersociety.com/threads/ ... ated.1898/
LG
Michael
Re: Apache, vhosts und error.logs
Michael
Danke fuer den Hinweis. Danach scheinen meine Eintraege in robots.txt also ok!
Mal schauen, ob sich die Nervensaegen damit abschalten lassen oder eben nicht.
Das dauert immer einige Zeit, bis das sichtbar wird ...
Max
Danke fuer den Hinweis. Danach scheinen meine Eintraege in robots.txt also ok!
Mal schauen, ob sich die Nervensaegen damit abschalten lassen oder eben nicht.
Das dauert immer einige Zeit, bis das sichtbar wird ...
Max
Re: Apache, vhosts und error.logs
Zum aktuellen Stand
Die erwaehnten Fehlermeldungen waren wahrscheinlich (!) das Ergebnis fehlerhafter Indexierung und nicht aktualisierter Indexierung der Suchmaschinen. Teilweise fanden sich einige dieser voellig abwegigen Links zudem noch auf verschiedenen Websites, die beim Aufruf der error.logs nicht vorhandener vhosts eben auch einen Eintrag in das /var/log/apache2/error.log zur Folge hatten.
Weil ich die wahrscheinlich (!) suspekten Bots nicht vollstaendig sperren konnte (Bei AhrefsBot ist das sofort erfolgt, bei dotbot und SemrushBot scheinbar mit dem Quartalswechsel, bei mozilla/5 waren alle Versuche bisher komplett ergebnislos), habe ich die fehlerhaft indexierten Seiten mit Disallow gesperrt, den Aufruf der error.logs nicht vorhandener vhosts mit ein paar Scriptzeilen abgefangen und umgeleitet.
Seitdem sind im error.log des Apache2 keine der beschriebenen unverstaendlichen Fehlermeldungen mehr vorhanden.
Falls es jemand gelungen ist, mozilla/5 erfolgreich zu sperren, lass mich bitte wissen, wie das moeglich ist.
Max
Die erwaehnten Fehlermeldungen waren wahrscheinlich (!) das Ergebnis fehlerhafter Indexierung und nicht aktualisierter Indexierung der Suchmaschinen. Teilweise fanden sich einige dieser voellig abwegigen Links zudem noch auf verschiedenen Websites, die beim Aufruf der error.logs nicht vorhandener vhosts eben auch einen Eintrag in das /var/log/apache2/error.log zur Folge hatten.
Weil ich die wahrscheinlich (!) suspekten Bots nicht vollstaendig sperren konnte (Bei AhrefsBot ist das sofort erfolgt, bei dotbot und SemrushBot scheinbar mit dem Quartalswechsel, bei mozilla/5 waren alle Versuche bisher komplett ergebnislos), habe ich die fehlerhaft indexierten Seiten mit Disallow gesperrt, den Aufruf der error.logs nicht vorhandener vhosts mit ein paar Scriptzeilen abgefangen und umgeleitet.
Seitdem sind im error.log des Apache2 keine der beschriebenen unverstaendlichen Fehlermeldungen mehr vorhanden.
Falls es jemand gelungen ist, mozilla/5 erfolgreich zu sperren, lass mich bitte wissen, wie das moeglich ist.
Max