Seltsame GET-Anfrage in Apache Log

Question

ich meine Website mit Apache Log Monitoring und ich sah Anfragen einige stranges finden Sie unter:

51.255.65.74 - - [28/May/2016:11:48:02 -0300] "GET /insert/xahanave.html HTTP/1.1" 404 1035 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.1; +http://ahrefs.com/robot/)" 
207.46.13.128 - - [28/May/2016:11:49:13 -0300] "GET/HTTP/1.1" 200 14188 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 
66.249.64.87 - - [28/May/2016:11:49:32 -0300] "GET /css/kin8tengoku-1144-may.html HTTP/1.1" 404 1039 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 

Nun, mein FTP nicht über den Ordner "/ Insert/xanahave" , keine Datei 'kin8tengoku' im Ordner css. Ist es möglich eine Anfrage an eine nicht existierende Datei/Ordner zu stellen?

Wichtig: Vor einigen Tagen wurde meine Seite gehackt und ein "Einfügeordner" wurde ohne Erlaubnis in FTP erstellt, aber jetzt war alles sauber und Ordner "Einfügen" existiert nicht mehr. Meine große Frage ist, warum Anfragen an diesen Ordner fortfahren?

Answer 1

Da die Dateien wurden von Ahrefs, Bing Suchmaschine und Google-Suchmaschine abgeholt, wenn sie auf waren und sie überprüfen in regelmäßigen Abständen Dateien, um zu sehen, ob es irgendwelche Änderungen gibt. Auf diese Weise geben Google und ähnliche Informationen auf Ihrer Website aktuelle Informationen zurück.

Sie können sehen, dass diese Unternehmen vom User Agent gesendet werden (am Ende jeder Zeile). Jetzt tun einige, ruchlosere Bots, manchmal vor, GoogleBot zu sein, aber ein schnelles Google dieser IP-Adressen zeigt diese als legitim an.

Wie Sie sehen, antwortet Ihr Server korrekt mit einem 404 (Seite nicht gefunden Status) und, vorausgesetzt, es gibt keine Links zu ihnen, dann werden diese Unternehmen schließlich den Hinweis nehmen und sie aus ihrem Index fallen lassen und sie nicht mehr anfordern. Kann ein oder zwei Monate dauern. Sie tun dies nicht sofort, wenn der 404 ein Fehler ist, weil Sie versehentlich die Seite oder ähnliches entfernt haben.