2016-09-21 13 views
0

Wissen Sie, ob es möglich ist, die Roboter auf www.domaine.com und nicht auf domaine.com zu crawlen? In meinem Fall habe ich eine Webanwendung, die zwischengespeicherte URLs mit prerender.io aktiviert hat (um den HTML-Code anzuzeigen), aber nur unter www.Ich habe eine 302 Redirect auf www. Aber der Googlebot crawlt weiterhin URLs außerhalb des WWW

Also, wenn die Roboter auf Domaine.com kriechen, hat es keine Daten.

Die Umleitung ist automatisch (domaine.com>http://www.domaine.com) auf Nginx, aber keine Ergebnisse.

Ich sagte, dass meine auf meiner Sitemap URLs alle www haben.

Mein Nginx umleiten:

server { 
    listen    *:80; 

    server_name   stephane-richin.fr; 

    location/{ 

    if ($http_host ~ "^([^\.]+)\.([^\.]+)$"){ 
     rewrite ^/(.*) http://www.stephane-richin.fr/$1 redirect; 
    } 

    } 
} 

Haben Sie eine Idee?

Vielen Dank!

+0

Haben Sie irgendwelche Beweise dafür, dass Suchmaschinen-Crawler derzeit "Domaine.com", aber nicht "www.domaine.com" indexieren? Haben Sie mit einem Tool wie Google Webmasters überprüft: https://www.google.com/webmasters/#?modal_active=none? –

+0

Ja, ich verwende Prerender für die Überprüfung: https://box.everhelper.me/attachment/584507/9694636d-053f-40da-bc73-ee2a0df9ef86/321375-GAbfF2KpkO3gqtCd/screen.png –

+0

Es ist unwahrscheinlich, dass es möglich ist, den Crawler zu erzwingen irgendetwas tun ... Bist du sicher, dass du 'www.'Hits in diesem Tool aufnimmst? Vielleicht werden sie nicht aufgezeichnet, weil Sie eine 404 zurückgeben? Haben Sie die Sitemap in der Google Webmaster-Konsole eingereicht? –

Antwort

0

Wenn Sie vor einer Woche eine Sitemap mit den richtigen URLs eingereicht haben, scheint es seltsam, dass Google immer wieder die alten anfordert.

Wie auch immer - Sie senden den falschen Statuscode in Ihrem nicht-www an www Redirect. Sie sind eine 302 sendet, sollte aber einen 301. Philippe erklärt den Unterschied in this answer das Senden: ist

Der Status 301 bedeutet, dass die Ressource (Seite) dauerhaft an eine neue Position verschoben. Der Client/Browser sollte nicht versuchen, den ursprünglichen Standort anzufordern, sondern von nun an den neuen Standort verwenden.

Status 302 bedeutet, dass sich die Ressource vorübergehend an einer anderen Stelle befindet und der Client/Browser die ursprüngliche URL weiterhin anfordern sollte.

+0

Ich werde meine Konfig für Add 301 bearbeiten, aber wie Test die Codenummer zurückgegeben? Ich glaube, der Code ist falsch –

+0

@ StéphaneR. Sehen Sie meinen letzten Kommentar unter Ihren Fragen –

+0

Ja. Also habe ich meine Nginx Config zu bearbeiten: umschreiben ^/(. *) $ Http://www.stephane-richin.fr/$1 permanent; –

0

Könnten Sie haben eine robots.txt-Datei mit

User-agent: * 
Disallow:/

auf domaine.com und eine andere mit

User-agent: * 
Disallow: 

auf www.domaine.com?

+0

Ich habe keine robots.txt und ich habe nur eine Domaine, aber ich umleitung Auto auf www. –

Verwandte Themen