Wie verhindert man, dass Google UserDir-URLs crawlt (aber nicht die echte Domain)?

Wir haben Kunden, die ihre Site auf einer UserDir-URL aufbauen, bevor ihre echte Domain live geht. Die UserDir URL ist immer im Format:Wie verhindert man, dass Google UserDir-URLs crawlt (aber nicht die echte Domain)?

http://1.2.3.4/~johndoe

Manchmal Google crawlt diese UserDir URLs und die temporäre Website in den Ergebnissen angezeigt wird selbst nach der Website auf http://johndoe.com

Live ist also einmal ein Client ist live unter http://johndoe.com, Wie kann ich verhindern, dass Google die UserDir-Adresse crawlt?

(natürlich, ich brauche Google die reale Domain zu kriechen, weil SEO für unsere Kunden wichtig ist)

Quelle

2012-04-04 Callmeed

Haben Sie versucht, eine [robots.txt-Datei] (http://support.google.com/webmasters/bin/answer.py?hl=de&answer=156449) unter 1.2.3.4 zu verwenden? –

Nun, sowohl die temporäre URL als auch die reale Domain verweisen auf dieselben httpdocs ... – Callmeed

ich den kanonischen Tag für diesen Zweck verwenden. Wenn Sie den kanonischen Tag auf der Datei index.html wie so setzen:

<link rel="canonical" href="http://johndoe.com/" />

Dann, wenn Googlebot es bei http://1.2.3.4/~johndoe findet, wird es wissen, dass es ein Duplikat http://johndoe.com/ ist und Google indiziert die richtigen. Der Googlebot wird dasselbe Tag sehen, wenn er die echte Site crawlt und kein Problem mit der selbstreferenziellen Kanonierung hat.

Quelle

2012-04-06 15:30:09

Wie verhindert man, dass Google UserDir-URLs crawlt (aber nicht die echte Domain)?

Antwort

Verwandte Themen