Verhindert, dass der Googlebot eine Seite indexiert, während der Zugriff weiterhin möglich ist

Question

In einer angularjs-App verwende ich ein Fragment wie /fragments/welcome-1.html, das als Teil von /welcome angezeigt wird. Ich dachte, ich habe es von Google-Such über

Disallow: /fragments 

in robots.txt ausschließen konnte, aber es vollständig verhindert jeglichen Zugriff von Googlebot und damit die Seite /welcome nicht korrekt angezeigt werden.

Offensichtlich kann ich das nicht tun, aber wie kann ich sicherstellen, dass Google das Fragment holen kann und es wird es nicht indizieren? Beachten Sie, dass es kein echtes HTML, nur ein Teil des Körpers ist, so dass ich nicht wirklich ein meta Tag verwenden kann.

Answer 1

Ich habe gerade die X-Robots-Tag und ich dienen alle Seiten von /fragments

mit

X-Robots-Tag: googlebot: noindex 

Mal sehen, ob es wirklich funktioniert.

Answer 2

Ich glaube nicht, dass dies ein angularjs Problem ist oder wenn mit eckigen aufgelöst werden kann. Ich hatte ein ähnliches Problem mit dem Bot. Ich habe einen Ordner, in dem ich mehrere Websites hosten. Ich löse es in der Google Analytics-Konsole auf, nachdem Sie Ihre Domain validiert und überwacht haben, gibt es eine Option im Menü namens Google-Index, in der eine Option zum Entfernen von URLs enthalten ist. Fügen Sie einfach alle URLs ein, die Google nicht indexieren soll.

https://www.google.com/analytics/