Verhindern, dass Bots auf die gehostete Website von GCloud zugreifen

Ich versuche zu verhindern, dass alle Suchmaschinen Bots auf meine Website zugreifen.Verhindern, dass Bots auf die gehostete Website von GCloud zugreifen

Ich habe gelesen, dass diese Berechtigungen auf robots.txt Datei angegeben werden kann, aber ich bin mir nicht sicher, wo auf diese Datei zugreifen, um sie in Google Cloud zu bearbeiten.

Ich habe meinen Webserver mit Python mit Gcloud entwickelt.

Beachten Sie, dass ich das folgende Thema lesen http://stocksonfire.in/seo/edit-robots-txt-google-cloud-solved/ Allerdings habe ich keine VM-Instanz in meinen Ressourcen gefunden. Muss ich zuerst eine erstellen?

bearbeiten: Dies ist meine app.yaml Datei nach appling @Dac Saunders Vorschlag

runtime: python 
env: flex 
entrypoint: gunicorn -b :$PORT main:app 

runtime_config: 
    python_version: 3 

handlers: 
- url: /robots\.txt 
    static_files: robots.txt 
    upload: robots\.txt

Quelle

2017-11-12 Qalam

Seitennotiz: Sie können Roboter nicht wirklich daran hindern, mit 'robots.txt' auf die Site zuzugreifen. Fehlbesetzte können die Datei ignorieren. Siehe http://www.robotstxt.org/faq/blockjustbad.html. –

Mein robots.txt (mit Python appengine) sieht wie folgt aus.

User-agent: * 
Disallow: /q? 

Sitemap: /sitemap.xml.gz

Ich legte es in <MYAPP>/static/robots.txt. Dann abgebildet ich es in app.yaml wie folgt aus:

handlers: 
- url: /(robots\.txt|favicon\.ico) 
    static_files: static/\1 
    upload: static/.*

Auf diese Weise meine robots.txt in der Wurzel meiner Domain zugänglich wird.

Quelle

2017-11-12 21:36:27

Ich habe versucht, indem die folgenden Zeilen Handler robots.txt: - url: /robots\.txt static_files: robots.txt Upload: Roboter \ .txt robots.txt im selben Ordner wie App vorhanden ist. Yaml. Ich konnte Ihrem Format nicht folgen, da ich kein favicon.ico habe und auch nicht weiß was ist /static/ – Qalam

Ich kann immer noch nicht auf die Datei zugreifen, wenn ich MYWEBSITE/robots.txt schreibe – Qalam

Können Sie Ihre bearbeiten Frage zu app.yaml wie es derzeit aussieht? Es ist nicht klar, ob Sie die Zeilen speziell zu robots.txt hinzugefügt haben oder die aktuelle Frage ersetzt haben. Wenn Sie nur Zeilen unterhalb Ihres Beitrags hinzugefügt haben, würde das vorhandene Zeug ('url:/(robots \ .txt | favicon \ .ico)') zuerst übereinstimmen und wahrscheinlich verhindern, dass Ihre Additionen ausgewertet werden. – jjjjoe

Verhindern, dass Bots auf die gehostete Website von GCloud zugreifen

Antwort

Verwandte Themen