Erlaube nur Google CSE und verbiete die Google Standardsuche in ROBOTS.txt

Question

Ich habe eine Website, auf der ich eine Google Custom Search Engine verwende. Ich möchte, dass Google CSE meine Website crawlt, aber ich möchte, dass die Ergebnisse einer normalen Google-Suche nicht berücksichtigt werden. Ich habe dies in meiner robots.txt-Datei der Hoffnung, dass Google CSE Bots würde es ignorieren, da ich die Seiten angegeben wollte ich Google CSE in den Einstellungen kriechen

User-agent: * 
Disallow:/

Ich denke, die Google CSE Bots müssen auch Roboter gehorchen. txt. Gibt es also eine Möglichkeit, meine Seite dazu zu bringen, Suchmaschinen-Suchanfragen zu vermeiden, damit Google CSE sie dennoch indizieren kann? TIA!

Answer 1

Es gibt keine Lösung für diese Frage, die zu dem passt, was Sie möchten. Ich habe auch die gleiche Situation, wo ich nur benutzerdefinierte Suche brauche. Leider zeigt Googles Liste von crawlers keinen spezifischen Bot für Google Custom Search. Durch das Blockieren des Googlebot wird sowohl die native Suche als auch die benutzerdefinierte Suche beendet.