Ist unsere robots.txt-Datei korrekt formatiert?

Question

Ich versuche sicherzustellen, dass unsere robots.txt-Datei korrekt ist und würde einige Informationen sehr schätzen. Wir wollen, dass alle Bots in der Lage sind, die Homepage und die "Beispiel-Triallines" zu crawlen und zu indexieren, aber das war's. Hier ist die Datei:

User-agent: * 
Allow: /$ 
Allow: /sample-triallines$ 
Disallow:/

Kann jemand bitte lassen Sie mich wissen, wenn das korrekt ist? Vielen Dank im Voraus.

Answer 1

Sie können Ihre XML-Sitemap direkt mit einem robots testing tool oder innerhalb der Webmaster-Tools der meisten großen Suchmaschinen (z. B. Google Search Console) testen. Ihre aktuelle robots.txt-Datei funktioniert für die meisten Crawler genau wie die von Ihnen erwähnten URLs (z. B. https://www.example/ und https://www.example/sample-triallines).

Allerdings, wenn Ihre URLs von genau diesen URLs abweichen, werden sie für Crawler blockiert (z. B. Tracking-Parameter). Die folgenden URLs werden zum Beispiel mit der aktuellen robots.txt-Konfiguration blockiert, die für das, woran Sie gerade arbeiten, akzeptabel ist oder nicht.

• https://www.example/index.html
• https://www.example/?marketing=promo
• https://www.example/sample-triallines/

• https://www.example/sample-triallines?marketing=promo

  Wenn eine dieser oben URLs müssen gecrawlt werden Sie nur zusätzliche Richtlinien in der robots.txt-Datei hinzufügen müssen als benötigt und testen sie innerhalb der Roboter-Test-Tools. Zusätzliche Informationen zu Roboter-Richtlinien finden Sie unter here.

hoffe, das hilft