2016-06-03 4 views
-1

Ich entwickle einen Website-Crawler mit Golang. Als ich versuchte, einige Websites zu crawlen, bekomme ich seltsame Ergebnisse. Die Root-URL einer Website gibt das Skript-Tag wie unten gezeigt zurück.HTML-Datei mit Skript-Tag nur

<script>window.location="index.php";</script> 

Und es leitet zur index.php Seite um. Warum Benutzer diesen Ansatz verwenden, um Benutzer auf die Indexseite umzuleiten. Jede Sicherheitslücke mit diesem Ansatz? Und wie kann ich mit dieser Situation im Crawler umgehen?

+0

Was meinen Sie mit Weiterleitungen zur index.php Seite? Wo rennst du den Crawler? Im Terminal oder im Web? –

+0

wenn ich curl oder postman benutze dann bekomme ich diesen text aber mit browser sehe ich index.php – degendra

Antwort

-1

Nun, wenn Sie die Seite wirklich verstecken wollen, indem Sie den Benutzer auf eine andere Seite umleiten, dann können Sie diese Methode natürlich nicht verwenden, da jeder Javascript ausschalten und die Seite sehen kann, was ein Sicherheitsrisiko darstellt. Wenn Sie jedoch nur aus irgendeinem Grund umleiten möchten, ist dies in Ordnung.

Für Sie Crawler, was Sie tun können, ist die Suche nach dem Quellcode mit Regex für Umleitungen wie das, aber es kann sehr schwierig sein, alle Fälle zu decken.