Web-Crawling und seine Einschränkungen

Question

Nehmen wir an, dass wir eine Datei im Web platzieren, die öffentlich bewertbar ist, wenn Sie die direkte URL kennen. Es gibt keine Links, die auf die Datei verweisen, und die Verzeichnislisten wurden ebenfalls auf dem Server deaktiviert. Während es öffentlich zugänglich ist, gibt es keine Möglichkeit, die Seite zu erreichen, außer dass die genaue URL zu dieser Datei eingegeben wird. Wie groß ist die Wahrscheinlichkeit, dass ein Webcrawler beliebiger Art (nett oder böswillig) diese Datei durch Crawlen und Indizieren der Datei finden kann?

Für mich, obwohl es öffentlich zugänglich ist, wird es Glück oder spezifische Kenntnisse der Suche nach der Datei erfordern. So wie Gold im Hinterhof vergraben wird und jemand es ohne Karte finden kann oder etwas zu wissen ist dort vergraben.

Ich kann einfach nicht anders sehen, es würde entdeckt werden, aber darum frage ich die Stackoverflow-Community.

Danke.

Answer 1

Links können überall vorkommen - jemand könnte Twitter einen Link dazu, oder posten Sie es auf Facebook oder in einem Kommentar auf einem Blog. Es dauert nur eine.

Wenn es wichtig ist, dass es nirgendwo auftaucht, hinter ein Passwort setzen.

Wenn es nicht wichtig ist, aber Sie bevorzugen, dass es nicht einfach über die Suchmaschine zugänglich ist, verwenden Sie eine robots.txt-Datei, um gut erzogene Crawler zu blockieren.

Answer 2

In der Vergangenheit wurden solche versteckten Orte angeblich mit Hilfe der Google Toolbar (und wahrscheinlich anderer solcher Browser-Plugins) "gefunden", die vom Eigentümer/Uploader verwendet wurde.

Answer 3

können Sie Google Search API verwenden. für die Webseite, die nicht mit einer anderen Webseite verlinkt ist. wir haben keine Ahnung davon.

Answer 4

dies Unter der Annahme:

• Verzeichniseintrag: deaktiviert. Niemand
• kennt die Existenz der Seite. richtig eingestellt
• Sie vertrauen nicht alle Leute, Ihr Link
• Ihre Datei
• Sie die robots.txt haben (dann den Referer an den verlinkten Seite senden Ihr Browser kann) verbreiten keine Links enthalten zu jemand anderem.
• Sie haben Glück

Nun, Ihre Seite wird nicht wahrscheinlich gefunden oder entdeckt werden.

Fazit?

Verwenden Sie eine. Htaccess-Datei, um Ihre Daten zu schützen.

Answer 5

Sicherheit durch Dunkelheit funktioniert nie. Sie sagen, Sie sind nicht zu verknüpfen, und ich glaube Ihnen. Aber nichts hindert Ihren Benutzer daran, absichtlich oder unionell zu verlinken. Wie ceejayoz angedeutet hat, gibt es jetzt so viele verschiedene Orte, um Links zu veröffentlichen. Und es gibt sogar "Lesezeichen-Synchronisierer", von denen die Leute denken, dass sie privat sind, aber tatsächlich für die Welt offen sind.

Verwenden Sie also echte Authentifizierung. Wenn Sie es nicht tun, werden Sie es später bereuen.

Answer 6

Sie haben Recht.Web Crawler sind, im übertragenen Sinne, Spinnen - sie müssen eine Möglichkeit haben, das Web zu durchqueren (Hyperlinks) und auf Ihrer Seite zu landen.

Um Ihre hypothetische Seite in die Ergebnisse einer Suchmaschine einzutragen, müssen Sie ihre URL manuell an die Suchmaschine senden. Es gibt mehrere Dienste zum Senden Ihrer Seite an diese Suchmaschinen. Siehe "URLs an Suchmaschinen senden"

Außerdem wird Ihre Seite nur angezeigt, wenn die Suchmaschine feststellt, dass Ihre Seite genügend Metadaten/Karma innerhalb des proprietären Rankingsystems der Suchmaschine hat. Siehe "SEO" und "Meta-Keywords".

Answer 7

Ja, Ihr Web Crawler besucht URLs, identifiziert alle Hyperlinks auf der Seite und fügt sie der Liste der zu besuchenden URLs hinzu, die Crawl-Grenze genannt wird, aber diese Hyperlinks und URLs haben schlechte Links. Sobald Nutzer auf einen fehlerhaften Link klicken und auf der Malware-Website landen, werden sie oft mit einem gefälschten Codec-Installationsdialog versehen. Wenn das sie nicht bekommt, wird die Seite immer noch geladen werden Dutzende von anderen Taktiken, um ihren Computer zu infizieren. Von gefälschten Symbolleisten, Scareware, Rogue-Software und mehr haben die Seiten alles. Eine Site, auf die sie gestoßen sind, hat sogar versucht, 25 verschiedene Malware-Teile zu installieren. Solche Sites machen Leute anfällig für Installationen von Spam-Bots, Rootkits, Passwort-Steelers und eine Auswahl an Trojanischen Pferden, unter anderem.

Answer 8

gekauften/verkauften Clickstream-Daten in sonst nicht verknüpften Inhalt Entdeckung führen: http://en.wikipedia.org/wiki/Clickstream