Web Scraping auf Client-Seite

Question

Dies ist wahrscheinlich nicht der beste Titel für diese Frage.

So habe ich eine Nodejs-Anwendung auf meinem Server, die derzeit ein Python-Skript für Web-Scraping verwendet, aber ich schaue auf die Client-Seite aufgrund der einzelnen Client sehen verschiedene Versionen (möglicherweise einzigartig) der gleichen Seite? ˅.

Ich bin eine ideale Welt Ich möchte Javascript verwenden, um die HTML-Antwort von einer Seite (was ich in Chrom sehen kann, indem Sie mit der rechten Maustaste und wählen Quelltext) zu dann in Javascript verarbeitet werden.

Aber von dem, was ich online gelesen habe, scheint dies nicht möglich zu sein. Ich bin mir bewusst, Websites, die die Antwort (wie anyorigin.com), die Scraped sein kann. Allerdings sind diese für mich nicht wirklich geeignet, da ich in der Lage sein muss, das, was der Benutzer sieht, zu kratzen, da jeder Benutzer möglicherweise etwas anderes auf der Seite sehen kann, die ich abkratzen möchte. Das Python-Skript, das ich gerade benutze, würde dies tun, aber es würde erfordern, dass der Benutzer Python installiert hat, damit ich es ausführen kann und das kann nicht garantiert werden.

Entschuldigung für den Textblock.

Gibt es eine Lösung für dieses Problem?

Answer 1

Nach ein paar Nachforschungen und den eingegangenen Vorschlägen habe ich eine Chrome-Erweiterung erstellt, die den einfachen Leitfaden auf der Chrome Developer-Website verwendet und eine CORS-Anfrage verwendet, um zu erhalten, was ich brauche.

Wenn jemand diese Frage findet und würde helfen möchte, bin ich gerne weitere Informationen/Hilfe leisten :)

Answer 2

Ich habe kürzlich versucht, etwas sehr ähnliches zu tun, und leider, soweit ich weiß, gibt es keine Möglichkeit, dies auf der Client-Seite zu tun. Sie können in der Lage sein, einige Tricks zu machen und die Daten, die Sie benötigen, auf dem Server, wo Sie damit arbeiten, zu "posten", aber ich kann mir nicht vorstellen, dass das sehr effizient oder einfach ist.

Obwohl, wenn Sie etwas finden, bitte teilen.