HtmlCleaner Fehler auf einigen XPaths erzeugt durch XPather

Question

I HtmlCleaner2.1 Bibliothek bin mit für XPaths erzeugt durch XPather Plugin gegen html zu kratzen Inhalt daraus zu bewerten. Aber manchmal kann HtmlCleaner Xpath nicht auswerten.

Für e.x. http://www.megaoutdoors.co.uk/norwegen-army-shirt-zipped-roll-top-collar-278-p.asp

Für Produkttitel, XPath von XPather gegeben ist // body/div [11]/div [6]/div [2]/form/div [1]/h1 Aber das scheitert, wenn ich es mit HtmlCleaner auswerte.

Wie können wir dieses Problem lösen? Ändert sich die Struktur der Seite, wenn htmlcleaner sie bereinigt?

Dank
Jitendra

Answer 1

ändert Struktur Seite, wenn htmlcleaner reinigt es?

Nach dem Intro Beispiel auf http://htmlcleaner.sourceforge.net/, HTMLCleaner kann sicherlich die Struktur der Seite ändern, wenn aufzuräumen. In diesem Beispiel fügt es HTML- und Body-Elemente hinzu und verschiebt das Element h1 aus der Tabelle.

Warum lassen Sie HTMLCleaner nicht auf der Seite laufen und schauen Sie sich die Ausgabe an? Dann können Sie feststellen, ob und wie sich die Struktur verändert hat.

Gibt es eine Möglichkeit, es zu vermeiden oder in anderen Worten, halten DOM erzeugt durch HtmlCleaner so nahe wie möglich zu DOM von Browser integriert.

Sie könnten dies tun, indem Sie einen modifizierten Tag-Info-Satz angeben, der sich von dem default one unterscheidet. Dies ist anscheinend, was die "Korrekturen" des DOM konfiguriert. (Siehe here, wie es zu benutzen, wenn Sie die Befehlszeilenschnittstelle verwenden.)

Oder, wenn Sie einige andere HTML-Parser vorschlagen könnte, deren DOM ist sehr nahe zu DOM von Browser, so dass xpath generiert von XPather Plugin würde sehr selten scheitern.

Ich würde versuchen HTML Tidy und sehen, was es mit dem DOM macht. Es ist ein weit verbreitetes und ausgereiftes Programm zum Aufräumen von Scraped HTML.