Jsoup Scraping HTML dynamischen Inhalt

Question

Ich bin neu in Jsoup und ich habe versucht, einen kleinen Code zu erstellen, der den Namen der Elemente in einer Dampfinventur mit Jsoup erhält.

public Element getItem(String user) throws IOException{ 
    Document doc; 

    doc = Jsoup.connect("http://steamcommunity.com/id/"+user+"/inventory").get(); 
    Element element = doc.getElementsByClass("hover_item_name").first(); 
    return element; 
} 

diese Methoden zurückkehrt:

<h1 class="hover_item_name" id="iteminfo0_item_name"></h1> 

und ich möchte die Informationen beetwen die „h1“ Markierungen, die, wenn Sie auf einem bestimmten Fenster klicken erzeugt wird. Vielen Dank im Voraus.

Answer 1

Sie können das .select(String cssQuery) Methode:

doc.select("h1") gibt Ihnen alle h1Elements. Wenn Sie den tatsächlichen Text in diesen Tags benötigen, verwenden Sie die .text() für jeden Element. Wenn Sie ein Attribut wie class oder id Verwendung .attr(String attributeKey) auf einem Element zB:

doc.getElementsByClass("hover_item_name").first().attr("id") 

gibt Ihnen "iteminfo0_item_name"

Aber wenn Sie Klicks auf einer Website ausführen müssen, können Sie das nicht tun, mit JSoup, Daher ist JSoup ein HTML-Parser und keine Browser-Alternative. Jsoup kann dynamische Inhalte nicht verarbeiten.

Aber was Sie tun können, ist, kratzen zunächst die relevanten Daten in Ihrem h1 Tags und dann eine neue .post()request senden jeweils ein ajax call

Wenn Sie lieber eine echte WebDriver wollen, haben einen Blick auf Selenium.

Answer 2

Verwenden .text() und geben einen String, d.h .:

public String getItem(String user) throws IOException{ 
    Document doc; 
    doc = Jsoup.connect("http://steamcommunity.com/id/"+user+"/inventory").get(); 
    Element element = doc.getElementsByClass("hover_item_name").first(); 
    String text = element.text(); 
    return text; 
}