Wie eine Seite mit Checkbox mit Scrapy kratzen

Question

ich versuche, eine Website zu kratzen, für jede Kategorie der Wahl, ich brauche eine Kontrollkästchen

<ul class="mvSrcLk"> 
    <li> 
     <label class="mvNavSel mvNavLvl1"> 
     Marché frais 
     <input type="checkbox" value="f/1/1p" name="selectedNavigationCategoryPath"> 
</label> 
</li> 
<li> 
<label class="mvNavSel mvNavLvl1"> 
Épicerie sucrée 
<input type="checkbox" value="f/1/1o" name="selectedNavigationCategoryPath"> 
</label> 

wie kann dies tun, indem Scrapy, i this lesen zu überprüfen, aber es doesn 't hat mir geholfen

Answer 1

Ist der Code Teil einer <form>? Wenn dies der Fall ist, müssen Sie möglicherweise eine Anfrage mit dem "Kontrollkästchen ausgewählt" sowie alle weiteren für die Formularübermittlung erforderlichen Informationen erstellen und dann die benötigten Informationen aus der Anfrage extrahieren.

Wenn das Kontrollkästchen jedoch eine Art von Javascript ausführt, das den HTML-Inhalt dynamisch ändert, müssen Sie andere Tools in Kombination mit Scrapy verwenden. Es gibt Projekte, die Scrapy und Selenium oder Splash kombinieren, die Javascript ausführen und die Antwort zurückgeben sollten.

Referenzen

• Scraping dynamic content using python-Scrapy
• selenium with scrapy for dynamic page