Wenn Scrapy Crawler ausgeführt wird, möchte ich die Ausgabe in einem Cmd-Fenster sehen. Sie können diesen Code in Ihrer IDE ausführen. Wenn du mir helfen kannst, danke im Voraus.Run Scrapy Crawler, kann aber nicht ausgeben, loggen und scurce wie folgt:
Log wie folgt: https: //
https://i.stack.imgur.com/eJ4dK.png
https://i.stack.imgur.com/2J9xk.png
# -*- coding: utf-8 -*-
import scrapy
import re
from dangdang.items import DangdangItem
from scrapy.http import Request
class DangspdSpider(scrapy.Spider):
name = "dangspd"
allowed_domains = ["dangdang.com"]
start_urls = (
'http://category.dangdang.com/pg1-cid4002644.html'
)
def parse(self, response):
item = DangdangItem()
item["title"] = response.xpath("//a[@class='pic']/@title").extract()
item["num"] = response.xpath("//a[@name='itemlist-review']/text()").extract()
yield item
for i in range(2,101):
url = "http://category.dangdang.com/pg"+str(i)+"-cid4002644.html"
yield Request(url,callback=self.parse)
Quellcode verwenden github.com/876309067/dangdang/tree/master/dangdang – xinsen
'start_urls' sollte' list' anstelle von 'tuple' in deinem Code sein, und es wird nicht parsen, da es verboten ist. –
Ich änderte, um zu listen, aber kriechen mit wenig Informationen, Ich denke, es ist, weil ihr Server sich weigerte zu besuchen Danke trotzdem – xinsen