2017-05-08 1 views
-1

Wenn Scrapy Crawler ausgeführt wird, möchte ich die Ausgabe in einem Cmd-Fenster sehen. Sie können diesen Code in Ihrer IDE ausführen. Wenn du mir helfen kannst, danke im Voraus.Run Scrapy Crawler, kann aber nicht ausgeben, loggen und scurce wie folgt:

Log wie folgt: https: //
https://i.stack.imgur.com/eJ4dK.png
https://i.stack.imgur.com/2J9xk.png

# -*- coding: utf-8 -*- 
import scrapy 
import re 
from dangdang.items import DangdangItem 
from scrapy.http import Request 

class DangspdSpider(scrapy.Spider): 
    name = "dangspd" 
    allowed_domains = ["dangdang.com"] 
    start_urls = (
     'http://category.dangdang.com/pg1-cid4002644.html' 
    ) 

    def parse(self, response): 
     item = DangdangItem() 
     item["title"] = response.xpath("//a[@class='pic']/@title").extract() 
     item["num"] = response.xpath("//a[@name='itemlist-review']/text()").extract() 
     yield item 
     for i in range(2,101): 
      url = "http://category.dangdang.com/pg"+str(i)+"-cid4002644.html" 
      yield Request(url,callback=self.parse) 
+0

Quellcode verwenden github.com/876309067/dangdang/tree/master/dangdang – xinsen

+0

'start_urls' sollte' list' anstelle von 'tuple' in deinem Code sein, und es wird nicht parsen, da es verboten ist. –

+0

Ich änderte, um zu listen, aber kriechen mit wenig Informationen, Ich denke, es ist, weil ihr Server sich weigerte zu besuchen Danke trotzdem – xinsen

Antwort

0

Zur Ausgabe nur

print text #for python < 3 

oder

zu Ihrer Konsole
print(text) # for python >= 3 
+0

meine Python-Version ist 3.6.1, so verwende ich drucken (Text) – xinsen

Verwandte Themen