2017-01-05 2 views
1

Ich bin mit Scrapy 1.3 Spinnen aus einem Skript, und ich folgte die empfohlenen PraktikenScrapy ignoriert meine Logging-Einstellungen und Drucken der DEBUG

configure_logging({'LOG_LEVEL': 'INFO'}) 
process = CrawlerProcess() 
process.crawl(MySpider) 
process.start() 

ich auch die LOG_LEVEL bei settings.py nur für den Fall festgelegt

LOG_LEVEL = 'WARNING' 

Aber Scrapy ignoriert es und druckt DEBUG auf dem Protokoll. Ich definiere Logging nirgendwo anders.

Antwort

2

From the docs, ich denke, Sie mischen die CrawlerRunner Beispiel mit der CrawlerProcess eins. Hier ist der für CrawlerRunner:

...  
configure_logging({'LOG_FORMAT': '%(levelname)s: %(message)s'}) 
runner = CrawlerRunner() 

d = runner.crawl(MySpider) 
d.addBoth(lambda _: reactor.stop()) 
reactor.run() # the script will block here until the crawling is finished 

Im Gegensatz zu CrawlerProcess(), die einigen Einstellungen werden muss, übergeben, wie in der Dokumentation erwähnt (Beispiel von docs einschließlich Ihrer LOG_LEVEL Einstellung):

... 
process = CrawlerProcess({ 
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)', 
    'LOG_LEVEL': 'INFO', 
}) 

process.crawl(MySpider) 
process.start() # the script will block here until the crawling is finished 
Verwandte Themen