proxylist kann nicht auf Scrapy Cloud geladen werden

Question

Modul im mit "https://github.com/aivarsk/scrapy-proxies" Einstellungen wie angegeben und auf dem PC funktionieren perfekt, wenn Link zu einer vorhandenen TXT-Kachel auf dem PC ist.

Ich versuche mehrere Zeit verschiedene Möglichkeiten auf Scrapy Cloud in der Datei settings.py.

ich hinzufügen, die Datei „proxylist.txt“ im gleichen Ordner als die Einstellung als das Projekt zusätzlich ich es laden zu „https://dl.dropboxusercontent.com/s/esdm19mnvz2yguf/proxylist.txt“

ich den Namen ersetzen in den: PROXY_LIST = ‚https://dl.dropboxusercontent.com/s/esdm19mnvz2yguf/proxylist.txt‘ oder PROXY_LIST = 'proxylist.txt' oder PROXY_LIST = '/proxylist.txt' PROXY_LIST = '../proxylist.txt'

wenn ich mache es wie PROXY_LIST = 'proxylist.txt' in meinem PC, Es funktioniert wie ein Zauber, aber nicht einmal ich es in Scrapy Cloud laden.

Fehler ich erhalte.

Traceback (most recent call last): File "/usr/local/lib/python2.7/site-packages/twisted/internet/defer.py", line 1299, in _inlineCallbacks result = g.send(result) File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 90, in crawl six.reraise(*exc_info) File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 72, in crawl self.engine = self._create_engine() File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 97, in _create_engine return ExecutionEngine(self, lambda _: self.stop()) File "/usr/local/lib/python2.7/site-packages/scrapy/core/engine.py", line 69, in init self.downloader = downloader_cls(crawler) File "/usr/local/lib/python2.7/site-packages/scrapy/core/downloader/init.py", line 88, in init self.middleware = DownloaderMiddlewareManager.from_crawler(crawler) File "/usr/local/lib/python2.7/site-packages/scrapy/middleware.py", line 58, in from_crawler return cls.from_settings(crawler.settings, crawler) File "/usr/local/lib/python2.7/site-packages/scrapy/middleware.py", line 36, in from_settings mw = mwcls.from_crawler(crawler) File "/app/python/lib/python2.7/site-packages/scrapy_proxies/randomproxy.py", line 55, in from_crawler return cls(crawler.settings) File "/app/python/lib/python2.7/site-packages/scrapy_proxies/randomproxy.py", line 35, in init fin = open(self.proxy_list) IOError: [Errno 2] No such file or directory: '../proxylist.txt'

bitte ich brauche etwas Hilfe.

Answer 1

Sie fügen diese Datei höchstwahrscheinlich nicht in Ihre setup.py Anleitung ein.

Der Mechanismus, der dies bereitstellt, ist die Datei MANIFEST.in. Dies ist relativ einfach: MANIFEST.in ist wirklich nur eine Liste der relativen Dateipfaden Dateien oder Kleckse Angabe .:

include README.rst 
include docs/*.txt 
include funniest/data.json 

Um umfassen für diese Dateien bei der Installation auf dem Paket der Ordner innerhalb Website-Pakete kopiert werden , müssen Sie include_package_data=True an die setup() Funktion liefern.

Siehe http://python-packaging.readthedocs.io/en/latest/non-code-files.html