ich Erfolg habe Scrapy mit Tor über diesen Link zu laufen: http://pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-part-1-mac/Scrapy-Splash mit Tor
aber ich kann nicht laufen Splash mit Tor.
In Scrapy-settings.py I zur http_proxy Polipo (8123 ist polipo port):
HTTP_PROXY = 'http://127.0.0.1:8123'
In polipo.config, I gerichtet Tor (9150 tor-Port):
socksParentProxy = localhost:9150
diskCacheRoot=""
Das funktioniert perfekt für scrapy. Im Splash funktioniert es nicht. Aber ich muss Splash oder Docker sagen, um polipo für http_proxy wie in scrapy-settings.py zu verwenden. Docker sollte irgendwie polipo verwenden, und polipo wird direkt zu tor. Wie kann ich das machen?
Ich betreibe Splash mit:
sudo docker run -p 5023:5023 -p 8050:8050 -p 80511 scrapinghub/splash
und in etc/default/Docker Ich habe versucht, sollte Docker direkt mit diesem Polipo:
export http_proxy='http://127.0.0.1:8123'
Environment="http_proxy=http://127.0.0.1:8123"
aber ich konnte nicht gelingen. Was mache ich falsch? Thanks :)