Ausgabe Grund für Python Absturz

Question

Ich habe eine Anwendung, die eine Reihe von Servern alle paar Minuten abfragt. Um dies zu tun, laicht es ein Thread pro Server abzufragen (15 Server) und schreibt die Daten in ein Objekt zurück:

import requests 

class ServerResults(object): 
    def __init__(self): 
     self.results = [] 

    def add_server(some_argument): 
     self.results.append(some_argument) 

servers = ['1.1.1.1', '1.1.1.2'] 
results = ServerResults() 

for s in servers: 
    t = CallThreads(poll_server, s, results) 
    t.daemon = True 
    t.start() 

def poll_server(server, results): 
    response = requests.get(server, timeout=10) 
    results.add_server(response.status_code); 

Die CallThreads Klasse ist eine Hilfsfunktion, eine Funktion (in diesem Fall poll_server() mit Argumenten nennen (in diesem Fall s und results), können Sie die Quelle bei meinem Github Repo von Python utility functions sehen.Der Großteil der Zeit funktioniert das gut, aber manchmal ein Thread intermittierend hängt.Ich bin mir nicht sicher, warum, da ich a . Timeout auf der Anforderung GET In jedem Fall, wenn der Faden aufbauen hängt dann die aufgehängten Fäden im Laufe von Stunden oder Tagen, und dann stürzt Python:

File "/usr/lib/python2.7/threading.py", line 495, in start 
    _start_new_thread(self.__bootstrap,()) 
thread.error: can't start new thread 

Exception in thread Thread-575 (most likely raised during interpreter shutdown) 
Exception in thread Thread-1671 (most likely raised during interpreter shutdown) 
Exception in thread Thread-831 (most likely raised during interpreter shutdown) 

Wie könnte ich damit umgehen? Es scheint killablockingthreadinPython keine Möglichkeit zu sein. Diese Anwendung muss auf einem Raspberry Pi laufen, so dass große Bibliotheken wie twisted nicht passen, in der Tat muss ich die requests Bibliothek auch loswerden!

Answer 1

Soweit ich das beurteilen kann, ein möglich Szenario ist, dass, wenn ein Faden „hängt“ für einen Server gegeben, es gibt „für immer“ bleiben wird. Das nächste Mal, wenn Sie Ihre Server abfragen, wird ein weiterer Thread erzeugt (_start_new_thread), bis zu dem Punkt, an dem Python abstürzt.

wahrscheinlich nicht die (Haupt-) Problem, aber Sie soll:

• einen Thread-Pool verwenden - dies wird nicht die begrenzte Ressourcen des Systems betonen, so viel wie Laichen neue Fäden immer wieder .
• Kontrolle, dass Sie ein „thread-kompatibel“ Mechanismus verwenden, um den gleichzeitigen Zugriff auf results zu behandeln. Vielleicht sperren ein semaphore oder mutex- Atom Teile des Codes. Wahrscheinlich wäre eine dedizierte Datenstruktur wie eine queue besser.

---

bezüglich des "hängen" per se - aufgepasst, dass das Timeout Arguments während "eine URL zu öffnen" (urlopen) mit dem Timeout Zusammenhang für den Verbindungsaufbau. Nicht für die tatsächliche Herunterladen von Daten:

Der optionale Parameter timeout ein Timeout in Sekunden für Blockierung Operationen wie der Verbindungsversuch gibt (wenn nicht anders angegeben, die globalen Standard-Timeout-Einstellung verwendet werden). Dies funktioniert nur für HTTP, HTTPS und FTP-Verbindungen.