Verbindungsfehler zu PostgreSQL beim Multithreading. C#

Question

Ich habe einen Prozess, der Ergebnisse von Hunderten von Abfragen in 5 verschiedenen Datenbanken in eine Datei auf der Festplatte mit einem Producer-Consumer-Muster streamt. Die Abfragen und Verbindungen funktionieren alle, wenn sie sequenziell ausgeführt werden (oder wenn ich sie kontinuierlich wiederhole). Wenn sie jedoch mit Threads versehen werden, schlagen einige der Verbindungen fehl.

Ich füge gerade fehlgeschlagene Versuche zu einer fehlgeschlagenen Sammlung hinzu und führe sie dann rekursiv erneut, so dass sie schließlich alle enden, aber viel Zeit wird mit diesen fehlgeschlagenen Verbindungen verschwendet.

Hier ist der relevante Code verwende ich:

public void executeNodes(List<Node> nodeList, BlockingCollection<Dictionary<string, object>> producer, int retryAttempts) { 
     BlockingCollection<Node> retryNodes = new BlockingCollection<Node>(); 
     Parallel.ForEach(nodeList, new ParallelOptions() { MaxDegreeOfParallelism = 10 }, node => { 
      NpgsqlConnection conn = new NpgsqlConnection(node.ConnectionString); 
      try { 
       conn.Open(); 
       NpgsqlCommand npgQuery = new NpgsqlCommand(node.Query, conn); 
       NpgsqlDataReader reader = npgQuery.ExecuteReader(); 
       while (reader.Read()) { 
        Dictionary<string, object> row = new Dictionary<string, object>(); 
        for (int i = 0; i < reader.FieldCount; i++) { 
         row[reader.GetName(i)] = reader.GetValue(i); 
        } 
        producer.Add(row); 
       } 
       conn.Close(); 
       //Console.WriteLine("Success"); 
      } catch (Exception e) { 
       //Console.WriteLine("Failed"); 
       retryNodes.Add(node); 
      } 
     }); 
     if (retryNodes.Count == 0 || retryAttempts == 0) producer.CompleteAdding(); 
     else executeNodes(retryNodes.ToList<Node>(), producer, retryAttempts - 1); 
    } 

Wenn ein Knoten einfach ist:

public class Node { 
    public string ConnectionString; 
    public string Query; 

    public Node(string connectionString, string query) { 
     ConnectionString = connectionString; 
     Query = query; 
    } 
} 

Dieser Prozess wird erfolgreich und korrekt ausgeführt werden, aber es ist ärgerlich, dass ich Verbindung bin immer Fehler. Jede Hilfe würde sehr geschätzt werden.

Hinweise:

ich Zugabe versucht:

ServicePointManager.DefaultConnectionLimit = 20; 

ich versucht habe, Registry-Einträge hinzufügen specified in this page

Die Verbindungsfehler sind nicht aufgrund der Verbindungspool nicht erreicht.

Die Fehler ich sehe sind:

"Unable to read data from the transport connection: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond." 

Answer 1

So war mein Problem mit Connection Pooling. Sobald ich es in der Verbindungszeichenfolge auf false gesetzt habe, hat alles funktioniert.