C# Mehrere Tasks ausführen, die die Website analysieren und zurückgeben, wenn alle fertig sind

Question

Mein Ziel ist es, mehrere Verknüpfungen gleichzeitig zu laden und für jede eine Aufgabe zu erstellen.

Die Task ruft eine asynchrone Methode auf, die die Links analysiert und Sublinks zurückgibt, die im Gegenzug geparst werden (mit WebBrowser) und dann einen Downloadlink zurückgeben.

Die erste asynchrone Methode ruft 2 nachfolgende Methoden für diese Arbeit auf.

Mein Problem ist Task.Factory.ContinueWhenAll würde nur zurück, wenn die erste Methode beendet, und wird nicht auf den Rest der Arbeit warten. Ich möchte nur fortfahren, wenn ich alle Download-Links bereit habe, die möglicherweise mehrere Webseiten-Parsing benötigen, bevor sie es sind.

Derzeit mein Code ist folgende:

var tasks = new List<Task>(); 
for (var index = 0; index < items_checklist.CheckedItems.Count; index++) 
{ 
    var item = items_checklist.CheckedItems[index]; 
    Task task = Task.Factory.StartNew(
        () => GetMirrors(((Item) item).Value, ((Item) item).Text) 
        , CancellationToken.None 
        , TaskCreationOptions.None 
        , TaskScheduler.FromCurrentSynchronizationContext() 
    ); 
    tasks.Add(task); 
} 

Task.Factory.ContinueWhenAll(tasks.ToArray(), GetLinks_Finished => 
{ 
    SetLinksButtonText(@"Links Ready"); 
    SetLinksButtonState(false); 
    SetDownloadButtonState(true); 
    Cursor.Current = DefaultCursor; 
}); 

Diese zurückkehren wird, wenn alle GetMirrors beenden, aber GetMirrors nennen würde „tempbrowser_DocumentCompleted“ (WebBrowser complete-Ereignis), die wiederum nennen würde „LoadLinkIntoQueue“, um den Download-Link zu laden in die Warteschlange.

Ich möchte ContinueWhenAll fortsetzen, wenn alle LoadLinkIntoQueue ausgeführt werden.

Was fehlt mir an Logik?

Answer 1

Sie können eine TaskCompletionSource in Ihrer GetMirrors Methode erstellen, die die Methode ist, die in dem Task.Factory.StartNew Aufruf innerhalb Ihrer for-Schleife von URLs verwendet wird, um zu verarbeiten.

In GetMirrors würden Sie das DocumentCompleted-Ereignis eines neuen WebBrowsers anschließen, der die SetResult auf der TaskCompletionSource aufrufen wird, wodurch die Aufgabe zu Übergang zu Abgeschlossen wird.

Ihre Umsetzung würde so aussehen:

Task<string> GetMirrors(string url, string somethingelse) 
{ 

    // this will signal that the Task is completed 
    // we want the parent to wait 
    var tcs = new TaskCompletionSource<string>(TaskCreationOptions.AttachedToParent); 

    // give each task their own WebBrowser instance 
    WebBrowser tempbrowser = new WebBrowser(); 
    tempbrowser.ScriptErrorsSuppressed = true; 
    this.Controls.Add(tempbrowser); 

    tempbrowser.DocumentCompleted += (s, e) => { 
     // LoadLinkIntoQueue call 
     // we have a result so signal to the CompletionSource that we're done 
     tcs.SetResult(e.Url.ToString()); 

     this.Controls.Remove(tempbrowser); 
    }; 

    // hook up errorhandling if you need that, left as an exercise. 

    tempbrowser.Navigate(url); 
    // we return the Task from the completion source 
    return tcs.Task ; 
} 

Sie auch SetException auf der TaskCompletionSource Instanz aufrufen können, wenn Sie Ausnahmen zurückgeben möchten, die auftreten.

Beachten Sie, dass ich in diesem Code einen WebBrowser für jede Aufgabe instanziiere, so dass Sie sich keine Gedanken über die Serialisierung der Aufgaben machen müssen, damit nur ein einziges WebBrowser-Steuerelement eine Aufgabe behandelt.