Massenverarbeitung von E-Mails mit kognitiver Textanalyse

Ich habe etwa 500k E-Mails in einem azure Blob Speicherkonten (eine E-Mail = ein Dokument im Blob-Speicher) gespeichert. Jetzt möchte ich den Inhalt jeder dieser E-Mails mit azurkognitiven Text api (https://www.microsoft.com/cognitive-services/en-us/text-analytics-api) analysieren. Das funktioniert ziemlich gut - aber da ich Tausende von E-Mails in Massen verarbeiten muss, frage ich mich, was wäre der beste Weg dazu? Gibt es ein weiteres azurblaues Analyseprodukt, das mir dabei helfen könnte? Oder erstelle ich einfach eine azurblaue Funktion, die ein Dokument nimmt und das Zeug macht?Massenverarbeitung von E-Mails mit kognitiver Textanalyse

Quelle

2017-04-11 LaurinSt

Ich nehme an, dass Ihr Problem hier ist, ist die Begrenzung einschränkend? –

Hallo Maria, danke für deine Antwort. Nein, eigentlich nicht. Ich möchte kein Limit einstufen, aber ich möchte einen Weg finden, eine massiv parallele Ausführung durchzuführen, um Tausende von E-Mails zu verarbeiten ... ich frage mich, welche Lösungen es gibt, außer Multithreading in einer App zu verwenden ... – LaurinSt

Mit der Text Analytics API können Sie bis zu 1000 Datensätze gleichzeitig senden. Sie können bis zu 100 Anfragen pro Minute einreichen.

Sie können ein Beispiel zum Senden einer kleinen Charge here sehen. Es wäre nicht so schwer zu ändern, um 1000 Datensätze anstelle von 3 zu senden.

Ich würde vorschlagen, eine Art von Verzögerung zwischen jedem Stapelaufruf hinzufügen, so dass Sie effektiv weniger als 100 Anfragen pro Minute senden.

Auch sollte ich darauf hinweisen, dass die maximale Nutzlast einer Stapelanforderung nicht> 1 MB sein kann - abhängig von der Größe der E-Mails, die Sie analysieren möchten, möchten Sie möglicherweise einen Stapel kleiner als 1000 Dokumente.

Luis Cabrera | Text Analytics PM | Microsoft Corporation

Quelle

2018-02-08 16:19:57

Massenverarbeitung von E-Mails mit kognitiver Textanalyse

Antwort

Verwandte Themen