dask-distributed

1Hitze

1Antwort

Der beste Weg, um alle Futures in einer Dask-Sammlung zu erhalten

Wenn man eine Dask-Sammlung d hat, die von einigen persistenten Inhalt abhängt, was ist der beste Weg, um eine Liste aller Future s zu erhalten, die d abhängt?

1Hitze

1Antwort

Iterate sequentiell über eine dask Tasche

Ich brauche die Elemente eines sehr großen dask.bag zu einem nicht-Thread-Speicher einreichen, also ich brauche so etwas wie for x in dbag: store.add(x) ich nicht compute verwenden kann, da die

0Hitze

1Antwort

dask distributed.utils - ERROR - state ist kein Wörterbuch

Ich habe kürzlich dask-0.15.3 auf dask-0.16.0 aktualisiert und distribute-1.19.1 auf distribute-1.20.2 verteilt. Nach dem Upgrade sind alle DASK-Jobs mit Ausnahme fehlgeschlagen: _pickle.UnpicklingErr

1Hitze

1Antwort

Dask SVD Berechnung und Wiederverwendung von Zwischenwerten

Ich habe eine riesige Multi-Gigabyte-Matrix in einem Dask-Array. Wenn ich folgendes tun: usv = dask.array.linalg.svd(A) Gefolgt von u.compute() s.compute() v.compute() Kann ich Dask gewährleiste

1Hitze

1Antwort

dask verteilt 1.19 Client-Protokollierung?

Der folgende Code verwendet, um Protokolle an einem bestimmten Punkt zu emittieren, scheint dies jedoch nicht mehr zu tun. Sollte die Konfiguration des Logging-Mechanismus in jedem Worker keine Protok

1Hitze

1Antwort

Profiling Dask Verteilte Kommunikation zwischen Mitarbeitern und Kunden

Ich möchte fragen, ob es eine Möglichkeit gibt, die Kommunikation zwischen Arbeitnehmern und einem Kunden rechtzeitig zu messen. Zurzeit verwende ich ein Scheduler-Plugin, um die Task-Zustände zu erha

1Hitze

1Antwort

Dask read_sql_table Fehler: 'instancemethod' Objekt hat kein Attribut '__getitem__'

Ich erhalte diesen Fehler mit diesem params: import pandas as pd import numpy as np from sqlalchemy import create_engine import dask.dataframe as dd from sqlalchemy.sql import text query = text("

0Hitze

1Antwort

Python + Distributed - Ist es möglich, mit Dask eine Gruppe von Arbeitern zu verwenden, um eine Funktion gleichzeitig auf Dateien aus einem Ordner anzuwenden

Ich möchte ein Programm schreiben, das die Zeit zum Einlesen eines Ordners mit .py Dateien berechnet und berechnen Sie die zyklomatische Komplexität jeder Datei. Ich habe Radon installiert, um die Kom

0Hitze

1Antwort

Dask DataFrame.map_partition() zum Schreiben in die db-Tabelle

Ich habe einen dask-Datenframe, der nach einigen Transformationen Daten enthält. Ich möchte diese Daten zurück in eine MySQL-Tabelle schreiben. Ich habe eine Funktion implementiert, die einen Datenrah

0Hitze

1Antwort

Wie viel Zeit würde es für dasask ec2 dauern, Instanzen einzurichten?

Ich bin neu zu dask.distributed. Ich versuche, einige Cluster für verteilten Job einzurichten. Ich versuche dasc-ec2, sie einzurichten. Wenn ich den Befehl mit den erforderlichen Argumenten ausführe,