Ist es möglich, eine andere DatastoreV1.Read in einem aktuell ausgeführten Pipeline zu schaffen?

Question

Ich weiß, dass es möglich ist, zu Beginn zwei Abfragen mit PCollections, KVs und CoGbkResult zu erstellen, aber Sie müssen Ihre DatastoreIO.Reads außerhalb von ParDos/DoFns angeben. Ist es möglich, so etwas zu tun:

Pipeline pipeline = Pipeline.create(options); 

    PubsubIO.Read.Bound<String> pubsub = PubsubIO.Read.named("ReadFromPubsub") 
      .subscription(subscriptionPath); 

    pipeline.apply(pubsub).apply("Query DB with UserId" , ParDo.of(new DoFn<String, String>() { 
     @Override 
     public void processElement(ProcessContext c) throws Exception { 
      String userId = c.element().toString(); 

      //Query database using userId.... 
     } 
    })); 

    pipeline.run(); 

Answer 1

Ja. Sie können jeden beliebigen Code setzen, die Sie in einem ParDo mögen und es wird mit allen möglichen Problemen ausgeführt werden. Beachten Sie jedoch, dass der Code in der verteilten Dataflow-Umgebung ausgeführt wird, sodass Sie den Status nicht teilen können, abhängig von der Bestellung usw.