MC-Stan auf Spark?

Question

Ich hoffe, MC-Stan auf Spark zu verwenden, aber es scheint, es gibt keine verwandte Seite von Google gesucht.

Ich frage mich, ob dieser Ansatz sogar auf Spark möglich ist, daher würde ich mich freuen, wenn mir jemand Bescheid geben würde.

Darüber hinaus frage ich mich auch, was ist der weit verbreitete Ansatz, um MCMC auf Spark zu verwenden. Ich hörte Scala ist weit verbreitet, aber ich brauche eine Sprache, die eine anständige MCMC-Bibliothek wie MC-Stan hat.

Answer 1

Ja, es ist sicherlich möglich, erfordert aber ein bisschen mehr Arbeit. Stan (und bekannte MCMC-Tools, die ich kenne) sind nicht dafür gedacht, in einer verteilten Umgebung, über Spark oder auf andere Weise ausgeführt zu werden. Im Allgemeinen ist verteiltes MCMC ein Bereich der aktiven Forschung. Für eine aktuelle Überprüfung empfehle ich Abschnitt 4 von Patterns of Scalable Bayesian Inference (PoFSBI). Es gibt mehrere Möglichkeiten, wie Sie eine große MCMC-Berechnung aufteilen können, aber ich denke, eine der einfacheren Methoden wäre die Aufteilung der Daten und die Ausführung eines Standard-Tools wie Stan mit demselben Modell auf jeder Partition . Jedes Modell wird eine subposterior produzieren, die zusammen reduziert werden kann, um eine hintere zu bilden. PoFSBI diskutiert mehrere Möglichkeiten, solche Subposteriors zu kombinieren.

Ich habe put together eine sehr grobe Proof of Concept mit Pyspark und Pystan (Python ist die gemeinsame Sprache mit den meisten Stan und Spark-Unterstützung). Es ist eine grobe und begrenzte Implementierung des gewichteten Durchschnittskonsensalgorithmus in PoFSBI, der auf dem winzigen 8-school-Datensatz läuft. Ich denke nicht, dass dieses Beispiel praktisch sehr nützlich wäre, aber es sollte eine Vorstellung davon geben, was notwendig sein könnte, um Stan als Spark-Programm auszuführen: Daten partitionieren, auf jeder Partition stan ausführen, die Unterordner kombinieren.

Answer 2

Vielleicht rstan und sparklyr :: spark_apply ist die beste Wahl