Wie mache ich eine einfache Zeitreihe?

Question

Ich habe eine Zeitreihendaten uni-variate. Also nur TimeStamp und Value. Jetzt möchte ich diesen Wert für den nächsten Tag/Monat/Jahr extrapolieren (prognostizieren). Ich weiß, es gibt Methoden wie Box-Jenkins (ARIMA) etc.

Spark hat lineare Regression und ich habe es versucht, aber ich habe keine zufriedenstellenden Ergebnisse erhalten. Hat irgendjemand in Spark eine Zeitreihe einfacher Vorhersage probiert? Kann ihren Implementierungsansatz teilen?

PS: Ich überprüfe bei User Mailing Liste für dieses Problem, fast alle Fragen zu diesem Thema sind dort unbeantwortet.

Answer 1

Sie können bei Cloudera Bibliothek Zeitreihe sehen: https://github.com/cloudera/spark-timeseries

Es ARIMA enthält. Sie können auch einen Blick auf den Blog-Eintrag werfen, der es einführt: https://blog.cloudera.com/blog/2015/12/spark-ts-a-new-library-for-analyzing-time-series-data-with-apache-spark/

Answer 2

Ja ich habe bereits ARIMA in Funken für uni verschiedene Zeitreihen angewendet.

public static void main(String args[]) 
{ 
    System.setProperty("hadoop.home.dir", "C:/winutils"); 

    SparkSession spark = SparkSession 
       .builder().master("local") 
       .appName("Spark-TS Example") 
       .config("spark.sql.warehouse.dir", "file:///C:/Users/abc/Downloads/Spark/sparkdemo/spark-warehouse/") 
       .getOrCreate(); 

    Dataset<String> lines = spark.read().textFile("C:/Users/abc/Downloads/thunderbird/Time series/trainingvector_arima.csv"); 

    Dataset<Double> doubleDataset = lines.map(line>Double.parseDouble(line.toString()), 
      Encoders.DOUBLE()); 

    List<Double> doubleList = doubleDataset.collectAsList(); 
    //scala.collection.immutable.List<Object> scalaList = new 

    Double[] doubleArray = new Double[doubleList.size()]; 
    doubleArray = doubleList.toArray(doubleArray); 

    double[] values = new double[doubleArray.length]; 
    for(int i = 0; i< doubleArray.length; i++) 
    { 
     values[i] = doubleArray[i]; 
    } 

    Vector tsvector = Vectors.dense(values); 

    System.out.println("Ts vector:" + tsvector.toString()); 

    //ARIMAModel arimamodel = ARIMA.fitModel(1, 0, 1, tsvector, true, "css-bobyqa", null); 
    ARIMAModel arimamodel = ARIMA.autoFit(tsvector, 1, 1, 1); 

    Vector forcst = arimamodel.forecast(tsvector, 10); 

    System.out.println("forecast of next 10 observations: " + forcst); 
    } 

Dieser Code funktioniert für mich. Hier werden alle Werte, die Sie prognostizieren möchten, als Eingabedaten übergeben.