Wie berechnet man die Kosinusähnlichkeit zweier Vektoren in PySpark?

Question

Ich bin über die Kosinus Ähnlichkeit zweier Vektoren in PySpark, wie

1 - spatial.distance.cosine(xvec, yvec) 

aber scipy zu berechnen scheint den pyspark.ml.linalg.Vector Typen nicht zu unterstützen.

Answer 1

Sie können dot und norm Methoden verwenden, um dies zu berechnen ziemlich leicht:

from pyspark.ml.linalg import Vectors 
x = Vectors.dense([1,2,3]) 
y = Vectors.dense([2,3,5]) 

1 - x.dot(y)/(x.norm(2)*y.norm(2)) 
# 0.0028235350472619603 

---

Mit scipy:

from scipy.spatial.distance import cosine 
​ 
x = np.array([1,2,3]) 
y = np.array([2,3,5]) 

cosine(x, y) 
# 0.0028235350472619603