0
Wir verwenden Solr mit HDFS für unsere Indexierungsanforderungen. Bei der Aktualisierung der vorhandenen Dokumente (Lesen vorhandener Dokumente und Updates) in unserem Performancelauf konnten wir beobachten, dass der HDFS-Speicherplatz exponentiell anstieg. Wir verwenden die hier genannte Standardeinstellung: https://cwiki.apache.org/confluence/display/solr/Running+Solr+on+HDFS. Irgendwelche Hinweise auf mögliche Ursachen für unser Problem? Danke für Ihre Hilfe.Der hdfs-Speicherplatz nimmt beim Aktualisieren von Dokumenten in Solr drastisch zu
Wenn Sie nur laut denken: Müssen Sie das vorhandene Dokument löschen, bevor Sie es aktualisieren? d. h. lesen Sie vorhanden, erstellen Sie ein neues Dokument, löschen Sie ein vorhandenes Dokument, und aktualisieren Sie dann. Dies zu tun, weil Sie erwähnt Speicher wuchs exponentiell. – chinglun
Solr macht das automatisch. Kein manuelles Löschen erforderlich. Und wir haben dieses Problem nur, wenn Solr mit HDFS integriert ist; auf anderen Dateisystemen hat es gut funktioniert. – geekprogrammer
Ist die Bereinigung aktiviert? – chinglun