2009-07-30 4 views
0

Das arXiv e-print-Archiv enthält mehrere Terabytes an Papieren aus verschiedenen Wissenschaftsbereichen. Einige Benutzer möchten eine vollständige Kopie dieser Daten auf ihren eigenen Computern behalten, während andere nur die neuesten Dokumente in einer bestimmten Kategorie herunterladen möchten. Sie versuchen, die Bandbreitenbelastung mit einer Art von verteilten Download-System (z. B. BitTorrent) zu reduzieren. Ich suche nach Ideen für ein Programm oder eine Reihe von Programmen, die das alles abdecken würden.ArXiv Replication Brainstorming

Antwort

0

Meine erste Idee ist, dass dies eine Menge wie Usenet Newsgroups aussieht, mit unendlicher Persistenz für Nachrichten auf den Servern. Ich weiß nicht, wie gut es mit PDFs funktioniert.

1

arXiv recommends squid in httpd Beschleunigungsmodus für genau diesen Zweck. Irgendein bestimmter Grund, warum das nicht gut genug ist?

+0

Einer der Menschen, die beteiligt sind „Zunächst einmal sollte es Beachten Sie, dass aufgrund der arXiv-Roboterpolitik derzeit nichts dergleichen möglich ist. Mit anderen Worten: Über 15 Jahre Forschung sind zwar zugänglich, aber nicht wirklich zugänglich. " Der Sinn dieses neuen Projekts ist es, den gesamten arXiv herunterzuladen. – sep332

Verwandte Themen