gibt es eine Begrenzung für die Anzahl der Threads, die Ruby auf einmal ausführen kann?

Question

Wenn nicht ist das Maximum, während noch leistungsfähig bleibt?

Ich erstelle 14 Threads, von denen jeder eine Liste von URLs öffnet (etwa 500) erstellt einen neuen Thread für jeden, der es dann herunterlädt und es zu einer MySQL Datenbank hinzufügt. Die Größe des MySQL-Pools ist auf 50 festgelegt.

Dies ist eine Rake-Aufgabe in RoR.

Würde dies besser funktionieren mit Kernal#fork oder eine andere Methode?

Answer 1

Nun, da Ihre Threads IO-gebunden werden, ist die gute Nachricht, dass sowohl Ruby 1.8 als auch 1.9 Threads dafür funktionieren. Ruby 1.8 verwendet "Userspace-Threads", dh es werden keine echten neuen Betriebssystem-Threads erstellt, wenn Sie in Ruby neue Threads erstellen. Das ist schlecht für CPU-Multitasking, da nur ein Ruby-Thread gleichzeitig ausgeführt wird, aber gut für E/A-Multitasking ist. Ruby 1.9 verwendet echte Threads und wird für beide gut sein.

Die Anzahl der Threads, die Sie erstellen können, hängt wirklich von Ihrem System ab. Es gibt natürlich praktische Grenzen, aber Sie wollen wahrscheinlich nicht in deren Nähe kommen. Erstens, wenn die Server, von denen aus Sie heruntergefahren werden, sehr langsam sind und Ihre Verbindung sehr schnell ist, werden nur ein paar Threads Ihre Internetverbindung sättigen. Auch wenn Sie viele Seiten von einem einzigen Server packen, werden 500 Anfragen gleichzeitig aus 500 Threads nicht gut.

Ich würde ziemlich klein anfangen: 10 oder 20 Threads gleichzeitig laufen. Erhöhen oder verringern Sie dies je nach Serverlast, Bandbreite usw. Es gibt auch das Problem der gleichzeitigen Verbindungen zur MySQL-Datenbank. Abhängig davon, wie Ihre Tabellen eingerichtet sind und wie groß sie sind, wird es nicht sehr gut funktionieren, wenn Sie zu viele Daten gleichzeitig einfügen möchten.

Answer 2

Mit Ruby 1.8 ist es praktisch begrenzt, wie viel Speicher Sie haben. Sie können zehntausende Threads pro Prozess erstellen. Der Ruby-Interpreter übernimmt die Verwaltung der Threads und es werden nur ein oder zwei native Threads erstellt. Es ist kein echtes Multitasking, bei dem die CPU zwischen Threads wechselt.

Ruby 1.9 verwendet native Threads. Das Limit scheint das zu sein, was das Betriebssystem erlaubt. Nur zum Testen kann ich über 2000 Threads auf meinem Mac mit Ruby 1.9 erstellen, bevor das OS keine mehr erlaubt.

Beachten Sie, dass Tausende von Threads für einen Prozess keine gute Idee ist. Die Thread-Terminierung wird lange vorher zur Last.

Answer 3

require 'open-uri' 
a = 'http://www.example.com ' * 30 
arr = a.split(' ') 

arr.each_slice(3) do |group| 
    group.map do |site| 
    Thread.new do 
     open(site) 
     p 'finished' 
    end 
    end.each(&:join) 
end