Golang zu viele offene Dateien in Go-Funktion, Goroutine

Question

package main 

import (
    "os" 
    "sync" 
) 

func main() { 
    var wg sync.WaitGroup 
    wg.Add(1024 * 1024) 
    for i := 0; i < (1024 * 1024); i++ { 
     go func(index int) { 
      if f, e := os.Open(i); e == nil { 
       //blah blah 
       f.Close() 
      } 
     }(i) 
    } 
    wg.Done() 
} 

Wenn Sie das Programm ausführen, wird der folgende Fehler angezeigt. "Öffnen $ zu viele offene Dateien" Bitte sagen Sie uns, wie Sie den Fehler beheben können.

Answer 1

Sie haben keine Systemressourcen mehr, weil Sie zu viele Dateideskriptoren verwenden, ohne genügend zu veröffentlichen. Sie müssen die Nebenläufigkeit in Ihrem Programm einschränken.

Dazu können Sie einen gepufferten Kanal haben, der als Zähl-Semaphor fungiert.

sem := make(chan struct{}, 12) // 12 is the maximum number of 
           // concurrent processes that may run at any time 

Jetzt können Sie Ihre Methode ändern, wie:

func main() { 
    var wg sync.WaitGroup 
    wg.Add(1024 * 1024) 

    for i := 0; i < (1024 * 1024); i++ { 
     go func(index int) { 

      // if there are already 12 goroutines running, below send will block 
      // and a new file wont be open 
      sem <- struct{}{} 

      // once this goroutine finishes, empty the buffer by one 
      // so the next process may start (another goroutine blocked on 
      // above send will now be able to execute the statement and continue) 
      defer func() { <-sem }() 

      // wg.Done must be deferred after a read from sem so that 
      // it executes before the above read 
      defer wg.Done() 

      if f, e := os.Open(strconv.Itoa(index)); e != nil { 
       // handle file open failure 
       return 
      } 
      defer f.Close() 
      // handle open file 
     }(i) 
    } 

    wg.Wait() 
    close(sem) 
} 

Ihre Nutzung von wg.Done auch falsch ist. Lesen Sie mehr über sie here

(Beachten Sie, dass dieser Code eine grundlegende Vorstellung über diese Art von Problem geben Sie auch auf diese Frage für ein Arbeitsbeispiel beziehen. Go worker pool with repetitive queue structure