Kafka - wie man nach neuen Nachrichten sucht

Question

Ich habe PHP-Anwendung, die Kafka-Nachrichten verbraucht. Das Problem ist, wie man weiß, dass es neue Nachrichten in Kafka gibt? Die erste Lösung besteht darin, einen Benutzer in PHP zu erstellen und ihn dann in einer Schleife auszuführen, um neue Nachrichten zu prüfen. So etwas wie das

<?php 

namespace MyAppBundle\Command; 

use MyAppBundle\EventSourcing\EventSerializer\JSONEventSerializer; 
use MyAppBundle\Service\EventProjectorService; 
use MyAppBundle\Service\KafkaService; 
use Symfony\Bundle\FrameworkBundle\Command\ContainerAwareCommand; 
use Symfony\Component\Console\Input\InputInterface; 
use Symfony\Component\Console\Output\OutputInterface; 
use Symfony\Component\Process\Exception\RuntimeException; 

class EventCommand extends ContainerAwareCommand 
{ 
    protected function configure() 
    { 
     $this 
      ->setName('events:fetch'); 
    } 

    protected function execute(InputInterface $input, OutputInterface $output) 
    { 
     /** @var KafkaService $kafkaService */ 
     $kafkaService = $this->getContainer()->get('store_locator.kafka_service'); 
     /** @var EventProjectorService $eventProjector */ 
     $eventProjector = $this->getContainer()->get('store_locator.event_projector'); 

     while(1){ 
      $messages = $kafkaService->fetchEvents(); 

      foreach ($messages as $message) { 
       $eventProjector->aggregate($message); 
      } 
     } 
     $output->writeln("Finish"); 
    } 
} 

Aber ich mag es nicht ... Gibt es einen anderen Weg?

Wenn es keinen besseren Weg gibt, wie man es am Laufen hält? Zum Beispiel wenn etwas fehlschlägt.

Answer 1

Soweit ich weiß gibt es keine besseren Möglichkeiten als endlos zu schleifen und ständig nach neuen Nachrichten zu suchen. Ein gängiger Ansatz besteht darin, dass sich die Aufgabe nach einer bestimmten Zeit oder nach einer bestimmten Anzahl von Iterationen selbst beendet und dann so etwas wie supervisord verwendet wird, um den Tod zu erkennen und den Verbraucher wiederzubeleben, damit er nicht alle Ressourcen verbraucht.