RSS Feader Aktualisierungsintervall

Ich habe einen Feed-Reader, der jede Minute läuft (er nimmt einen Feed auf, der oft aktualisiert wird). Aber ich werde anscheinend von Akamai blockiert, wenn ich auf ein paar Webseiten zugreife. Vielleicht denken sie, dass ich etwas vorhabe, aber ich bin nicht - ich will nur das Futter bekommen.RSS Feader Aktualisierungsintervall

Irgendwelche Gedanken, wie man entweder mit Akamai nett spielt oder das anders kodiert? Von dem, was ich weiß, kann ich nicht wissen, wenn der Feed aktualisiert wird, außer es abzurufen - aber gibt es einen bevorzugten Weg - wie einen Cache zu überprüfen? Dies ist in C# codiert, obwohl ich bezweifle, dass das einen Unterschied macht.

Quelle

2017-07-24 user8359617

[Willkommen bei Stack Overflow] (http://stackoverflow.com/tour). Bitte erläutern Sie, was Sie versucht haben ... fügen Sie Code hinzu, zeigen Sie Beispiele und erklären Sie das Problem. Überprüfen Sie [hier] (http://stackoverflow.com/help/mcve) und [hier] (http://stackoverflow.com/help/how-to-ask), um zu erfahren, wie Sie Ihre Frage verbessern können. –

Ohne einen weiteren Kontext ist es schwierig zu ermitteln, warum Sie blockiert werden. Liegt es an Ratenbegrenzungen oder anderen Zugangskontrollmaßnahmen? Unter der Annahme, dass es Ratenbeschränkungen sind, gibt es nicht viel, was Sie tun können. Ich würde Ihnen empfehlen, zuerst zu überprüfen, ob die robots.txt es erlaubt, die URL zu crawlen und, wenn erlaubt, eine Art exponentielles Zurück zu verwenden. Hilft dabei, nett zu spielen, indem ein aussagekräftiger User-Agent zur Verfügung gestellt wird. Wenn sie ihre Regeln aktualisieren, möchten sie vielleicht erwägen, legitime Anfragen wie dich selbst in die Whitelist aufzunehmen.

Quelle

2017-07-26 08:37:19

Die Feed-Site, auf die ich zugreife, hat keine ROBOTS.TXT-Datei. Sie scheinen nicht auf dem Akamai CDN zu sein. Ich glaube also nicht, dass die Feed-Site irgendetwas berichtet. Die Zugriffsprobleme, die ich habe, sind mit anderen Websites (wie usps.com). Das einzige, was mir einfällt, ist, dass irgendwie das Laufen meines eigenen Feedlesers etwas mit Akamai auslöst, aber ich habe keine Ahnung, wie oder warum. So sehr interessiert, wenn jemand anderes einen Feed-Reader laufen hat, der das Problem verursacht. Wenn ich die IP zurücksetze, funktioniert mein Zugriff für weniger als 24 Stunden. – user8359617

USPS verfügt über eine Robots-Datei. https://www.usps.com/robots.txt. Auch wenn eine Website nicht auf Akamai ist, ist Akamai nicht dafür verantwortlich, Sie zu blockieren. Ich frage mich, warum du das denkst. –

Ich schätze Ihre Antworten, aber ich versuche nicht auf den RSS-Feed von usps.com zuzugreifen. Ich greife auf eine andere Site zu (das ist die Site, die keine robots.txt-Datei hat). Ich weiß nicht, ob diese Seite Akamai verwendet. Vielleicht ist es nur ein Pech, dass ich in eine Blacklisting von einer Gruppe von IP-Adressen verwickelt werde, oder ob das daran liegt, dass ich den Feed-Reader leite. Soweit ich weiß, mache ich nichts, was nicht erlaubt ist, wenn ich den Feed der Website abfrage. Es fängt an zu scheinen, als würde ich es nie herausfinden. – user8359617

RSS Feader Aktualisierungsintervall

Antwort

Verwandte Themen