Ich suche nach Möglichkeit zu überprüfen, ob eine Website in URL-Filter-Datenbanken kategorisiert ist. Kennt jemand solche Datenbank mit freier API?URL-Filterung
Antwort
Überprüfen Sie die Google Safe Browsing API. Damit können Sie URLs anhand von Blacklists von verdächtigen Phishing- und Malware-Seiten überprüfen. Hier ist the developer guide.
BrightCloud hat gerade eine API for URL classification veröffentlicht, die umfassender ist als die Google Safe Browsing API - sie kostet zwar Geld, ist aber billig. Neben Kategorien wie "Adult" und "Gambling" gibt es auch sicherheitsorientierte Kategorien wie Phishing, Malware und Spam.
Die vollständige Liste der Kategorien ist hier: http://brightcloud.com/masterdburllist.asp
Kasse die SimilarWeb API. Die API führt die Klassifizierung auf Domänenebene durch und basiert auf der Inhaltsanalyse und dem maschinellen Lernen von SimilarSite.
Link zur API: https://developer.similarweb.com/
Disclosure, ich bin mit Similargroup angeschlossen, der Schöpfer von SimilarWeb.
mögliches Duplikat von [Programmatic Link Scanning] (http://stackoverflow.com/questions/381747/programmatic-link-scanning) – Joshua