Parsing-Ergebnisse SPARQL Hostnamen erhalten

Question

ich eine riesige Liste von Tripeln wie diese:

?s ex:url ?url 

Wo ?url sein:

www.ex.com/data/1.html 
www.ex.com/data/2.html 
www.google.com/search 
... 

Ist es möglich, mit einer SPARQL Query, zu filtern, die Fragen Sie irgendwie und erhalten Sie die eindeutige Liste von Domains? In dem Beispiel www.ex.com und www.google.com.

Somthing wie folgt aus:

SELECT distinct ?url 
WHERE { ?s ex:url ?url } 

Aber jede URL binden zu behandeln. Natürlich könnte ich sie alle bekommen, und jede URL einzeln in meinem Programm behandeln, aber ich nehme an, eine Sparql-Abfrage wäre mehr Speicher effizient. Ich benutze Stardog - falls es eine benutzerdefinierte Funktion hat.

Answer 1

Verwendung REPLACE mit REGEX:

BIND(REPLACE(STR(?url), "^(.*?)/.*", "$1") AS ?domain) 

Example in Yasgui

Edit: Wie @JoshuaTailor in den Kommentaren erwähnt, STRBEFORE ist besser, wenn es keine Regelung ist url:

BIND(STRBEFORE(?url, "/") AS ?domain) 

Wenn Sie sich um das URL-Schema kümmern müssen (dies verwirft das Schema):

BIND(REPLACE(STR(?url), "^(https?://)?(.*?)/.*", "$2") AS ?domain) 

Natürlich funktioniert das obige nur für grundlegende http (s) URLs, und die Regex wird etwas komplexer, wenn beliebige URLs behandelt werden müssen.

Hier ist eine, die jeden oder fehlende Regelung, die Portnummer Griffe, Auth-Info, und fehlende Schrägstrich:

BIND(REPLACE(?url, "^(?:.*?://)?(?:.*?@)?([^:]+?)(:\\d+)?((/.*)|$)", "$1") AS ?domain) 

Hinweis, die mit regulären Ausdrücken Abfragen kann sehr langsam sein.

Answer 2

Sie können so etwas mit einer Zeichenfolgenmanipulation durchführen, für die keine regulären Ausdrücke erforderlich sind. Zum Beispiel können Sie den Teil der Zeichenfolge Form der URL nach einem „//“ und vor einem „/“ nehmen:

select ?url ?hostname { 
    values ?url { <http://example.org/index.html> } 
    bind(strbefore(strafter(str(?url),"//"),"/") as ?hostname) 
} 

--------------------------------------------------- 
| url        | hostname  | 
=================================================== 
| <http://example.org/index.html> | "example.org" | 
--------------------------------------------------- 

, die nicht reguläre Ausdrücke nicht verwendet, und können schneller sein als eine Lösung mit der Regex Funktion.

Allerdings könnte dies noch erhalten Sie mehr als einen Hostnamen, zum Beispiel, wenn die URL so etwas wie http: // username: password@example.org: 8080, wo Sie Benutzernamen bekommen würde: Passwort @ example.org:8080, das ist mehr als nur Hostname.

Um dies genauer zu machen, sollten Sie eine der URI/URL-Spezifikationen wie RFC 3986 auswählen und einen Blick auf den Abschnitt über Syntaxkomponenten werfen.Einige relevanten Produktionen von dieser Grammatik sind:

URI   = scheme ":" hier-part [ "?" query ] [ "#" fragment ] 

     hier-part = "//" authority path-abempty 
       /path-absolute 
       /path-rootless 
       /path-empty 

Die Autorität Komponente durch einen Doppelstrich („//“) vorgeschaltet ist und durch den nächsten Schrägstrich beendet („/“), Fragezeichen ("?") oder Nummer Zeichen ("#") Zeichen, oder am Ende der URI.

authority = [ userinfo "@" ] host [ ":" port ] 

Ich werde nicht durch alles, was Arbeit (und vielleicht wäre es sinnvoll, einen regulären Ausdruck zu verwenden, um die komplexen Fälle zu behandeln), aber es könnte sein, am einfachsten, nur die URI nehmen von der SPARQL Ergebnis und verwenden Sie dann eine tatsächliche URI-Parsing-Bibliothek, um den Hostnamen zu erhalten. Das ist die zuverlässigste Lösung, da URIs sehr komplex sein können.