Map IP zu Location mit Azure Data Lake Analytics

Question

Ich habe eine Menge Avro-Dateien mit IPs (Weblogs) in Azure Blobs gespeichert. Ich möchte die IP zu Standort zuordnen. Wie macht man das mit Azure Data Lake Analytics (ADLA)?

Im Moment habe ich einen Spark-Job, der die Maxmind IP-Datenbank mit einer Java-Bibliothek verwendet, die eine 113MB große .mmdb-Datei mit allen IP-Standortdaten liest, um diese Suche durchzuführen. Ich untersuche jetzt, ob es möglich ist, diesen Job zu ADLA zu verschieben

Maxmind stellt auch eine C# -Bibliothek zur Verfügung, so dass dieser Teil kein Problem darstellt. Allerdings ist es für mich nicht offensichtlich, wie man mit dieser großen mmdb-Datei umgeht, die gelesen und dann für die Suche verwendet werden muss. Offensichtlich wäre es nicht schnell, die Datei für jede IP-Suche zu lesen. Wie kann dies (und ähnliche Fälle) mit ADLA gehandhabt werden, oder ist ADLA für diese Art von Operationen ungeeignet?

Wenn ich ein normales Programm ausgeführt hätte, würde ich die Nachschlag wie folgt tun:

using (var reader = new Reader("GeoIP2-City.mmdb")) 
{ 
    foreach(var ip in ips) 
    { 
     var data = reader.Find<Dictionary<string, object>>(ip); 
     ... 
    } 
} 

Die MaxMind db finden Sie hier: https://dev.maxmind.com/geoip/geoip2/downloadable/ (beachten Sie, dass ich die Datenbank Im derzeit gekauft haben, verwenden) und C# Bibliothek es hier zu lesen: https://github.com/maxmind/MaxMind-DB-Reader-dotnet

Answer 1

(Azure Daten See Team hier)

Sie können DEPLOY RESOURCE Anweisung U-SQLs verwenden und ein UDO für diesen Zweck.

Zuerst muss die Datei in Ihren Datalake-Store hochgeladen werden. Verwenden Sie dann DEPLOY RESOURCE, um das U-SQL-System anzuweisen, diese Datei in jeden Knoten zu kopieren, in dem das Skript ausgeführt wird. Dann verwendet Ihr Skript C# -Code, um die Datei zu lesen.

DEPLOY RESOURCE "/helloworld.txt"; 

@departments = 
    SELECT * 
    FROM (VALUES 
     (31, "Sales"), 
     (33, "Engineering"), 
     (34, "Clerical"), 
     (35, "Marketing") 
    ) AS D(DepID, DepName); 


@departments = 
    PROCESS @departments 
    PRODUCE DepID int, 
      DepName string, 
      HelloWorld string 
    USING new Demo.HelloWorldProcessor(); 

OUTPUT @departments 
    TO "/departments.tsv" 
    USING Outputters.Tsv(); 

Und hier ist der U-SQL-Prozessor UDO.