jq: Vergleichen von drei Dateien, um fehlende IDs in einem

Question

zu finden Ich habe 3 verschiedene Dateien. mongo.json, elastic.json, stripe.json.

Jeder hat eine Reihe von Clients und ich möchte die Länge dieser Arrays vergleichen, um zu überprüfen, ob sie die gleiche Anzahl von Kunden zur Vermeidung von Fehlern haben. Hier ist ein Beispiel für jede Datei:

Mongo.json

[{ 
    "_id": { 
      "$oid": "59c3942baeef22b03fa573d2" 
    }, 
    "client_id": "test@test.com", 
    "name": "Windows Client" 
},{ 
    "_id": { 
      "$oid": "59c3942baeef22b03fa573d2" 
    }, 
    "client_id": "test2@test2.com", 
    "name": "Linux Client" 
}] 

elastic.json

[ 
    { 
     "alias" : "test@test.com", 
     "index" : "index1", 
     "filter" : "-" 
    }, 
    { 
     "alias" : "test2@test2.com", 
     "index" : "index2", 
     "filter" : "-" 
    } 
] 

stripe.json

{ 
"object": "list", 
"data": [ 
    { 
     "id": "test@test.com", 
     "object": "customer", 
     "account_balance": 0, 
     "created": 1505990903 
    } 
] 
} 

Mit dem folgenden Befehl, den ich die Länge jedes Arrays zu erhalten, aber ich don Ich weiß nicht, wie man diese Lengs für chec vergleicht k, wenn sie gleich sind oder nicht:

jq '. | length' mongo.json elastic.json stripe.json 

Ergebnis:

2 
2 
1 

Wie kann ich diese Ergebnisse vergleichen? Ich mag die folgende Ausgabe:

Falls sie die gleiche Länge:

Everyting is OK. 

Im entgegengesetzten Fall:

Missing customer test2@test2.com 

Die Kunden-ID: ist die E-Mail-.

Wie kann ich das tun?

Answer 1

jq -n \ 
    --slurpfile mongo mongo.json \ 
    --slurpfile elastic elastic.json \ 
    --slurpfile stripe stripe.json \ 
' 
    [$mongo[][].client_id] as $mongo_ids 
| [$elastic[][].alias] as $elastic_ids 
| [$stripe[].data[].id] as $stripe_ids 
| (($mongo_ids + $elastic_ids + $stripe_ids) | unique) as $all_ids 
| {"missing_from_stripe": ($all_ids - $stripe_ids), 
    "missing_from_elastic": ($all_ids - $elastic_ids), 
    "missing_from_mongo": ($all_ids - $mongo_ids)} 
| [to_entries[] | select(.value|length > 0)] | from_entries 
' 

... richtig aussendet:

{ 
    "missing_from_stripe": [ 
    "test2@test2.com" 
    ] 
} 

Answer 2

Ist das möglich?

Ja, es gibt viele Möglichkeiten, beide Aufgaben zu erfüllen. Sie werden es wahrscheinlich am einfachsten finden, die drei Dateien separat im jq-Programm zu verfolgen. Dies kann auch auf verschiedene Arten geschehen, aber ich würde vorschlagen, mit der Option '--argfile NAME FILENAME' zu beginnen, eine für jede Datei ein Tripel.

Es ist nicht mich sofort klar, was Sie durch Ermittlung verstehen, die „Kunden“ fehlen, aber ich diesen hoffentlich hilfreichen Tipp lassen bieten:

Wenn A und B sind zwei JSON-Arrays, dann wird der Ausdruck (A - B) wird ein Array ausgeben, das die Elemente in A enthält, die nicht in B sind.

Answer 3

BEARBEITEN: Diese Antwort wurde geschrieben, bevor Lechucico die Beispieldaten vereinfachte und die Beziehungen zwischen den Objekten verdeutlichte. Das Folgende mag nur von oberflächlichem Interesse sein, da Charles eine gute Lösung für das überarbeitete Problem bereitgestellt hat.

---

Sie müssen Ihre Daten verstehen, bevor Sie damit fortfahren können.Mit einem Bericht beginnen konnte,

"__________________________________________________ mongo.json" 
, ($mongo[] | {client_id, name}) 

, "__________________________________________________ elastic.json" 
, ($elastic[] | {alias, index}) 

, "__________________________________________________ stripe.json" 
, ($stripe.data[] | {id, object}) 

Wenn die oben genannten Filter in filter.jq ist dann der Befehl

jq -Mnc \ 
    --argfile mongo mongo.json \ 
    --argfile elastic elastic.json \ 
    --argfile stripe stripe.json \ 
    -f filter.jq 

produziert

__________________________________________________ mongo.json 
{"client_id":"TEST","name":"Windows Client"} 
{"client_id":"TEST2","name":"Linux Client"} 
__________________________________________________ elastic.json 
{"alias":"living","index":"living_v1"} 
{"alias":"reindex","index":"living_v1"} 
__________________________________________________ stripe.json 
{"id":"cus_BRKuwUx0TS1LPL","object":"customer"} 

Es ist ziemlich klar, dass es sich um verschiedene Arten von Objekten so Es gibt möglicherweise keine naheliegende Eins-zu-Eins-Beziehung zwischen ihnen, aber wenn Sie Ihre tatsächlichen Daten und Ihren Arbeitsablauf untersuchen, können Sie möglicherweise einen aussagekräftigeren Link entdecken.