Finden Sie Elemente in einer Liste gepaarter Elemente mit einer anderen Liste (Python)

Question

Ich habe zwei Liste: eine ist eine ausgewählte Liste von etwa 2 Millionen Chromosomen-Positionen (z. B. [9866, 9899, ​​10257 ....]). Die andere ist eine gepaarte Liste mit Chromosomenposition und pvalue (zB [(9866, 0.001), (9899, ​​0.05)] ...)

Ich möchte den p-Wert für das ausgewählte 2 Millionen Chromosom abrufen . Mein Code ist zur Zeit wie folgt:

Selection = [] 
    for i in selected indices: 
     for x in list(range(len(T3))): 
     if T3[x][0] == i: 
      b = T3[x][0],T3[x][1] 
      Selection.append(b) 

Gibt es einen schnellsten Weg, dies zu tun? Offensichtlich ist dies sehr langsam, da es für jede Zeile in T3 und für jedes Element in ausgewählten Indizes iteriert. Ich dachte, die Set-Funktion verwenden, aber meine T3-Liste ist eine Liste der gekoppelten Elemente

Answer 1

Wahrscheinlich ein schneller Ansatz wird es sein, eine Zuordnung von Position zu machen PValue:

mapping = dict(T3) 

dann diese Zuordnung verwenden:

selected_pvalues = [mapping[pos] for pos in positions] 

Hinweis: mapping werden alle doppelten Chromosomenpositionen entfernen und halten nur die letzte in der ursprünglichen Liste.

Answer 2

Ich bin nicht sicher, ob die erste Liste genau die gleichen Werte wie die ersten Elemente aller Paare in der zweiten enthält (ich nehme an, sie sind nicht, oder es hat keinen Sinn, sie zu haben).

Sie sollten die Paareliste in ein Wörterbuch konvertieren, und dann erhalten Sie jeden Wert in (normalerweise) O (1) Laufzeitkomplexität.

bearbeiten

Obwohl die oben sollte recht gut funktionieren, könnte Ihre speziellen Fall auch Speicherprobleme verursachen, wie Sie mit Milliarden von Datensätzen handelt. In einem Fall, in dem das Konvertieren der Liste der Paare in ein Wörterbuch zu viel Speicher beansprucht und die Gesamtleistung beeinträchtigt, können Sie einen anderen Ansatz verwenden:

Ändern Sie die erste (kleinere) Liste in einen Satz. Gehen Sie dann über die Liste der Paare und prüfen Sie für jedes Element, ob es in dieser Gruppe ist. Auf diese Weise haben Sie immer noch einen Durchlauf über die größere Struktur, aber Sie benötigen viel weniger Platz.

Answer 3

Es wäre am besten, eine andere Kennung für die Chromosomen der zweiten Listen zu speichern. Auf diese Weise können Sie ein Wörterbuch anstelle der zweiten Liste erstellen. Zum Beispiel:

myTrillionsChromosomes = { 
    'chromosomeId': pValue, 
    ... 
} 

Edit: Das heißt, wenn Sie tatsächlich den Bau dieser Listen kontrollieren können. Eine andere Antwort beschreibt, wie man eine Liste von Tupeln in ein Dictionary umwandelt, aber angesichts der schieren Größe dieser Liste ist es vielleicht nicht sehr klug.

Dann müssen Sie lediglich den p-Wert im Wörterbuch nachschlagen, was in konstanter Zeit erfolgt.

selection = [] 
for id in identifiersList: 
    selection.append((id, myTrillionsChromosomes[id])