Python Identifier Identification

Question

Ich lese eine Python-Datei in einem Python-Programm und ich möchte die Liste aller Bezeichner, Literale, Trennzeichen und Terminator in der Python-Datei gelesen werden. Mit Identifikatoren als Beispiel:

one_var = "something" 
two_var = "something else" 
other_var = "something different" 

die Variablen oben in der Datei Unter der Annahme, gelesen zu werden, sollte das Ergebnis sein:

list_of_identifiers = [one_var, two_var, other_var] 

Das Gleiche gilt für Literale, Terminator und Separatoren. Dank

Ich schrieb bereits Code für alle Operatoren und Schlüsselwörter:

import keyword, operator 
list_of_operators = [] 
list_of_keywords = [] 
more_operators = ['+', '-', '/', '*', '%', '**', '//', '==', '!=', '>', '<', '>=', '<=', '=', '+=', '-=', '*=', '/=', '%=', '**=', '//=', '&', '|', '^', '~', '<<', '>>', 'in', 'not in', 'is', 'is not', 'not', 'or', 'and'] 
with open('file.py') as data_source: 
    for each_line in data_source: 
     new_string = str(each_line).split(' ') 
     for each_word in new_string: 
      if each_word in keyword.kwlist: 
       list_of_keywords.append(each_word) 
      elif each_word in operator.__all__ or each_word in more_operators: 
       list_of_operators.append(each_word) 
    print("Operators found:\n", list_of_operators) 
    print("Keywords found:\n", list_of_keywords) 

Answer 1

import ast 

with open('file.py') as data_source: 
    ast_root = ast.parse(data_source.read()) 

identifiers = set() 

for node in ast.walk(ast_root): 
    if isinstance(node, ast.Name): 
     identifiers.add(node.id) 

print(identifiers)