Emulating Bash ‚Quelle‘ in Python

Question

Ich habe ein Skript, das ungefähr so ​​aussieht:

export foo=/tmp/foo           
export bar=/tmp/bar 

Jedes Mal, wenn ich baue ich ‚source init_env‘ laufen (wo init_env das obige Skript ist) einige Variablen einzurichten .

Um das gleiche in Python zu bewerkstelligen ich diesen Code hatte ausgeführt,

reg = re.compile('export (?P<name>\w+)(\=(?P<value>.+))*') 
for line in open(file): 
    m = reg.match(line) 
    if m: 
     name = m.group('name') 
     value = '' 
     if m.group('value'): 
      value = m.group('value') 
     os.putenv(name, value) 

Aber dann jemand entschieden, wäre schön, eine Zeile wie die folgende in die init_env Datei hinzuzufügen:

export PATH="/foo/bar:/bar/foo:$PATH"  

Offensichtlich fiel mein Python-Skript auseinander. Ich könnte das Python-Skript ändern, um mit dieser Zeile umzugehen, aber dann bricht es später, wenn jemand mit einer neuen Funktion kommt, um in der init_env Datei zu verwenden.

Die Frage ist, ob es eine einfache Möglichkeit gibt, einen Bash-Befehl auszuführen und lassen Sie es meine os.environ ändern?

Answer 1

Das Problem mit Ihrem Ansatz ist, dass Sie versuchen, Bash-Skripte zu interpretieren. Zuerst versuchen Sie einfach, die Exportanweisung zu interpretieren. Dann bemerken Sie, dass Leute eine variable Erweiterung verwenden. Spätere Leute werden Conditionals in ihre Dateien einfügen oder sie ersetzen. Am Ende wirst du einen ausgewachsenen Bash-Skript-Interpreter mit einer ganzen Reihe von Bugs haben. Tu das nicht.

Lassen Sie Bash die Datei für Sie interpretieren und sammeln Sie dann die Ergebnisse.

Sie können es wie folgt tun:

#! /usr/bin/env python 

import os 
import pprint 
import subprocess 

command = ['bash', '-c', 'source init_env && env'] 

proc = subprocess.Popen(command, stdout = subprocess.PIPE) 

for line in proc.stdout: 
    (key, _, value) = line.partition("=") 
    os.environ[key] = value 

proc.communicate() 

pprint.pprint(dict(os.environ)) 

Vergewissern Sie sich, dass Sie Fehler bei bash Griff nicht zu source init_env oder bash selbst nicht ausführen, oder subprocess nicht bash oder andere Fehler auszuführen.

Lesen Sie die Dokumentation auf subprocess für weitere Details.

Hinweis: Dies erfasst nur Variablen, die mit der export-Anweisung festgelegt wurden, da env nur exportierte Variablen druckt.

Genießen.

Beachten Sie, dass die Python documentation besagt, dass wenn Sie die Umgebung manipulieren möchten, os.environ direkt anstelle von os.putenv() manipulieren sollten. Ich halte das für einen Fehler, aber ich schweife ab.

Answer 2

Anstatt dass Ihr Python-Skript das bash-Skript eingibt, wäre es einfacher und eleganter, eine Wrapper-Skriptquelle init_env zu haben und dann Ihr Python-Skript mit der modifizierten Umgebung auszuführen.

#!/bin/bash 
source init_env 
/run/python/script.py 

Answer 3

Mit Gurke:

import os, pickle 
# For clarity, I moved this string out of the command 
source = 'source init_env' 
dump = '/usr/bin/python -c "import os,pickle;print pickle.dumps(os.environ)"' 
penv = os.popen('%s && %s' %(source,dump)) 
env = pickle.loads(penv.read()) 
os.environ = env 

Aktualisiert:

Dies verwendet json, subprocess und explizit verwendet/bin/bash (für ubuntu-Unterstützung):

import os, subprocess as sp, json 
source = 'source init_env' 
dump = '/usr/bin/python -c "import os, json;print json.dumps(dict(os.environ))"' 
pipe = sp.Popen(['/bin/bash', '-c', '%s && %s' %(source,dump)], stdout=sp.PIPE) 
env = json.loads(pipe.stdout.read()) 
os.environ = env 

Answer 4

execfile('filename') 

sollte tun Sie es

Answer 5

Die Antwort von @ lesmana auf Python 3 wurde aktualisiert. Beachten Sie die Verwendung von env -i, die verhindert, dass externe Umgebungsvariablen gesetzt/zurückgesetzt werden (möglicherweise fälschlicherweise aufgrund der fehlenden Handhabung für mehrzeilige env-Variablen).

import os, subprocess 
if os.path.isfile("init_env"): 
    command = 'env -i sh -c "source init_env && env"' 
    for line in subprocess.getoutput(command).split("\n"): 
     key, value = line.split("=") 
     os.environ[key]= value 

Answer 6

Beispiel @ Brians ausgezeichnete Antwort in einer Funktion Verpackung:

import json 
import subprocess 

# returns a dictionary of the environment variables resulting from sourcing a file 
def env_from_sourcing(file_to_source_path, include_unexported_variables=False): 
    source = '%ssource %s' % ("set -a && " if include_unexported_variables else "", file_to_source_path) 
    dump = '/usr/bin/python -c "import os, json; print json.dumps(dict(os.environ))"' 
    pipe = subprocess.Popen(['/bin/bash', '-c', '%s && %s' % (source, dump)], stdout=subprocess.PIPE) 
    return json.loads(pipe.stdout.read()) 

ich diese Nutzenfunktion bin mit aws Anmeldeinformationen und Andockfenster .env Dateien mit include_unexported_variables=True zu lesen.