Python-Dateinamen in Unicode konvertieren

Question

Ich bin auf Python 2.6 für Windows.

Ich benutze os.walk um einen Dateibaum zu lesen. Dateien können Nicht-7-Bit-Zeichen (z. B. "ae") in ihren Dateinamen enthalten. Diese sind in der internen String-Darstellung von Pythons kodiert.

Ich verarbeite diese Dateinamen mit Python-Bibliotheksfunktionen und das scheitert aufgrund falscher Codierung.

Wie kann ich diese Dateinamen in richtige (Unicode?) Python-Strings konvertieren?

Ich habe eine Datei "d: \ utest \ ü.txt". hat den Pfad als Unicode-Passing nicht:

>>> list(os.walk('d:\\utest')) 
[('d:\\utest', [], ['\xfc.txt'])] 
>>> list(os.walk(u'd:\\utest')) 
[(u'd:\\utest', [], [u'\xfc.txt'])] 

Answer 1

Wenn Sie eine Unicode-Zeichenfolge zu os.walk() passieren, werden Sie Unicode Ergebnisse erhalten:

>>> list(os.walk(r'C:\example'))   # Passing an ASCII string 
[('C:\\example', [], ['file.txt'])] 
>>> 
>>> list(os.walk(ur'C:\example'))  # Passing a Unicode string 
[(u'C:\\example', [], [u'file.txt'])] 

Answer 2

os.walk nicht angegeben ist immer os.listdir zu verwenden, aber es ist auch nicht aufgelistet, wie Unicode gehandhabt wird. Allerdings hat os.listdir sagen:

Changed in version 2.3: On Windows NT/2k/XP and Unix, if path is a Unicode object, the result will be a list of Unicode objects. Undecodable filenames will still be returned as string objects.

Ist einfach ein Unicode-Argument Arbeit für Sie mit?

for dirpath, dirnames, filenames in os.walk(u"."): 
    print dirpath 
    for fn in filenames: 
    print " ", fn 

Answer 3

Nein, sie sind nicht in Pythons internen String-Darstellung codiert, es gibt keine solche Sache. Sie sind in der Codierung des Betriebssystems/Dateisystems codiert. Das Übergeben von Unicode funktioniert jedoch für os.walk.

Ich weiß nicht, wie os.walk sich verhält, wenn Dateinamen nicht entschlüsselt werden können, aber ich nehme an, dass Sie eine Zeichenfolge zurück erhalten, wie mit os.listdir(). In diesem Fall werden Sie später wieder Probleme haben. Außerdem akzeptiert nicht die gesamte Python 2.x-Standardbibliothek Unicode-Parameter ordnungsgemäß, daher müssen Sie sie möglicherweise als Zeichenfolgen kodieren. Das Problem kann also woanders liegen, aber Sie werden bemerken, wenn das der Fall ist. ;-)

Wenn Sie mehr Kontrolle über die Decodierung benötigen, können Sie nicht immer eine Zeichenfolge übergeben und dann einfach mit filename = filename.decode() wie üblich dekodieren.

Answer 4

ein direkterer Weg könnte sein, das folgende zu versuchen - finden Sie die Kodierung Ihres Dateisystems, und konvertieren Sie das dann in Unicode. zum Beispiel

unicode_name = unicode(filename, "utf-8", errors="ignore") 

zu dem anderen Weg zu gehen,

unicode_name.encode("utf-8") 

Answer 5

Ich wurde nach einer Lösung für Python 3.0 + suchen. Wird es hier aufstellen, wenn jemand anderes es braucht.

rootdir = r'D:\COUNTRY\ROADS\' 
fs_enc = sys.getfilesystemencoding() 
for (root, dirname, filename) in os.walk(rootdir.encode(fs_enc)): 
    # do your stuff here, but remember that now 
    # root, dirname, filename are represented as bytearrays 

Answer 6

os.walk(unicode(root_dir, 'utf-8'))