Hinzufügen von Stücklisten zu UTF-8-Dateien

Question

Ich suche (ohne Erfolg) ein Skript, das als Batch-Datei funktionieren und mir erlauben würde, eine UTF-8-Textdatei mit einer Stückliste voranzustellen, wenn sie keine hat.

Weder die Sprache, in der es geschrieben ist (Perl, Python, C, Bash) noch das Betriebssystem, auf dem es arbeitet, sind für mich wichtig. Ich habe Zugriff auf eine Vielzahl von Computern.

Ich habe eine Menge Skript gefunden, um das Gegenteil zu tun (strip the BOM), das klingt für mich irgendwie albern, wie viele Windows-Programm Probleme beim Lesen von UTF-8 Textdateien haben, wenn sie nicht haben eine Stückliste

Habe ich das Offensichtliche vermisst? Danke!

Answer 1

Ich finde es ziemlich einfach. Unter der Annahme, die Datei ist immer UTF-8 (Sie nicht die Codierung zu erfassen, Sie die Codierung wissen):

Lesen Sie die ersten drei Zeichen. Vergleichen Sie sie mit der UTF-8-BOM-Sequenz (Wikipedia sagt, es ist 0xEF, 0xBB, 0xBF). Wenn es gleich ist, drucken Sie sie in der neuen Datei und kopieren Sie dann alles andere von der ursprünglichen Datei in die neue Datei. Wenn es anders ist, drucken Sie zuerst die Stückliste, dann drucken Sie die drei Zeichen und nur dann drucken Sie alles andere aus der Originaldatei in die neue Datei.

In C sollte fopen/fclose/fread/fwrite ausreichen.

Answer 2

Ich schrieb diese addbom.sh mit dem 'Datei' Befehl und ICU 's' Uconv 'Befehl.

#!/bin/sh 

if [ $# -eq 0 ] 
then 
     echo usage $0 files ... 
     exit 1 
fi 

for file in "$@" 
do 
     echo "# Processing: $file" 1>&2 
     if [ ! -f "$file" ] 
     then 
       echo Not a file: "$file" 1>&2 
       exit 1 
     fi 
     TYPE=`file - < "$file" | cut -d: -f2` 
     if echo "$TYPE" | grep -q '(with BOM)' 
     then 
       echo "# $file already has BOM, skipping." 1>&2 
     else 
       (mv "${file}" "${file}"~ && uconv -f utf-8 -t utf-8 --add-signature < "${file}~" > "${file}") || (echo Error processing "$file" 1>&2 ; exit 1) 
     fi 
done 

edit: Hinzugefügt Anführungszeichen um die mv Argumente. Danke @DirkR und froh, dass dieses Skript so hilfreich war!

Answer 3

Ich dachte, ich werde nicht so eine triviale Sache selbst zu schreiben, aber da ich auch einige charset Konvertierung erforderlich zu tun, hier ist es:

#!/usr/bin/python 
import os 
import sys 
import codecs 

INPUT_ENCODING = codecs.BOM_UTF16_LE # 'utf_16_le' 
OUTPUT_ENCODING = 'utf-8-sig'   # is there a constant for this?? 

if len(sys.argv) == 1: 
    print 'Usage:\n\t%s <filename.txt>' % sys.argv[0] 
    sys.exit(-1) 

output_file = os.path.splitext(os.path.split(sys.argv[1])[-1])[0] 
fin = codecs.open(sys.argv[1], 'rb', encoding=INPUT_ENCODING) 
fout = codecs.open(output_file + '_utf8bom.txt', 'wb', encoding=OUTPUT_ENCODING) 
fout.write(fin.read()) 
fin.close() 
fout.close() 

print 'done' 

Nennen Sie es, mit dem der ursprünglichen Dateinamen nur , das heißt:

# utf8bom_add.py myfilename.txt 

Und wenn Sie UTF-8-UTF-8 konvertieren sie die INPUT_ENCODING auf den richtigen Wert ändern.

Answer 4

Ich habe ein Skript basierend auf Steven R. Loomis Code erstellt. https://github.com/Vdragon/addUTF-8bomb

Checkout https://github.com/Vdragon/C_CPP_project_template/blob/development/Tools/convertSourceCodeToUTF-8withBOM.bash.sh zum Beispiel dieses Skript verwenden.

Answer 5

(Antwort basierend auf https://stackoverflow.com/a/9815107/1260896 von yingted)

Um Stücklisten zu allen Dateien hinzufügen, die mit „foo-“ starten, können Sie sed verwenden. sed verfügt über eine Option zum Erstellen einer Sicherung.

sed -i '1s/^\(\xef\xbb\xbf\)\?/\xef\xbb\xbf/' foo-* 

Wenn Sie sicher wissen, gibt es bereits keine BOM, können Sie den Befehl vereinfachen:

sed -i '1s/^/\xef\xbb\xbf/' foo-* 

Stellen Sie sicher, UTF-8, festlegen müssen, weil zB UTF-16 unterscheidet (anders How can I re-add a unicode byte order marker in linux?) überprüfen

Answer 6

Der einfachste Weg, die ich für diese gefunden ist

#!/usr/bin/env bash 

#Add BOM to the new file 
printf '\xEF\xBB\xBF' > with_bom.txt 

# Append the content of the source file to the new file 
cat source_file.txt >> with_bom.txt 

ich es wissen verwendet ein externes Programm (cat) ... aber es wird die Arbeit leicht in bash

Getestet auf osx sollte aber auf Linux arbeitet auch

Hinweis, dass es davon ausgeht, dass die Datei nicht bereits BOM tun (!)