Apostroph Drehen in \ x92

Question

mycorpus.txt

Human where's machine interface for lab abc computer applications 
A where's survey of user opinion of computer system response time 

stopwords.txt

let's 
ain't 
there's 

Der folgende Code

corpus = set() 
for line in open("path\\to\\mycorpus.txt"): 
    corpus.update(set(line.lower().split())) 
print corpus 

stoplist = set() 
for line in open("C:\\Users\\Pankaj\\Desktop\\BTP\\stopwords_new.txt"): 
    stoplist.add(line.lower().strip()) 
print stoplist 

folgende Ausgabe

ergibt

set(['a', "where's", 'abc', 'for', 'of', 'system', 'lab', 'machine', 'applications', 'computer', 'survey', 'user', 'human', 'time', 'interface', 'opinion', 'response']) 
set(['let\x92s', 'ain\x92t', 'there\x92s']) 

Warum springt der Apostroph im zweiten Satz in \ x92?

Answer 1

Der Codepunkt 92 (hex) in der Fenster-1252-Codierung ist der Unicode-Codepunkt 2019 (hex), der 'RECHTE EINZELZITATIONSMARKE' ist. Das sieht sehr nach einem Apostroph aus und ist wahrscheinlich der eigentliche Charakter, den Sie in stopwords.txt haben, was ich aufgrund der Art, wie Python interpretiert hat, in Windows-1252 oder einer Kodierung mit ASCII- und ’ Codepunktwerten kodiert hat .

'vs'