nltk fügt $ NLTK_DATA nicht zum Suchpfad hinzu?

Question

unter Linux, ich habe env var $ NLTK_DATA ('/ home/user/data/nltk') gesetzt, und blies Test als

>>> from nltk.corpus import brown 
>>> brown.words() 
['The', 'Fulton', 'County', 'Grand', 'Jury', 'said', ...] 

erwartet funktioniert, aber wenn eine andere Python-Skript ausgeführt wird, ich habe:

LookupError: 
********************************************************************** 
Resource u'tokenizers/punkt/english.pickle' not found. Please 
use the NLTK Downloader to obtain the resource: >>> 
nltk.download() 
Searched in: 
- '/home/user/nltk_data' 
- '/usr/share/nltk_data' 
- '/usr/local/share/nltk_data' 
- '/usr/lib/nltk_data' 
- '/usr/local/lib/nltk_data' 
- u'' 

---

Wie wir sehen können, nltk hinzufügen nicht NLTK_DATA $ Pfad zu suchen, nach dem Anfügen NLTK_DATA dir manuell:

nltk.data.path.append("/NLTK_DATA_DIR"); 

Skript läuft wie erwartet, Frage ist:

Wie zu Nltk zu $ ​​NLTK_DATA zu seinem Suchpfad automatisch hinzufügen?

Answer 1

Wenn Sie nicht die $ NLTK_DATA einstellen möchten, bevor Ihre Skripte ausgeführt wird, können Sie es innerhalb der Python-Skripte mit tun:

import nltk 
nltk.path.append('/home/alvas/some_path/nltk_data/') 

Z.B. lassen Sie uns die zu einem Nicht-Standard-Pfad der nltk_data bewegen, dass NLTK wird es nicht automatisch finden: Jetzt

alvas@ubi:~$ ls nltk_data/ 
chunkers corpora grammars help misc models stemmers taggers tokenizers 
alvas@ubi:~$ mkdir some_path 
alvas@ubi:~$ mv nltk_data/ some_path/ 
alvas@ubi:~$ ls nltk_data/ 
ls: cannot access nltk_data/: No such file or directory 
alvas@ubi:~$ ls some_path/nltk_data/ 
chunkers corpora grammars help misc models stemmers taggers tokenizers 

, verwenden wir den nltk.path.append() Hack:

alvas@ubi:~$ python 
>>> import os 
>>> import nltk 
>>> nltk.path.append('/home/alvas/some_path/nltk_data/') 
>>> nltk.pos_tag('this is a foo bar'.split()) 
[('this', 'DT'), ('is', 'VBZ'), ('a', 'DT'), ('foo', 'JJ'), ('bar', 'NN')] 
>>> nltk.data 
<module 'nltk.data' from '/usr/local/lib/python2.7/dist-packages/nltk/data.pyc'> 
>>> nltk.data.path 
['/home/alvas/some_path/nltk_data/', '/home/alvas/nltk_data', '/usr/share/nltk_data', '/usr/local/share/nltk_data', '/usr/lib/nltk_data', '/usr/local/lib/nltk_data'] 
>>> exit() 

Sagen wir es zurückgehen und sehen, ob es funktioniert:

alvas@ubi:~$ ls nltk_data 
ls: cannot access nltk_data: No such file or directory 
alvas@ubi:~$ mv some_path/nltk_data/ . 
alvas@ubi:~$ python 
>>> import nltk 
>>> nltk.data.path 
['/home/alvas/nltk_data', '/usr/share/nltk_data', '/usr/local/share/nltk_data', '/usr/lib/nltk_data', '/usr/local/lib/nltk_data'] 
>>> nltk.pos_tag('this is a foo bar'.split()) 
[('this', 'DT'), ('is', 'VBZ'), ('a', 'DT'), ('foo', 'JJ'), ('bar', 'NN')] 

---

Wenn Sie wirklich wirklich finden wollen nltk_data automagically, Verwendung so etwas wie:

import scandir 
import os, sys 
import time 

import nltk 

def find(name, path): 
    for root, dirs, files in scandir.walk(path): 
     if root.endswith(name): 
      return root 

def find_nltk_data(): 
    start = time.time() 
    path_to_nltk_data = find('nltk_data', '/') 
    print >> sys.stderr, 'Finding nltk_data took', time.time() - start 
    print >> sys.stderr, 'nltk_data at', path_to_nltk_data 
    with open('where_is_nltk_data.txt', 'w') as fout: 
     fout.write(path_to_nltk_data) 
    return path_to_nltk_data 

def magically_find_nltk_data(): 
    if os.path.exists('where_is_nltk_data.txt'): 
     with open('where_is_nltk_data.txt') as fin: 
      path_to_nltk_data = fin.read().strip() 
     if os.path.exists(path_to_nltk_data): 
      nltk.data.path.append(path_to_nltk_data) 
     else: 
      nltk.data.path.append(find_nltk_data()) 
    else: 
     path_to_nltk_data = find_nltk_data() 
     nltk.data.path.append(path_to_nltk_data) 


magically_find_nltk_data() 
print nltk.pos_tag('this is a foo bar'.split()) 

Lassen Sie uns, dass die Python-Skript aufrufen, test.py:

alvas@ubi:~$ ls nltk_data/ 
chunkers corpora grammars help misc models stemmers taggers tokenizers 
alvas@ubi:~$ python test.py 
Finding nltk_data took 4.27330780029 
nltk_data at /home/alvas/nltk_data 
[('this', 'DT'), ('is', 'VBZ'), ('a', 'DT'), ('foo', 'JJ'), ('bar', 'NN')] 
alvas@ubi:~$ mv nltk_data/ some_path/ 
alvas@ubi:~$ python test.py 
Finding nltk_data took 4.75850391388 
nltk_data at /home/alvas/some_path/nltk_data 
[('this', 'DT'), ('is', 'VBZ'), ('a', 'DT'), ('foo', 'JJ'), ('bar', 'NN')]