Lucene indexiert einige Begriffe in Dokumenten nicht

Question

Ich habe versucht, Lucene zu verwenden, um unsere Codedatenbank zu indizieren. Leider werden einige Begriffe aus dem Index weggelassen. Z.B. in der folgenden Zeichenkette, ich auf etwas anderes als „Versionsnummer“ suchen:

version-number "cAELimpts.spl SCOPE-PAY:10.1.10 25nov2013kw101730 Setup EMployee field if missing" 

habe ich versucht, es mit beiden Lucene.NET 3.1 und PyLucene 6.2.0, mit dem gleichen Ergebnis zu implementieren.

Hier sind einige Details meiner Implementierung in Lucene.NET:

using (var writer = new IndexWriter(FSDirectory.Open(INDEX_DIR), new CustomAnalyzer(), true, IndexWriter.MaxFieldLength.UNLIMITED)) 
{ 
    Console.Out.WriteLine("Indexing to directory '" + INDEX_DIR + "'..."); 
    IndexDirectory(writer, docDir); 
    Console.Out.WriteLine("Optimizing..."); 
    writer.Optimize(); 
    writer.Commit(); 
} 

Die CustomAnalyzer Klasse:

public sealed class CustomAnalyzer : Analyzer 
{ 
    public override TokenStream TokenStream(System.String fieldName, System.IO.TextReader reader) 
    { 
     return new LowerCaseFilter(new CustomTokenizer(reader)); 
    } 
} 

Schließlich ist die CustomTokenizer Klasse:

public class CustomTokenizer : CharTokenizer 
{ 
    public CustomTokenizer(TextReader input) : base(input) 
    { 
    } 

    public CustomTokenizer(AttributeFactory factory, TextReader input) : base(factory, input) 
    { 
    } 

    public CustomTokenizer(AttributeSource source, TextReader input) : base(source, input) 
    { 
    } 

    protected override bool IsTokenChar(char c) 
    { 
     return System.Char.IsLetterOrDigit(c) || c == '_' || c == '-' ; 
    } 
} 

Es sieht aus wie "Versionsnummer" und einige andere Begriffe werden nicht indiziert, da sie in 99% der Fälle vorhanden sind Unterlagen. Kann es die Ursache des Problems sein?

EDIT: Wie gewünscht, die FileDocument Klasse:

public static class FileDocument 
{ 
    public static Document Document(FileInfo f) 
    { 

     // make a new, empty document 
     Document doc = new Document(); 

     doc.Add(new Field("path", f.FullName, Field.Store.YES, Field.Index.NOT_ANALYZED)); 
     doc.Add(new Field("modified", DateTools.TimeToString(f.LastWriteTime.Millisecond, DateTools.Resolution.MINUTE), Field.Store.YES, Field.Index.NOT_ANALYZED)); 
     doc.Add(new Field("contents", new StreamReader(f.FullName, System.Text.Encoding.Default))); 

     // return the document 
     return doc; 
    } 
} 

Answer 1

Ich glaube, ich war ein Idiot zu sein. Ich beschränkte die Anzahl der Treffer auf 500 und wandte dann Filter auf die gefundenen Treffer an. Es wurde erwartet, dass die Artikel in der Reihenfolge abgerufen werden, in der sie indiziert wurden. Als ich am Ende des Index nach etwas suchte, würde es mir sagen, dass nichts gefunden wurde. In der Tat würde es die erwarteten 500 Elemente abrufen, aber sie wären alle herausgefiltert worden.