Verwendung von Boost :: Tokenizer mit String-Trennzeichen

Question

Ich habe nach boost :: tokenizer gesucht, und ich habe festgestellt, dass die Dokumentation sehr dünn ist. Ist es möglich, eine Zeichenfolge wie "Delphin - Affe - Pavian" zu symbolisieren und jedes Wort zu einem Token zu machen, sowie jeden Doppelstrich zu einem Token? Von den Beispielen habe ich gesehen, dass nur einzelne Zeichentrennzeichen zulässig sind. Ist die Bibliothek für komplexere Trennzeichen nicht weit genug fortgeschritten?

Answer 1

Es sieht so aus, als müssten Sie Ihre eigenen TokenizerFunction schreiben, um zu tun, was Sie wollen.

Answer 2

Eine Möglichkeit ist boost :: regex. Nicht sicher über die Leistung im Vergleich zu einem benutzerdefinierten Tokenizer.

std::string s = "dolphin--monkey--baboon"; 

boost::regex re("[a-z|A-Z]+|--"); 
boost::sregex_token_iterator iter(s.begin(), s.end() , re, 0); 
boost::sregex_token_iterator end_iter; 

while(iter != end_iter) 
{ 
    std::cout << *iter << '\n'; 
    ++iter; 
} 

Answer 3

Mit Iter_Split können Sie mehrere Zeichen Tokens verwenden. Der folgende Code erzeugen würde folgendes:

Delphin
mon-key
Pavian

#include <iostream> 
#include <boost/foreach.hpp> 
#include <boost/algorithm/string.hpp> 
#include <boost/algorithm/string/iter_find.hpp> 

    // code starts here 
    std::string s = "dolphin--mon-key--baboon"; 
    std::list<std::string> stringList; 
    boost::iter_split(stringList, s, boost::first_finder("--")); 

    BOOST_FOREACH(std::string token, stringList) 
    {  
     std::cout << token << '\n'; ; 
    } 

Answer 4

Ich weiß, das Thema ist ziemlich alt, aber es ist in den Top-Links in Google angezeigt, wenn ich Suche "steigern tokenizer von string"

so werde ich meine Variante TokenizerFunction hinzufügen, nur für den Fall:

class FindStrTFunc 
{ 
public: 
    FindStrTFunc() : m_str(g_dataSeparator) 
    { 
    } 

    bool operator()(std::string::const_iterator& next, 
     const std::string::const_iterator& end, std::string& tok) const 
    { 
     if (next == end) 
     { 
      return false; 
     } 
     const std::string::const_iterator foundToken = 
      std::search(next, end, m_str.begin(), m_str.end()); 
     tok.assign(next, foundToken); 
     next = (foundToken == end) ? end : foundToken + m_str.size(); 
     return true; 
    } 

    void reset() 
    { 
    } 

private: 
    std::string m_str; 
}; 

nachdem wir

boost::tokenizer<FindStrTFunc> tok("some input...some other input"); 

und verwenden, wie ein üblicher Schub tokenizer