Schreibe eine Lexer. Lexer "

Question

finden tut ich eine kleine Programmiersprache schreibe, die nur ein Schlüsselwort hat, die write ist Ich habe nicht einen Parser aber Lexer getan Es funktioniert gut, bis es zu " Token bekommt

..

main.cpp:

#include <iostream> 
#include <fstream> 
#include <string> 
#include <iomanip> 
#include <vector> 
using namespace std; 

int main(int argc, char* argv[2]) 
{ 
    char text; 
    string tok = ""; 
    string str = ""; 
    vector <string> tokens; 

    fstream inFile(argv[1]); 

    while (inFile >> noskipws >> text) 
    { 
     tok += text; 

     if (tok == "write") 
     { 
      tokens.push_back(tok); 
      tok = ""; 
     } 
     else if(tok == "\"") 
     { 
      str += text; 
      tokens.push_back("String:"+str); 
      str = ""; 
      tok = ""; 
      tok += text; 
      } 

     for (auto const& c : tokens) 
      std::cout << c << ' '; 
    } 

    return 0; 
} 

test.txt:

write "hello" 

Ausgang ist:

write write write write write write write ... 

statt,

String:hello 

Was kann ich tun? Irgendwelche Ideen?

Answer 1

Ich denke, es sollte skipws statt noskipws sein, weil Sie den Fall nicht behandeln, wenn es whitespace zwischen "write" und "Hallo" trifft; speziell löschen Sie nicht tok, so die nächste Schleife es immer noch denkt, das Token ist ein Leerzeichen.