Lines Matching refs:Tokenizer
15 #include "tokenizer.h"
19 Tokenizer::Tokenizer(const std::string& data)
31 Tokenizer::~Tokenizer() {}
33 const Tokenizer::Token& Tokenizer::current() {
37 bool Tokenizer::Next() {
88 void Tokenizer::AdvChar() {
98 void Tokenizer::AdvWhiteSpace() {
104 void Tokenizer::AdvUntil(char x) {
110 void Tokenizer::AdvText() {
117 void Tokenizer::StartText() {
123 void Tokenizer::EndText() {
