Lines Matching full:token
7 #include "tools/gn/token.h"
13 Token::Type type;
23 std::vector<Token> results = Tokenizer::Tokenize(&input_file, &err);
43 std::vector<Token> results = Tokenizer::Tokenize(&empty_string_input, &err);
55 { Token::IDENTIFIER, "foo" }
62 { Token::INTEGER, "123" },
63 { Token::INTEGER, "-123" }
70 { Token::INTEGER, "123" },
71 { Token::INTEGER, "-123" }
78 { Token::STRING, "\"foo\"" },
79 { Token::STRING, "\"bar\\\"baz\"" },
80 { Token::STRING, "\"asdf\\\\\"" }
88 { Token::MINUS, "-" },
89 { Token::PLUS, "+" },
90 { Token::EQUAL, "=" },
91 { Token::PLUS_EQUALS, "+=" },
92 { Token::MINUS_EQUALS, "-=" },
93 { Token::NOT_EQUAL, "!=" },
94 { Token::EQUAL_EQUAL, "==" },
95 { Token::LESS_THAN, "<" },
96 { Token::GREATER_THAN, ">" },
97 { Token::LESS_EQUAL, "<=" },
98 { Token::GREATER_EQUAL, ">=" },
99 { Token::BANG, "!" },
100 { Token::BOOLEAN_OR, "||" },
101 { Token::BOOLEAN_AND, "&&" },
102 { Token::DOT, "." },
103 { Token::COMMA, "," },
111 { Token::LEFT_BRACE, "{" },
112 { Token::LEFT_BRACKET, "[" },
113 { Token::RIGHT_BRACKET, "]" },
114 { Token::RIGHT_BRACE, "}" },
115 { Token::LEFT_PAREN, "(" },
116 { Token::RIGHT_PAREN, ")" },
123 { Token::IDENTIFIER, "fun" },
124 { Token::LEFT_PAREN, "(" },
125 { Token::STRING, "\"foo\"" },
126 { Token::RIGHT_PAREN, ")" },
127 { Token::LEFT_BRACE, "{" },
128 { Token::IDENTIFIER, "foo" },
129 { Token::EQUAL, "=" },
130 { Token::INTEGER, "12" },
131 { Token::RIGHT_BRACE, "}" },
140 std::vector<Token> results = Tokenizer::Tokenize(&input, &err);
