Lines Matching refs:tokens
14 tokens = list(parse_deps._tokenize_js(''))
15 self.assertEquals([], tokens)
18 tokens = list(parse_deps._tokenize_js('\n'))
19 self.assertEquals(['\n'], tokens)
22 tokens = list(parse_deps._tokenize_js('A // foo'))
23 self.assertEquals(['A ', '//', ' foo'], tokens)
26 tokens = list(parse_deps._tokenize_js("""A // foo
29 self.assertEquals(['A ', '//', ' foo', '\n', 'bar'], tokens)
32 tokens = list(parse_deps._tokenize_js("""A /* foo */"""))
33 self.assertEquals(['A ', '/*', ' foo ', '*/'], tokens)
36 tokens = list(parse_deps._tokenize_js("""A /* foo
39 self.assertEquals(['A ', '/*', ' foo', '\n', '*bar', '\n', '*/'], tokens)
