Lines Matching refs:tokens
358 self.tokens = []
365 return self.tokens.pop(0)
400 self.source.tokens.append(
411 """CommonTokenStream.LT(1): with hidden tokens"""
413 self.source.tokens.append(
417 self.source.tokens.append(
430 self.source.tokens.append(
434 self.source.tokens.append(
448 self.source.tokens.append(
452 self.source.tokens.append(
467 self.source.tokens.append(
471 self.source.tokens.append(
485 self.source.tokens.append(
489 self.source.tokens.append(
502 self.source.tokens.append(
506 self.source.tokens.append(
510 self.source.tokens.append(
514 self.source.tokens.append(
529 self.source.tokens.append(
533 self.source.tokens.append(
537 self.source.tokens.append(
541 self.source.tokens.append(
548 self.failUnlessEqual(len(stream.tokens), 3)
549 self.failUnlessEqual(stream.tokens[0].type, 12)
550 self.failUnlessEqual(stream.tokens[1].type, 13)
551 self.failUnlessEqual(stream.tokens[2].type, 14)
557 self.source.tokens.append(
561 self.source.tokens.append(
565 self.source.tokens.append(
585 self.source.tokens.append(
589 self.source.tokens.append(
593 self.source.tokens.append(
610 self.source.tokens.append(
614 self.source.tokens.append(
618 self.source.tokens.append(
637 self.source.tokens.append(
641 self.source.tokens.append(
645 self.source.tokens.append(
649 self.source.tokens.append(
657 assert stream.toString(stream.tokens[1], stream.tokens[-2]) == "bargnurz"
