Lines Matching refs:tokens2
1463 tokens2 = [tok[:2] for tok in tokens5]
1464 # Reproduce tokens2 from pairs
1465 bytes_from2 = untokenize(tokens2)
1468 self.assertEqual(tokens2_from2, tokens2)
1469 # Reproduce tokens2 from 5-tuples
1473 self.assertEqual(tokens2_from5, tokens2)
