Home | History | Annotate | Download | only in libmedia 
      1 /*
      2  * Copyright (C) 2013 The Android Open Source Project
      3  *
      4  * Licensed under the Apache License, Version 2.0 (the "License");
      5  * you may not use this file except in compliance with the License.
      6  * You may obtain a copy of the License at
      7  *
      8  *      http://www.apache.org/licenses/LICENSE-2.0
      9  *
     10  * Unless required by applicable law or agreed to in writing, software
     11  * distributed under the License is distributed on an "AS IS" BASIS,
     12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
     13  * See the License for the specific language governing permissions and
     14  * limitations under the License.
     15  */
     16 
     17 // The 512 most frequently occuring characters for the zhCN language in a sample of the Internet.
     18 // Ordered by codepoint, comment shows character and ranking by frequency
     19 const uint16_t frequent_zhCN[] = {
     20     0x4E00, // , #2
     21     0x4E07, // , #306
     22     0x4E09, // , #138
     23     0x4E0A, // , #16
     24     0x4E0B, // , #25
     25     0x4E0D, // , #7
     26     0x4E0E, // , #133
     27     0x4E13, // , #151
     28     0x4E16, // , #346
     29     0x4E1A, // , #39
     30     0x4E1C, // , #197
     31     0x4E24, // , #376
     32     0x4E2A, // , #23
     33     0x4E2D, // , #4
     34     0x4E3A, // , #31
     35     0x4E3B, // , #95
     36     0x4E3E, // , #418
     37     0x4E48, // , #93
     38     0x4E4B, // , #131
     39     0x4E50, // , #130
     40     0x4E5F, // , #145
     41     0x4E66, // , #283
     42     0x4E70, // , #483
     43     0x4E86, // , #13
     44     0x4E8B, // , #168
     45     0x4E8C, // , #218
     46     0x4E8E, // , #64
     47     0x4E94, // , #430
     48     0x4E9A, // , #468
     49     0x4E9B, // , #366
     50     0x4EA4, // , #243
     51     0x4EA7, // , #86
     52     0x4EAB, // , #345
     53     0x4EAC, // , #206
     54     0x4EBA, // , #3
     55     0x4EC0, // , #287
     56     0x4ECB, // , #478
     57     0x4ECE, // , #381
     58     0x4ED6, // , #129
     59     0x4EE3, // , #241
     60     0x4EE5, // , #51
     61     0x4EEC, // , #83
     62     0x4EF6, // , #141
     63     0x4EF7, // , #140
     64     0x4EFB, // , #383
     65     0x4F01, // , #439
     66     0x4F18, // , #374
     67     0x4F1A, // , #29
     68     0x4F20, // , #222
     69     0x4F46, // , #451
     70     0x4F4D, // , #208
     71     0x4F53, // , #98
     72     0x4F55, // , #339
     73     0x4F5C, // , #44
     74     0x4F60, // , #76
     75     0x4F7F, // , #272
     76     0x4F9B, // , #375
     77     0x4FDD, // , #180
     78     0x4FE1, // , #84
     79     0x4FEE, // , #437
     80     0x503C, // , #450
     81     0x505A, // , #368
     82     0x5065, // , #484
     83     0x50CF, // , #487
     84     0x513F, // , #326
     85     0x5143, // , #202
     86     0x5148, // , #485
     87     0x5149, // , #254
     88     0x514B, // , #503
     89     0x514D, // , #349
     90     0x5165, // , #156
     91     0x5168, // , #47
     92     0x516C, // , #35
     93     0x5171, // , #448
     94     0x5173, // , #49
     95     0x5176, // , #195
     96     0x5177, // , #329
     97     0x5185, // , #109
     98     0x518C, // , #225
     99     0x519B, // , #466
    100     0x51FA, // , #53
    101     0x51FB, // , #359
    102     0x5206, // , #22
    103     0x5217, // , #410
    104     0x521B, // , #399
    105     0x5229, // , #296
    106     0x522B, // , #372
    107     0x5230, // , #33
    108     0x5236, // , #192
    109     0x524D, // , #117
    110     0x529B, // , #173
    111     0x529E, // , #436
    112     0x529F, // , #455
    113     0x52A0, // , #97
    114     0x52A1, // , #100
    115     0x52A8, // , #46
    116     0x52A9, // , #365
    117     0x5305, // , #331
    118     0x5316, // , #155
    119     0x5317, // , #194
    120     0x533A, // , #105
    121     0x533B, // , #234
    122     0x5341, // , #294
    123     0x534E, // , #205
    124     0x5355, // , #259
    125     0x5357, // , #182
    126     0x535A, // , #153
    127     0x5361, // , #332
    128     0x539F, // , #271
    129     0x53BB, // , #282
    130     0x53C2, // , #500
    131     0x53CA, // , #255
    132     0x53CB, // , #186
    133     0x53CD, // , #422
    134     0x53D1, // , #15
    135     0x53D7, // , #507
    136     0x53D8, // , #395
    137     0x53E3, // , #293
    138     0x53EA, // , #340
    139     0x53EF, // , #45
    140     0x53F0, // , #267
    141     0x53F7, // , #121
    142     0x53F8, // , #150
    143     0x5404, // , #491
    144     0x5408, // , #115
    145     0x540C, // , #189
    146     0x540D, // , #127
    147     0x540E, // , #75
    148     0x5411, // , #459
    149     0x5427, // , #353
    150     0x544A, // , #318
    151     0x5458, // , #232
    152     0x5468, // , #347
    153     0x548C, // , #43
    154     0x54C1, // , #36
    155     0x5546, // , #148
    156     0x5668, // , #228
    157     0x56DB, // , #352
    158     0x56DE, // , #38
    159     0x56E0, // , #355
    160     0x56E2, // , #412
    161     0x56ED, // , #470
    162     0x56FD, // , #12
    163     0x56FE, // , #32
    164     0x5728, // , #10
    165     0x5730, // , #30
    166     0x573A, // , #177
    167     0x575B, // , #364
    168     0x578B, // , #274
    169     0x57CE, // , #172
    170     0x57FA, // , #315
    171     0x58EB, // , #434
    172     0x58F0, // , #397
    173     0x5904, // , #416
    174     0x5907, // , #270
    175     0x590D, // , #122
    176     0x5916, // , #190
    177     0x591A, // , #40
    178     0x5927, // , #8
    179     0x5929, // , #52
    180     0x592A, // , #456
    181     0x5934, // , #258
    182     0x5973, // , #65
    183     0x597D, // , #62
    184     0x5982, // , #135
    185     0x5A31, // , #452
    186     0x5B50, // , #37
    187     0x5B57, // , #285
    188     0x5B66, // , #19
    189     0x5B89, // , #144
    190     0x5B8C, // , #469
    191     0x5B9A, // , #179
    192     0x5B9D, // , #188
    193     0x5B9E, // , #154
    194     0x5BA2, // , #174
    195     0x5BB6, // , #26
    196     0x5BB9, // , #307
    197     0x5BC6, // , #471
    198     0x5BF9, // , #90
    199     0x5BFC, // , #348
    200     0x5C06, // , #265
    201     0x5C0F, // , #28
    202     0x5C11, // , #379
    203     0x5C14, // , #490
    204     0x5C31, // , #101
    205     0x5C55, // , #291
    206     0x5C71, // , #239
    207     0x5DDE, // , #227
    208     0x5DE5, // , #73
    209     0x5DF1, // , #480
    210     0x5DF2, // , #310
    211     0x5E02, // , #78
    212     0x5E03, // , #350
    213     0x5E08, // , #277
    214     0x5E16, // , #396
    215     0x5E26, // , #449
    216     0x5E2E, // , #461
    217     0x5E38, // , #319
    218     0x5E73, // , #217
    219     0x5E74, // , #20
    220     0x5E76, // , #440
    221     0x5E7F, // , #166
    222     0x5E93, // , #446
    223     0x5E94, // , #187
    224     0x5E97, // , #320
    225     0x5EA6, // , #114
    226     0x5EB7, // , #499
    227     0x5EFA, // , #211
    228     0x5F00, // , #72
    229     0x5F0F, // , #207
    230     0x5F15, // , #495
    231     0x5F20, // , #385
    232     0x5F3A, // , #404
    233     0x5F53, // , #233
    234     0x5F55, // , #146
    235     0x5F62, // , #494
    236     0x5F69, // , #356
    237     0x5F71, // , #214
    238     0x5F88, // , #300
    239     0x5F97, // , #193
    240     0x5FAE, // , #245
    241     0x5FC3, // , #70
    242     0x5FEB, // , #324
    243     0x6001, // , #508
    244     0x600E, // , #370
    245     0x6027, // , #99
    246     0x603B, // , #398
    247     0x606F, // , #176
    248     0x60A8, // , #251
    249     0x60C5, // , #87
    250     0x60F3, // , #290
    251     0x610F, // , #184
    252     0x611F, // , #253
    253     0x620F, // , #237
    254     0x6210, // , #71
    255     0x6211, // , #11
    256     0x6216, // , #321
    257     0x6218, // , #369
    258     0x6237, // , #215
    259     0x623F, // , #236
    260     0x6240, // , #147
    261     0x624B, // , #55
    262     0x624D, // , #407
    263     0x6253, // , #281
    264     0x6280, // , #203
    265     0x6295, // , #408
    266     0x62A4, // , #502
    267     0x62A5, // , #113
    268     0x62DB, // , #363
    269     0x6301, // , #403
    270     0x6307, // , #414
    271     0x636E, // , #409
    272     0x6392, // , #377
    273     0x63A5, // , #266
    274     0x63A8, // , #244
    275     0x63D0, // , #181
    276     0x641C, // , #301
    277     0x64AD, // , #401
    278     0x652F, // , #400
    279     0x6536, // , #158
    280     0x653E, // , #317
    281     0x653F, // , #380
    282     0x6548, // , #496
    283     0x6559, // , #170
    284     0x6570, // , #136
    285     0x6587, // , #21
    286     0x6599, // , #295
    287     0x65AF, // , #473
    288     0x65B0, // , #14
    289     0x65B9, // , #68
    290     0x65C5, // , #457
    291     0x65E0, // , #164
    292     0x65E5, // , #50
    293     0x65F6, // , #18
    294     0x660E, // , #132
    295     0x6613, // , #428
    296     0x661F, // , #240
    297     0x662F, // , #6
    298     0x663E, // , #486
    299     0x66F4, // , #103
    300     0x6700, // , #61
    301     0x6708, // , #80
    302     0x6709, // , #5
    303     0x670D, // , #94
    304     0x671F, // , #139
    305     0x672C, // , #56
    306     0x672F, // , #216
    307     0x673A, // , #27
    308     0x6743, // , #250
    309     0x6761, // , #309
    310     0x6765, // , #42
    311     0x677F, // , #505
    312     0x6797, // , #475
    313     0x679C, // , #212
    314     0x67E5, // , #165
    315     0x6807, // , #269
    316     0x6821, // , #462
    317     0x6837, // , #314
    318     0x683C, // , #238
    319     0x6848, // , #378
    320     0x697C, // , #342
    321     0x6A21, // , #413
    322     0x6B21, // , #263
    323     0x6B22, // , #443
    324     0x6B3E, // , #358
    325     0x6B63, // , #219
    326     0x6B64, // , #362
    327     0x6BD4, // , #298
    328     0x6C11, // , #279
    329     0x6C14, // , #303
    330     0x6C34, // , #163
    331     0x6C42, // , #373
    332     0x6C5F, // , #336
    333     0x6CA1, // , #229
    334     0x6CBB, // , #425
    335     0x6CD5, // , #85
    336     0x6CE8, // , #119
    337     0x6D3B, // , #231
    338     0x6D41, // , #280
    339     0x6D4B, // , #460
    340     0x6D77, // , #124
    341     0x6D88, // , #415
    342     0x6DF1, // , #477
    343     0x6E05, // , #311
    344     0x6E38, // , #81
    345     0x6E90, // , #325
    346     0x706B, // , #498
    347     0x70B9, // , #58
    348     0x70ED, // , #183
    349     0x7136, // , #308
    350     0x7167, // , #431
    351     0x7231, // , #223
    352     0x7247, // , #128
    353     0x7248, // , #91
    354     0x724C, // , #429
    355     0x7269, // , #169
    356     0x7279, // , #224
    357     0x738B, // , #351
    358     0x73A9, // , #476
    359     0x73B0, // , #125
    360     0x7403, // , #367
    361     0x7406, // , #69
    362     0x751F, // , #24
    363     0x7528, // , #17
    364     0x7531, // , #441
    365     0x7535, // , #34
    366     0x7537, // , #275
    367     0x754C, // , #419
    368     0x75C5, // , #371
    369     0x767B, // , #204
    370     0x767D, // , #338
    371     0x767E, // , #157
    372     0x7684, // , #1
    373     0x76D8, // , #493
    374     0x76EE, // , #261
    375     0x76F4, // , #391
    376     0x76F8, // , #143
    377     0x7701, // , #464
    378     0x770B, // , #54
    379     0x771F, // , #249
    380     0x7740, // , #302
    381     0x77E5, // , #142
    382     0x7801, // , #257
    383     0x7814, // , #387
    384     0x793A, // , #334
    385     0x793E, // , #343
    386     0x795E, // , #330
    387     0x798F, // , #509
    388     0x79BB, // , #454
    389     0x79CD, // , #278
    390     0x79D1, // , #126
    391     0x79EF, // , #390
    392     0x7A0B, // , #209
    393     0x7A76, // , #504
    394     0x7A7A, // , #312
    395     0x7ACB, // , #393
    396     0x7AD9, // , #107
    397     0x7AE0, // , #304
    398     0x7B2C, // , #96
    399     0x7B49, // , #210
    400     0x7B54, // , #256
    401     0x7B80, // , #474
    402     0x7BA1, // , #221
    403     0x7C7B, // , #246
    404     0x7CBE, // , #226
    405     0x7CFB, // , #89
    406     0x7D22, // , #354
    407     0x7EA2, // , #417
    408     0x7EA7, // , #178
    409     0x7EBF, // , #108
    410     0x7EC4, // , #389
    411     0x7EC6, // , #442
    412     0x7ECF, // , #74
    413     0x7ED3, // , #333
    414     0x7ED9, // , #384
    415     0x7EDC, // , #472
    416     0x7EDF, // , #344
    417     0x7F16, // , #424
    418     0x7F51, // , #9
    419     0x7F6E, // , #411
    420     0x7F8E, // , #60
    421     0x8001, // , #292
    422     0x8003, // , #288
    423     0x8005, // , #106
    424     0x800C, // , #297
    425     0x8054, // , #159
    426     0x80B2, // , #327
    427     0x80FD, // , #59
    428     0x81EA, // , #77
    429     0x8272, // , #198
    430     0x8282, // , #361
    431     0x82B1, // , #299
    432     0x82F1, // , #316
    433     0x8350, // , #402
    434     0x836F, // , #481
    435     0x8425, // , #394
    436     0x85CF, // , #337
    437     0x884C, // , #41
    438     0x8868, // , #104
    439     0x88AB, // , #289
    440     0x88C5, // , #161
    441     0x897F, // , #199
    442     0x8981, // , #48
    443     0x89C1, // , #360
    444     0x89C2, // , #423
    445     0x89C4, // , #453
    446     0x89C6, // , #120
    447     0x89E3, // , #264
    448     0x8A00, // , #433
    449     0x8BA1, // , #191
    450     0x8BA4, // , #482
    451     0x8BA9, // , #421
    452     0x8BAE, // , #427
    453     0x8BAF, // , #388
    454     0x8BB0, // , #273
    455     0x8BBA, // , #66
    456     0x8BBE, // , #162
    457     0x8BC1, // , #201
    458     0x8BC4, // , #111
    459     0x8BC6, // , #463
    460     0x8BD5, // , #323
    461     0x8BDD, // , #247
    462     0x8BE2, // , #432
    463     0x8BE5, // , #447
    464     0x8BE6, // , #497
    465     0x8BED, // , #268
    466     0x8BF4, // , #112
    467     0x8BF7, // , #213
    468     0x8BFB, // , #341
    469     0x8C03, // , #438
    470     0x8D22, // , #488
    471     0x8D28, // , #386
    472     0x8D2D, // , #260
    473     0x8D34, // , #510
    474     0x8D39, // , #242
    475     0x8D44, // , #116
    476     0x8D77, // , #220
    477     0x8D85, // , #406
    478     0x8DEF, // , #235
    479     0x8EAB, // , #262
    480     0x8F66, // , #82
    481     0x8F6C, // , #322
    482     0x8F7D, // , #175
    483     0x8FBE, // , #435
    484     0x8FC7, // , #118
    485     0x8FD0, // , #357
    486     0x8FD1, // , #492
    487     0x8FD8, // , #171
    488     0x8FD9, // , #57
    489     0x8FDB, // , #160
    490     0x8FDE, // , #489
    491     0x9009, // , #328
    492     0x901A, // , #137
    493     0x901F, // , #458
    494     0x9020, // , #511
    495     0x9053, // , #79
    496     0x90A3, // , #305
    497     0x90E8, // , #102
    498     0x90FD, // , #167
    499     0x914D, // , #479
    500     0x9152, // , #444
    501     0x91CC, // , #196
    502     0x91CD, // , #230
    503     0x91CF, // , #248
    504     0x91D1, // , #134
    505     0x9500, // , #465
    506     0x957F, // , #152
    507     0x95E8, // , #185
    508     0x95EE, // , #92
    509     0x95F4, // , #88
    510     0x95FB, // , #313
    511     0x9605, // , #467
    512     0x9633, // , #420
    513     0x9645, // , #501
    514     0x9650, // , #286
    515     0x9662, // , #276
    516     0x96C6, // , #284
    517     0x9700, // , #405
    518     0x9762, // , #123
    519     0x97F3, // , #335
    520     0x9875, // , #63
    521     0x9879, // , #506
    522     0x9891, // , #200
    523     0x9898, // , #110
    524     0x98CE, // , #252
    525     0x98DF, // , #445
    526     0x9996, // , #149
    527     0x9999, // , #512
    528     0x9A6C, // , #392
    529     0x9A8C, // , #382
    530     0x9AD8, // , #67
    531     0x9F99, // , #426
    532 };
    533 // the percentage of the sample covered by the above characters
    534 static const float frequent_zhCN_coverage=0.718950369339973;
    535 
    536 // The 512 most frequently occuring characters for the zhTW language in a sample of the Internet.
    537 // Ordered by codepoint, comment shows character and ranking by frequency
    538 const uint16_t frequent_zhTW[] = {
    539     0x4E00, // , #2
    540     0x4E09, // , #131
    541     0x4E0A, // , #12
    542     0x4E0B, // , #37
    543     0x4E0D, // , #6
    544     0x4E16, // , #312
    545     0x4E26, // , #434
    546     0x4E2D, // , #9
    547     0x4E3B, // , #97
    548     0x4E4B, // , #55
    549     0x4E5F, // , #95
    550     0x4E86, // , #19
    551     0x4E8B, // , #128
    552     0x4E8C, // , #187
    553     0x4E94, // , #339
    554     0x4E9B, // , #435
    555     0x4E9E, // , #432
    556     0x4EA4, // , #264
    557     0x4EAB, // , #160
    558     0x4EBA, // , #3
    559     0x4EC0, // , #483
    560     0x4ECA, // , #380
    561     0x4ECB, // , #468
    562     0x4ED6, // , #65
    563     0x4EE3, // , #284
    564     0x4EE5, // , #26
    565     0x4EF6, // , #234
    566     0x4EFB, // , #381
    567     0x4EFD, // , #447
    568     0x4F46, // , #281
    569     0x4F4D, // , #202
    570     0x4F4F, // , #471
    571     0x4F55, // , #334
    572     0x4F5C, // , #56
    573     0x4F60, // , #64
    574     0x4F7F, // , #236
    575     0x4F86, // , #38
    576     0x4F9B, // , #397
    577     0x4FBF, // , #440
    578     0x4FC2, // , #506
    579     0x4FDD, // , #161
    580     0x4FE1, // , #268
    581     0x4FEE, // , #473
    582     0x500B, // , #27
    583     0x5011, // , #109
    584     0x505A, // , #383
    585     0x5065, // , #415
    586     0x5099, // , #461
    587     0x50B3, // , #277
    588     0x50CF, // , #403
    589     0x50F9, // , #93
    590     0x512A, // , #396
    591     0x5143, // , #158
    592     0x5148, // , #382
    593     0x5149, // , #216
    594     0x514D, // , #321
    595     0x5152, // , #374
    596     0x5165, // , #58
    597     0x5167, // , #106
    598     0x5168, // , #67
    599     0x5169, // , #322
    600     0x516C, // , #53
    601     0x516D, // , #493
    602     0x5171, // , #456
    603     0x5176, // , #148
    604     0x5177, // , #328
    605     0x518A, // , #360
    606     0x518D, // , #311
    607     0x51FA, // , #44
    608     0x5206, // , #15
    609     0x5217, // , #259
    610     0x5225, // , #361
    611     0x5229, // , #251
    612     0x5230, // , #29
    613     0x5247, // , #511
    614     0x524D, // , #82
    615     0x5275, // , #409
    616     0x529B, // , #176
    617     0x529F, // , #430
    618     0x52A0, // , #87
    619     0x52A9, // , #465
    620     0x52D5, // , #48
    621     0x52D9, // , #102
    622     0x5305, // , #248
    623     0x5316, // , #223
    624     0x5317, // , #145
    625     0x5340, // , #60
    626     0x5341, // , #242
    627     0x5357, // , #261
    628     0x535A, // , #484
    629     0x5361, // , #327
    630     0x5370, // , #498
    631     0x5373, // , #351
    632     0x539F, // , #237
    633     0x53BB, // , #190
    634     0x53C3, // , #444
    635     0x53C8, // , #426
    636     0x53CA, // , #136
    637     0x53CB, // , #142
    638     0x53D6, // , #422
    639     0x53D7, // , #410
    640     0x53E3, // , #357
    641     0x53EA, // , #250
    642     0x53EF, // , #35
    643     0x53F0, // , #34
    644     0x53F8, // , #226
    645     0x5403, // , #362
    646     0x5404, // , #454
    647     0x5408, // , #147
    648     0x540C, // , #173
    649     0x540D, // , #108
    650     0x544A, // , #186
    651     0x548C, // , #130
    652     0x54C1, // , #23
    653     0x54E1, // , #150
    654     0x5546, // , #75
    655     0x554F, // , #120
    656     0x559C, // , #502
    657     0x55AE, // , #210
    658     0x55CE, // , #443
    659     0x5668, // , #305
    660     0x56DB, // , #318
    661     0x56DE, // , #59
    662     0x56E0, // , #253
    663     0x570B, // , #21
    664     0x5712, // , #345
    665     0x5716, // , #73
    666     0x5718, // , #338
    667     0x5728, // , #11
    668     0x5730, // , #50
    669     0x578B, // , #270
    670     0x57CE, // , #466
    671     0x57FA, // , #349
    672     0x5831, // , #127
    673     0x5834, // , #165
    674     0x58EB, // , #372
    675     0x5916, // , #152
    676     0x591A, // , #54
    677     0x5927, // , #8
    678     0x5929, // , #43
    679     0x592A, // , #343
    680     0x5947, // , #325
    681     0x5973, // , #85
    682     0x5979, // , #420
    683     0x597D, // , #22
    684     0x5982, // , #144
    685     0x5B50, // , #46
    686     0x5B57, // , #275
    687     0x5B78, // , #49
    688     0x5B89, // , #239
    689     0x5B8C, // , #320
    690     0x5B9A, // , #159
    691     0x5BA2, // , #188
    692     0x5BB6, // , #31
    693     0x5BB9, // , #244
    694     0x5BE6, // , #198
    695     0x5BF6, // , #367
    696     0x5C07, // , #232
    697     0x5C08, // , #133
    698     0x5C0B, // , #352
    699     0x5C0D, // , #126
    700     0x5C0E, // , #418
    701     0x5C0F, // , #20
    702     0x5C11, // , #368
    703     0x5C31, // , #63
    704     0x5C55, // , #341
    705     0x5C71, // , #273
    706     0x5DE5, // , #121
    707     0x5DF1, // , #402
    708     0x5DF2, // , #299
    709     0x5E02, // , #81
    710     0x5E2B, // , #262
    711     0x5E36, // , #470
    712     0x5E38, // , #303
    713     0x5E73, // , #297
    714     0x5E74, // , #30
    715     0x5E97, // , #171
    716     0x5EA6, // , #220
    717     0x5EB7, // , #441
    718     0x5EE3, // , #279
    719     0x5EFA, // , #254
    720     0x5F0F, // , #155
    721     0x5F15, // , #346
    722     0x5F35, // , #366
    723     0x5F37, // , #437
    724     0x5F71, // , #94
    725     0x5F88, // , #177
    726     0x5F8C, // , #66
    727     0x5F97, // , #113
    728     0x5F9E, // , #436
    729     0x5FC3, // , #57
    730     0x5FEB, // , #292
    731     0x6027, // , #175
    732     0x606F, // , #378
    733     0x60A8, // , #252
    734     0x60C5, // , #123
    735     0x60F3, // , #178
    736     0x610F, // , #168
    737     0x611B, // , #125
    738     0x611F, // , #211
    739     0x61C9, // , #164
    740     0x6210, // , #86
    741     0x6211, // , #7
    742     0x6216, // , #199
    743     0x6230, // , #438
    744     0x6232, // , #309
    745     0x6236, // , #497
    746     0x623F, // , #274
    747     0x6240, // , #79
    748     0x624B, // , #68
    749     0x624D, // , #400
    750     0x6253, // , #278
    751     0x627E, // , #449
    752     0x6280, // , #332
    753     0x6295, // , #425
    754     0x62C9, // , #500
    755     0x62CD, // , #398
    756     0x6307, // , #407
    757     0x6392, // , #458
    758     0x63A5, // , #326
    759     0x63A8, // , #153
    760     0x63D0, // , #235
    761     0x641C, // , #314
    762     0x6469, // , #472
    763     0x6536, // , #249
    764     0x6539, // , #508
    765     0x653E, // , #331
    766     0x653F, // , #295
    767     0x6559, // , #184
    768     0x6574, // , #394
    769     0x6578, // , #134
    770     0x6587, // , #16
    771     0x6599, // , #167
    772     0x65AF, // , #476
    773     0x65B0, // , #10
    774     0x65B9, // , #96
    775     0x65BC, // , #70
    776     0x65C5, // , #289
    777     0x65E5, // , #18
    778     0x660E, // , #118
    779     0x6613, // , #482
    780     0x661F, // , #205
    781     0x662F, // , #5
    782     0x6642, // , #13
    783     0x66F4, // , #149
    784     0x66F8, // , #209
    785     0x6700, // , #51
    786     0x6703, // , #14
    787     0x6708, // , #25
    788     0x6709, // , #4
    789     0x670D, // , #99
    790     0x671F, // , #139
    791     0x672A, // , #404
    792     0x672C, // , #45
    793     0x6771, // , #221
    794     0x677F, // , #364
    795     0x6797, // , #330
    796     0x679C, // , #179
    797     0x67E5, // , #283
    798     0x683C, // , #157
    799     0x6848, // , #392
    800     0x689D, // , #406
    801     0x696D, // , #103
    802     0x6A02, // , #116
    803     0x6A13, // , #411
    804     0x6A19, // , #384
    805     0x6A23, // , #306
    806     0x6A5F, // , #40
    807     0x6AA2, // , #359
    808     0x6B0A, // , #228
    809     0x6B21, // , #227
    810     0x6B3E, // , #276
    811     0x6B4C, // , #496
    812     0x6B61, // , #427
    813     0x6B63, // , #206
    814     0x6B64, // , #247
    815     0x6BCF, // , #391
    816     0x6BD4, // , #257
    817     0x6C11, // , #230
    818     0x6C23, // , #200
    819     0x6C34, // , #140
    820     0x6C42, // , #501
    821     0x6C92, // , #162
    822     0x6CD5, // , #89
    823     0x6D3B, // , #124
    824     0x6D41, // , #315
    825     0x6D77, // , #258
    826     0x6D88, // , #342
    827     0x6E05, // , #329
    828     0x6E2F, // , #293
    829     0x6F14, // , #491
    830     0x7063, // , #195
    831     0x70BA, // , #39
    832     0x7121, // , #107
    833     0x7136, // , #215
    834     0x7167, // , #376
    835     0x71B1, // , #245
    836     0x7247, // , #90
    837     0x7248, // , #112
    838     0x724C, // , #467
    839     0x7269, // , #110
    840     0x7279, // , #183
    841     0x738B, // , #287
    842     0x73A9, // , #354
    843     0x73FE, // , #143
    844     0x7403, // , #350
    845     0x7406, // , #105
    846     0x751F, // , #24
    847     0x7522, // , #201
    848     0x7528, // , #17
    849     0x7531, // , #288
    850     0x7537, // , #298
    851     0x754C, // , #399
    852     0x7559, // , #218
    853     0x756B, // , #412
    854     0x7576, // , #185
    855     0x767B, // , #138
    856     0x767C, // , #28
    857     0x767D, // , #377
    858     0x767E, // , #393
    859     0x7684, // , #1
    860     0x76EE, // , #271
    861     0x76F4, // , #379
    862     0x76F8, // , #98
    863     0x770B, // , #52
    864     0x771F, // , #180
    865     0x773C, // , #433
    866     0x77E5, // , #170
    867     0x78BC, // , #481
    868     0x793A, // , #353
    869     0x793E, // , #333
    870     0x795E, // , #304
    871     0x7968, // , #477
    872     0x798F, // , #494
    873     0x79C1, // , #507
    874     0x79D1, // , #280
    875     0x7A0B, // , #272
    876     0x7A2E, // , #337
    877     0x7A4D, // , #385
    878     0x7A7A, // , #324
    879     0x7ACB, // , #286
    880     0x7AD9, // , #117
    881     0x7AE0, // , #141
    882     0x7B2C, // , #135
    883     0x7B49, // , #240
    884     0x7BA1, // , #340
    885     0x7BC0, // , #431
    886     0x7BC7, // , #479
    887     0x7C21, // , #499
    888     0x7CBE, // , #213
    889     0x7CFB, // , #212
    890     0x7D04, // , #462
    891     0x7D05, // , #452
    892     0x7D1A, // , #267
    893     0x7D30, // , #486
    894     0x7D44, // , #335
    895     0x7D50, // , #243
    896     0x7D66, // , #355
    897     0x7D71, // , #375
    898     0x7D93, // , #111
    899     0x7DB2, // , #32
    900     0x7DDA, // , #151
    901     0x7E23, // , #439
    902     0x7E3D, // , #370
    903     0x7F8E, // , #41
    904     0x7FA9, // , #504
    905     0x8001, // , #290
    906     0x8003, // , #428
    907     0x8005, // , #92
    908     0x800C, // , #217
    909     0x805E, // , #181
    910     0x806F, // , #310
    911     0x8072, // , #413
    912     0x80A1, // , #390
    913     0x80B2, // , #453
    914     0x80FD, // , #71
    915     0x8166, // , #408
    916     0x81EA, // , #61
    917     0x81F3, // , #344
    918     0x8207, // , #84
    919     0x8209, // , #463
    920     0x8272, // , #192
    921     0x82B1, // , #255
    922     0x82F1, // , #348
    923     0x83EF, // , #196
    924     0x842C, // , #316
    925     0x843D, // , #308
    926     0x8457, // , #233
    927     0x85A6, // , #401
    928     0x85CF, // , #503
    929     0x85DD, // , #488
    930     0x8655, // , #419
    931     0x865F, // , #191
    932     0x884C, // , #47
    933     0x8853, // , #395
    934     0x8868, // , #77
    935     0x88AB, // , #291
    936     0x88DD, // , #256
    937     0x88E1, // , #369
    938     0x88FD, // , #510
    939     0x897F, // , #300
    940     0x8981, // , #36
    941     0x898B, // , #307
    942     0x8996, // , #204
    943     0x89BA, // , #450
    944     0x89BD, // , #387
    945     0x89C0, // , #365
    946     0x89E3, // , #323
    947     0x8A00, // , #169
    948     0x8A02, // , #423
    949     0x8A08, // , #225
    950     0x8A0A, // , #156
    951     0x8A0E, // , #373
    952     0x8A18, // , #222
    953     0x8A2D, // , #174
    954     0x8A3B, // , #356
    955     0x8A55, // , #246
    956     0x8A66, // , #448
    957     0x8A71, // , #229
    958     0x8A72, // , #446
    959     0x8A8D, // , #464
    960     0x8A9E, // , #371
    961     0x8AAA, // , #91
    962     0x8ABF, // , #509
    963     0x8ACB, // , #119
    964     0x8AD6, // , #114
    965     0x8B1D, // , #389
    966     0x8B49, // , #429
    967     0x8B58, // , #416
    968     0x8B70, // , #485
    969     0x8B77, // , #475
    970     0x8B80, // , #386
    971     0x8B8A, // , #388
    972     0x8B93, // , #336
    973     0x8CA8, // , #313
    974     0x8CB7, // , #260
    975     0x8CBB, // , #203
    976     0x8CC7, // , #62
    977     0x8CE3, // , #294
    978     0x8CEA, // , #457
    979     0x8CFC, // , #189
    980     0x8D77, // , #214
    981     0x8D85, // , #296
    982     0x8DDF, // , #489
    983     0x8DEF, // , #137
    984     0x8EAB, // , #197
    985     0x8ECA, // , #76
    986     0x8F09, // , #301
    987     0x8F49, // , #282
    988     0x8FD1, // , #414
    989     0x9001, // , #363
    990     0x9019, // , #42
    991     0x901A, // , #207
    992     0x901F, // , #495
    993     0x9020, // , #455
    994     0x9023, // , #285
    995     0x9032, // , #231
    996     0x904A, // , #132
    997     0x904B, // , #219
    998     0x904E, // , #101
    999     0x9053, // , #146
   1000     0x9054, // , #417
   1001     0x9078, // , #182
   1002     0x9084, // , #154
   1003     0x908A, // , #487
   1004     0x90A3, // , #269
   1005     0x90E8, // , #78
   1006     0x90FD, // , #104
   1007     0x914D, // , #421
   1008     0x9152, // , #512
   1009     0x91AB, // , #358
   1010     0x91CD, // , #224
   1011     0x91CF, // , #319
   1012     0x91D1, // , #115
   1013     0x9304, // , #302
   1014     0x9577, // , #172
   1015     0x9580, // , #193
   1016     0x958B, // , #72
   1017     0x9593, // , #80
   1018     0x95B1, // , #405
   1019     0x95DC, // , #74
   1020     0x963F, // , #460
   1021     0x9650, // , #265
   1022     0x9662, // , #474
   1023     0x9664, // , #478
   1024     0x969B, // , #459
   1025     0x96C6, // , #347
   1026     0x96E2, // , #442
   1027     0x96FB, // , #33
   1028     0x9700, // , #445
   1029     0x975E, // , #451
   1030     0x9762, // , #129
   1031     0x97F3, // , #194
   1032     0x9801, // , #83
   1033     0x982D, // , #238
   1034     0x984C, // , #122
   1035     0x985E, // , #163
   1036     0x98A8, // , #266
   1037     0x98DF, // , #208
   1038     0x9910, // , #469
   1039     0x9928, // , #424
   1040     0x9996, // , #166
   1041     0x9999, // , #263
   1042     0x99AC, // , #317
   1043     0x9A57, // , #492
   1044     0x9AD4, // , #100
   1045     0x9AD8, // , #88
   1046     0x9EBC, // , #241
   1047     0x9EC3, // , #480
   1048     0x9ED1, // , #490
   1049     0x9EDE, // , #69
   1050     0x9F8D, // , #505
   1051 };
   1052 // the percentage of the sample covered by the above characters
   1053 static const float frequent_zhTW_coverage=0.704841200026877;
   1054 
   1055 // The 512 most frequently occuring characters for the ja language in a sample of the Internet.
   1056 // Ordered by codepoint, comment shows character and ranking by frequency
   1057 const uint16_t frequent_ja[] = {
   1058     0x3005, // , #352
   1059     0x3041, // , #486
   1060     0x3042, // , #50
   1061     0x3044, // , #2
   1062     0x3046, // , #33
   1063     0x3048, // , #83
   1064     0x304A, // , #37
   1065     0x304B, // , #21
   1066     0x304C, // , #17
   1067     0x304D, // , #51
   1068     0x304E, // , #324
   1069     0x304F, // , #38
   1070     0x3050, // , #334
   1071     0x3051, // , #60
   1072     0x3052, // , #296
   1073     0x3053, // , #34
   1074     0x3054, // , #100
   1075     0x3055, // , #31
   1076     0x3056, // , #378
   1077     0x3057, // , #4
   1078     0x3058, // , #121
   1079     0x3059, // , #12
   1080     0x305A, // , #215
   1081     0x305B, // , #86
   1082     0x305D, // , #68
   1083     0x305F, // , #11
   1084     0x3060, // , #42
   1085     0x3061, // , #67
   1086     0x3063, // , #23
   1087     0x3064, // , #73
   1088     0x3066, // , #7
   1089     0x3067, // , #6
   1090     0x3068, // , #14
   1091     0x3069, // , #75
   1092     0x306A, // , #8
   1093     0x306B, // , #5
   1094     0x306D, // , #123
   1095     0x306E, // , #1
   1096     0x306F, // , #16
   1097     0x3070, // , #150
   1098     0x3071, // , #259
   1099     0x3072, // , #364
   1100     0x3073, // , #266
   1101     0x3075, // , #484
   1102     0x3076, // , #330
   1103     0x3078, // , #146
   1104     0x3079, // , #207
   1105     0x307B, // , #254
   1106     0x307E, // , #18
   1107     0x307F, // , #74
   1108     0x3080, // , #285
   1109     0x3081, // , #78
   1110     0x3082, // , #32
   1111     0x3083, // , #111
   1112     0x3084, // , #85
   1113     0x3086, // , #392
   1114     0x3087, // , #224
   1115     0x3088, // , #63
   1116     0x3089, // , #29
   1117     0x308A, // , #28
   1118     0x308B, // , #9
   1119     0x308C, // , #35
   1120     0x308D, // , #127
   1121     0x308F, // , #88
   1122     0x3092, // , #19
   1123     0x3093, // , #22
   1124     0x30A1, // , #193
   1125     0x30A2, // , #27
   1126     0x30A3, // , #70
   1127     0x30A4, // , #15
   1128     0x30A6, // , #89
   1129     0x30A7, // , #134
   1130     0x30A8, // , #81
   1131     0x30A9, // , #225
   1132     0x30AA, // , #76
   1133     0x30AB, // , #52
   1134     0x30AC, // , #147
   1135     0x30AD, // , #66
   1136     0x30AE, // , #246
   1137     0x30AF, // , #25
   1138     0x30B0, // , #39
   1139     0x30B1, // , #137
   1140     0x30B2, // , #200
   1141     0x30B3, // , #46
   1142     0x30B4, // , #183
   1143     0x30B5, // , #64
   1144     0x30B6, // , #221
   1145     0x30B7, // , #48
   1146     0x30B8, // , #55
   1147     0x30B9, // , #13
   1148     0x30BA, // , #103
   1149     0x30BB, // , #109
   1150     0x30BC, // , #499
   1151     0x30BD, // , #175
   1152     0x30BF, // , #45
   1153     0x30C0, // , #104
   1154     0x30C1, // , #71
   1155     0x30C3, // , #20
   1156     0x30C4, // , #119
   1157     0x30C6, // , #59
   1158     0x30C7, // , #82
   1159     0x30C8, // , #10
   1160     0x30C9, // , #44
   1161     0x30CA, // , #102
   1162     0x30CB, // , #72
   1163     0x30CD, // , #117
   1164     0x30CE, // , #192
   1165     0x30CF, // , #164
   1166     0x30D0, // , #62
   1167     0x30D1, // , #90
   1168     0x30D2, // , #398
   1169     0x30D3, // , #77
   1170     0x30D4, // , #135
   1171     0x30D5, // , #47
   1172     0x30D6, // , #56
   1173     0x30D7, // , #43
   1174     0x30D8, // , #268
   1175     0x30D9, // , #157
   1176     0x30DA, // , #125
   1177     0x30DB, // , #155
   1178     0x30DC, // , #168
   1179     0x30DD, // , #114
   1180     0x30DE, // , #57
   1181     0x30DF, // , #97
   1182     0x30E0, // , #69
   1183     0x30E1, // , #53
   1184     0x30E2, // , #142
   1185     0x30E3, // , #93
   1186     0x30E4, // , #258
   1187     0x30E5, // , #79
   1188     0x30E6, // , #405
   1189     0x30E7, // , #98
   1190     0x30E9, // , #26
   1191     0x30EA, // , #30
   1192     0x30EB, // , #24
   1193     0x30EC, // , #41
   1194     0x30ED, // , #40
   1195     0x30EF, // , #144
   1196     0x30F3, // , #3
   1197     0x30F4, // , #483
   1198     0x30FD, // , #501
   1199     0x4E00, // , #84
   1200     0x4E07, // , #337
   1201     0x4E09, // , #323
   1202     0x4E0A, // , #133
   1203     0x4E0B, // , #180
   1204     0x4E0D, // , #277
   1205     0x4E16, // , #385
   1206     0x4E2D, // , #87
   1207     0x4E3B, // , #432
   1208     0x4E88, // , #326
   1209     0x4E8B, // , #95
   1210     0x4E8C, // , #394
   1211     0x4E95, // , #468
   1212     0x4EA4, // , #410
   1213     0x4EAC, // , #260
   1214     0x4EBA, // , #61
   1215     0x4ECA, // , #184
   1216     0x4ECB, // , #358
   1217     0x4ED5, // , #391
   1218     0x4ED6, // , #256
   1219     0x4ED8, // , #243
   1220     0x4EE3, // , #280
   1221     0x4EE5, // , #216
   1222     0x4EF6, // , #190
   1223     0x4F1A, // , #105
   1224     0x4F4D, // , #177
   1225     0x4F4F, // , #376
   1226     0x4F53, // , #223
   1227     0x4F55, // , #294
   1228     0x4F5C, // , #154
   1229     0x4F7F, // , #233
   1230     0x4F9B, // , #503
   1231     0x4FA1, // , #217
   1232     0x4FBF, // , #511
   1233     0x4FDD, // , #279
   1234     0x4FE1, // , #271
   1235     0x500B, // , #415
   1236     0x50CF, // , #178
   1237     0x512A, // , #403
   1238     0x5143, // , #384
   1239     0x5148, // , #311
   1240     0x5149, // , #488
   1241     0x5165, // , #115
   1242     0x5168, // , #173
   1243     0x516C, // , #287
   1244     0x5177, // , #447
   1245     0x5185, // , #169
   1246     0x5186, // , #131
   1247     0x5199, // , #275
   1248     0x51FA, // , #110
   1249     0x5206, // , #130
   1250     0x5207, // , #401
   1251     0x521D, // , #319
   1252     0x5225, // , #290
   1253     0x5229, // , #226
   1254     0x5236, // , #507
   1255     0x524D, // , #124
   1256     0x529B, // , #272
   1257     0x52A0, // , #249
   1258     0x52D5, // , #120
   1259     0x52D9, // , #421
   1260     0x52DF, // , #476
   1261     0x5316, // , #308
   1262     0x5317, // , #341
   1263     0x533A, // , #348
   1264     0x539F, // , #321
   1265     0x53C2, // , #452
   1266     0x53CB, // , #451
   1267     0x53D6, // , #237
   1268     0x53D7, // , #354
   1269     0x53E3, // , #289
   1270     0x53E4, // , #339
   1271     0x53EF, // , #298
   1272     0x53F0, // , #439
   1273     0x53F7, // , #361
   1274     0x5408, // , #118
   1275     0x540C, // , #263
   1276     0x540D, // , #65
   1277     0x5411, // , #434
   1278     0x544A, // , #386
   1279     0x5468, // , #393
   1280     0x5473, // , #299
   1281     0x548C, // , #350
   1282     0x54C1, // , #96
   1283     0x54E1, // , #293
   1284     0x5546, // , #198
   1285     0x554F, // , #158
   1286     0x55B6, // , #438
   1287     0x5668, // , #366
   1288     0x56DE, // , #143
   1289     0x56F3, // , #444
   1290     0x56FD, // , #153
   1291     0x5712, // , #435
   1292     0x571F, // , #239
   1293     0x5728, // , #351
   1294     0x5730, // , #163
   1295     0x578B, // , #430
   1296     0x5831, // , #112
   1297     0x5834, // , #139
   1298     0x58F2, // , #232
   1299     0x5909, // , #306
   1300     0x5916, // , #222
   1301     0x591A, // , #336
   1302     0x5927, // , #80
   1303     0x5929, // , #278
   1304     0x5973, // , #161
   1305     0x597D, // , #349
   1306     0x5A5A, // , #479
   1307     0x5B50, // , #113
   1308     0x5B57, // , #492
   1309     0x5B66, // , #132
   1310     0x5B89, // , #295
   1311     0x5B9A, // , #145
   1312     0x5B9F, // , #220
   1313     0x5BA4, // , #482
   1314     0x5BAE, // , #487
   1315     0x5BB6, // , #211
   1316     0x5BB9, // , #333
   1317     0x5BFE, // , #252
   1318     0x5C02, // , #474
   1319     0x5C0F, // , #212
   1320     0x5C11, // , #377
   1321     0x5C4B, // , #284
   1322     0x5C71, // , #206
   1323     0x5CA1, // , #429
   1324     0x5CF6, // , #297
   1325     0x5DDD, // , #253
   1326     0x5DE5, // , #374
   1327     0x5E02, // , #159
   1328     0x5E2F, // , #416
   1329     0x5E38, // , #437
   1330     0x5E73, // , #390
   1331     0x5E74, // , #54
   1332     0x5E83, // , #367
   1333     0x5E97, // , #149
   1334     0x5EA6, // , #269
   1335     0x5EAB, // , #380
   1336     0x5F0F, // , #265
   1337     0x5F15, // , #345
   1338     0x5F37, // , #446
   1339     0x5F53, // , #240
   1340     0x5F62, // , #502
   1341     0x5F8C, // , #230
   1342     0x5F97, // , #490
   1343     0x5FC3, // , #307
   1344     0x5FC5, // , #422
   1345     0x5FDC, // , #356
   1346     0x601D, // , #189
   1347     0x6027, // , #201
   1348     0x6075, // , #400
   1349     0x60C5, // , #140
   1350     0x60F3, // , #477
   1351     0x610F, // , #305
   1352     0x611B, // , #273
   1353     0x611F, // , #257
   1354     0x6210, // , #262
   1355     0x6226, // , #365
   1356     0x6240, // , #236
   1357     0x624B, // , #160
   1358     0x6295, // , #129
   1359     0x6301, // , #355
   1360     0x6307, // , #425
   1361     0x63A2, // , #369
   1362     0x63B2, // , #399
   1363     0x643A, // , #459
   1364     0x652F, // , #512
   1365     0x653E, // , #469
   1366     0x6559, // , #270
   1367     0x6570, // , #181
   1368     0x6587, // , #202
   1369     0x6599, // , #106
   1370     0x65B0, // , #99
   1371     0x65B9, // , #126
   1372     0x65C5, // , #445
   1373     0x65E5, // , #36
   1374     0x660E, // , #300
   1375     0x6620, // , #418
   1376     0x6642, // , #107
   1377     0x66F4, // , #359
   1378     0x66F8, // , #174
   1379     0x6700, // , #152
   1380     0x6708, // , #49
   1381     0x6709, // , #302
   1382     0x671F, // , #332
   1383     0x6728, // , #203
   1384     0x672C, // , #92
   1385     0x6750, // , #489
   1386     0x6751, // , #466
   1387     0x6765, // , #267
   1388     0x6771, // , #191
   1389     0x677F, // , #411
   1390     0x679C, // , #441
   1391     0x6821, // , #327
   1392     0x682A, // , #412
   1393     0x683C, // , #228
   1394     0x691C, // , #179
   1395     0x696D, // , #166
   1396     0x697D, // , #172
   1397     0x69D8, // , #255
   1398     0x6A5F, // , #235
   1399     0x6B21, // , #318
   1400     0x6B62, // , #475
   1401     0x6B63, // , #312
   1402     0x6C17, // , #116
   1403     0x6C34, // , #165
   1404     0x6C42, // , #465
   1405     0x6C7A, // , #370
   1406     0x6CBB, // , #505
   1407     0x6CC1, // , #462
   1408     0x6CD5, // , #227
   1409     0x6CE8, // , #372
   1410     0x6D3B, // , #303
   1411     0x6D41, // , #480
   1412     0x6D77, // , #274
   1413     0x6E08, // , #417
   1414     0x6F14, // , #504
   1415     0x706B, // , #264
   1416     0x70B9, // , #331
   1417     0x7121, // , #58
   1418     0x7248, // , #409
   1419     0x7269, // , #170
   1420     0x7279, // , #242
   1421     0x72B6, // , #458
   1422     0x73FE, // , #322
   1423     0x7406, // , #162
   1424     0x751F, // , #122
   1425     0x7523, // , #320
   1426     0x7528, // , #94
   1427     0x7530, // , #195
   1428     0x7537, // , #373
   1429     0x753A, // , #314
   1430     0x753B, // , #91
   1431     0x754C, // , #436
   1432     0x756A, // , #261
   1433     0x75C5, // , #428
   1434     0x767A, // , #194
   1435     0x767B, // , #231
   1436     0x767D, // , #419
   1437     0x7684, // , #251
   1438     0x76EE, // , #197
   1439     0x76F4, // , #497
   1440     0x76F8, // , #286
   1441     0x770C, // , #199
   1442     0x771F, // , #219
   1443     0x7740, // , #283
   1444     0x77E5, // , #185
   1445     0x77F3, // , #500
   1446     0x78BA, // , #383
   1447     0x793A, // , #241
   1448     0x793E, // , #167
   1449     0x795E, // , #315
   1450     0x798F, // , #423
   1451     0x79C1, // , #347
   1452     0x79D1, // , #420
   1453     0x7A0E, // , #368
   1454     0x7A2E, // , #455
   1455     0x7A3F, // , #148
   1456     0x7A7A, // , #427
   1457     0x7ACB, // , #309
   1458     0x7B11, // , #454
   1459     0x7B2C, // , #317
   1460     0x7B49, // , #457
   1461     0x7B54, // , #426
   1462     0x7BA1, // , #481
   1463     0x7CFB, // , #408
   1464     0x7D04, // , #276
   1465     0x7D20, // , #407
   1466     0x7D22, // , #214
   1467     0x7D30, // , #381
   1468     0x7D39, // , #471
   1469     0x7D42, // , #456
   1470     0x7D44, // , #424
   1471     0x7D4C, // , #360
   1472     0x7D50, // , #291
   1473     0x7D9A, // , #357
   1474     0x7DCF, // , #467
   1475     0x7DDA, // , #338
   1476     0x7DE8, // , #453
   1477     0x7F8E, // , #204
   1478     0x8003, // , #387
   1479     0x8005, // , #151
   1480     0x805E, // , #463
   1481     0x8077, // , #363
   1482     0x80B2, // , #433
   1483     0x80FD, // , #250
   1484     0x8179, // , #396
   1485     0x81EA, // , #156
   1486     0x826F, // , #329
   1487     0x8272, // , #402
   1488     0x82B1, // , #440
   1489     0x82B8, // , #413
   1490     0x82F1, // , #485
   1491     0x8449, // , #472
   1492     0x884C, // , #128
   1493     0x8853, // , #460
   1494     0x8868, // , #209
   1495     0x88FD, // , #431
   1496     0x897F, // , #406
   1497     0x8981, // , #313
   1498     0x898B, // , #101
   1499     0x898F, // , #375
   1500     0x89A7, // , #171
   1501     0x89E3, // , #388
   1502     0x8A00, // , #210
   1503     0x8A08, // , #343
   1504     0x8A18, // , #136
   1505     0x8A2D, // , #292
   1506     0x8A71, // , #213
   1507     0x8A73, // , #371
   1508     0x8A8D, // , #404
   1509     0x8A9E, // , #234
   1510     0x8AAC, // , #494
   1511     0x8AAD, // , #301
   1512     0x8ABF, // , #443
   1513     0x8AC7, // , #448
   1514     0x8B77, // , #509
   1515     0x8C37, // , #506
   1516     0x8CA9, // , #362
   1517     0x8CB7, // , #346
   1518     0x8CC7, // , #473
   1519     0x8CEA, // , #281
   1520     0x8CFC, // , #495
   1521     0x8EAB, // , #470
   1522     0x8ECA, // , #205
   1523     0x8EE2, // , #335
   1524     0x8F09, // , #342
   1525     0x8FBC, // , #229
   1526     0x8FD1, // , #304
   1527     0x8FD4, // , #461
   1528     0x8FFD, // , #379
   1529     0x9001, // , #186
   1530     0x901A, // , #182
   1531     0x901F, // , #340
   1532     0x9023, // , #244
   1533     0x904B, // , #382
   1534     0x904E, // , #498
   1535     0x9053, // , #282
   1536     0x9054, // , #450
   1537     0x9055, // , #414
   1538     0x9078, // , #288
   1539     0x90E8, // , #208
   1540     0x90FD, // , #344
   1541     0x914D, // , #389
   1542     0x91CD, // , #478
   1543     0x91CE, // , #245
   1544     0x91D1, // , #138
   1545     0x9332, // , #238
   1546     0x9577, // , #247
   1547     0x9580, // , #508
   1548     0x958B, // , #248
   1549     0x9593, // , #141
   1550     0x95A2, // , #188
   1551     0x962A, // , #496
   1552     0x9650, // , #395
   1553     0x9662, // , #449
   1554     0x9664, // , #510
   1555     0x969B, // , #493
   1556     0x96C6, // , #196
   1557     0x96D1, // , #442
   1558     0x96FB, // , #187
   1559     0x9762, // , #328
   1560     0x97F3, // , #325
   1561     0x984C, // , #310
   1562     0x985E, // , #491
   1563     0x98A8, // , #353
   1564     0x98DF, // , #218
   1565     0x9928, // , #464
   1566     0x99C5, // , #316
   1567     0x9A13, // , #397
   1568     0x9AD8, // , #176
   1569     0xFF57, // , #108
   1570 };
   1571 // the percentage of the sample covered by the above characters
   1572 static const float frequent_ja_coverage=0.880569589120162;
   1573 
   1574 // The 512 most frequently occuring characters for the ko language in a sample of the Internet.
   1575 // Ordered by codepoint, comment shows character and ranking by frequency
   1576 const uint16_t frequent_ko[] = {
   1577     0x314B, // , #148
   1578     0x314E, // , #390
   1579     0x3160, // , #354
   1580     0x318D, // , #439
   1581     0xAC00, // , #6
   1582     0xAC01, // , #231
   1583     0xAC04, // , #106
   1584     0xAC08, // , #362
   1585     0xAC10, // , #122
   1586     0xAC11, // , #493
   1587     0xAC15, // , #155
   1588     0xAC19, // , #264
   1589     0xAC1C, // , #87
   1590     0xAC1D, // , #198
   1591     0xAC24, // , #457
   1592     0xAC70, // , #91
   1593     0xAC74, // , #161
   1594     0xAC78, // , #338
   1595     0xAC80, // , #184
   1596     0xAC83, // , #116
   1597     0xAC8C, // , #36
   1598     0xACA0, // , #233
   1599     0xACA8, // , #341
   1600     0xACA9, // , #245
   1601     0xACAC, // , #413
   1602     0xACB0, // , #202
   1603     0xACBD, // , #62
   1604     0xACC4, // , #142
   1605     0xACE0, // , #12
   1606     0xACE1, // , #444
   1607     0xACE8, // , #379
   1608     0xACF3, // , #388
   1609     0xACF5, // , #59
   1610     0xACFC, // , #69
   1611     0xAD00, // , #95
   1612     0xAD11, // , #235
   1613     0xAD50, // , #128
   1614     0xAD6C, // , #52
   1615     0xAD6D, // , #85
   1616     0xAD70, // , #293
   1617     0xAD74, // , #487
   1618     0xAD81, // , #441
   1619     0xAD8C, // , #192
   1620     0xADC0, // , #386
   1621     0xADDC, // , #367
   1622     0xADF8, // , #30
   1623     0xADF9, // , #424
   1624     0xADFC, // , #241
   1625     0xAE00, // , #61
   1626     0xAE08, // , #138
   1627     0xAE09, // , #269
   1628     0xAE30, // , #3
   1629     0xAE34, // , #465
   1630     0xAE38, // , #297
   1631     0xAE40, // , #205
   1632     0xAE4C, // , #171
   1633     0xAED8, // , #273
   1634     0xAF43, // , #475
   1635     0xB05D, // , #505
   1636     0xB07C, // , #490
   1637     0xB098, // , #39
   1638     0xB09C, // , #274
   1639     0xB0A0, // , #292
   1640     0xB0A8, // , #139
   1641     0xB0B4, // , #56
   1642     0xB108, // , #272
   1643     0xB110, // , #476
   1644     0xB118, // , #492
   1645     0xB124, // , #100
   1646     0xB137, // , #329
   1647     0xB140, // , #288
   1648     0xB144, // , #151
   1649     0xB178, // , #149
   1650     0xB17C, // , #491
   1651     0xB180, // , #464
   1652     0xB18D, // , #442
   1653     0xB204, // , #319
   1654     0xB208, // , #383
   1655     0xB274, // , #173
   1656     0xB290, // , #368
   1657     0xB294, // , #5
   1658     0xB298, // , #322
   1659     0xB2A5, // , #190
   1660     0xB2C8, // , #16
   1661     0xB2D8, // , #153
   1662     0xB2E4, // , #2
   1663     0xB2E8, // , #134
   1664     0xB2EB, // , #195
   1665     0xB2EC, // , #243
   1666     0xB2F4, // , #254
   1667     0xB2F5, // , #287
   1668     0xB2F9, // , #159
   1669     0xB300, // , #33
   1670     0xB313, // , #303
   1671     0xB354, // , #140
   1672     0xB358, // , #252
   1673     0xB367, // , #463
   1674     0xB370, // , #104
   1675     0xB378, // , #429
   1676     0xB3C4, // , #25
   1677     0xB3C5, // , #301
   1678     0xB3CC, // , #309
   1679     0xB3D9, // , #58
   1680     0xB418, // , #82
   1681     0xB41C, // , #189
   1682     0xB420, // , #408
   1683     0xB429, // , #332
   1684     0xB450, // , #199
   1685     0xB4A4, // , #496
   1686     0xB4DC, // , #40
   1687     0xB4E0, // , #283
   1688     0xB4E4, // , #54
   1689     0xB4EF, // , #478
   1690     0xB4F1, // , #90
   1691     0xB514, // , #133
   1692     0xB529, // , #462
   1693     0xB530, // , #333
   1694     0xB54C, // , #240
   1695     0xB610, // , #313
   1696     0xB77C, // , #42
   1697     0xB77D, // , #355
   1698     0xB780, // , #290
   1699     0xB78C, // , #246
   1700     0xB78D, // , #420
   1701     0xB791, // , #270
   1702     0xB798, // , #174
   1703     0xB799, // , #381
   1704     0xB79C, // , #357
   1705     0xB7A8, // , #359
   1706     0xB7A9, // , #402
   1707     0xB7C9, // , #346
   1708     0xB7EC, // , #130
   1709     0xB7F0, // , #312
   1710     0xB7FC, // , #327
   1711     0xB7FD, // , #447
   1712     0xB807, // , #412
   1713     0xB808, // , #114
   1714     0xB80C, // , #395
   1715     0xB824, // , #158
   1716     0xB825, // , #194
   1717     0xB828, // , #326
   1718     0xB839, // , #389
   1719     0xB85C, // , #4
   1720     0xB85D, // , #84
   1721     0xB860, // , #366
   1722     0xB8CC, // , #154
   1723     0xB8E8, // , #236
   1724     0xB958, // , #265
   1725     0xB974, // , #212
   1726     0xB978, // , #250
   1727     0xB97C, // , #35
   1728     0xB984, // , #276
   1729     0xB9AC, // , #19
   1730     0xB9AD, // , #394
   1731     0xB9B0, // , #259
   1732     0xB9B4, // , #485
   1733     0xB9BC, // , #305
   1734     0xB9BD, // , #217
   1735     0xB9C1, // , #351
   1736     0xB9C8, // , #67
   1737     0xB9C9, // , #310
   1738     0xB9CC, // , #65
   1739     0xB9CE, // , #257
   1740     0xB9D0, // , #188
   1741     0xB9DB, // , #397
   1742     0xB9DD, // , #370
   1743     0xB9DE, // , #399
   1744     0xB9E4, // , #125
   1745     0xB9E8, // , #422
   1746     0xBA38, // , #311
   1747     0xBA39, // , #377
   1748     0xBA3C, // , #469
   1749     0xBA54, // , #147
   1750     0xBA70, // , #191
   1751     0xBA74, // , #72
   1752     0xBA85, // , #131
   1753     0xBAA8, // , #73
   1754     0xBAA9, // , #157
   1755     0xBAB0, // , #401
   1756     0xBAB8, // , #437
   1757     0xBABB, // , #336
   1758     0xBB34, // , #80
   1759     0xBB38, // , #57
   1760     0xBB3C, // , #94
   1761     0xBBA4, // , #431
   1762     0xBBF8, // , #76
   1763     0xBBFC, // , #200
   1764     0xBC00, // , #308
   1765     0xBC0F, // , #249
   1766     0xBC14, // , #89
   1767     0xBC15, // , #226
   1768     0xBC18, // , #175
   1769     0xBC1B, // , #248
   1770     0xBC1C, // , #164
   1771     0xBC29, // , #92
   1772     0xBC30, // , #162
   1773     0xBC31, // , #256
   1774     0xBC84, // , #111
   1775     0xBC88, // , #167
   1776     0xBC8C, // , #423
   1777     0xBC94, // , #427
   1778     0xBC95, // , #207
   1779     0xBCA0, // , #281
   1780     0xBCA4, // , #378
   1781     0xBCA8, // , #387
   1782     0xBCC0, // , #253
   1783     0xBCC4, // , #262
   1784     0xBCD1, // , #340
   1785     0xBCF4, // , #20
   1786     0xBCF5, // , #204
   1787     0xBCF8, // , #182
   1788     0xBCFC, // , #385
   1789     0xBD09, // , #405
   1790     0xBD80, // , #46
   1791     0xBD81, // , #261
   1792     0xBD84, // , #105
   1793     0xBD88, // , #225
   1794     0xBDF0, // , #350
   1795     0xBE0C, // , #214
   1796     0xBE14, // , #99
   1797     0xBE44, // , #55
   1798     0xBE4C, // , #510
   1799     0xBE60, // , #398
   1800     0xC0AC, // , #14
   1801     0xC0AD, // , #342
   1802     0xC0B0, // , #121
   1803     0xC0B4, // , #279
   1804     0xC0BC, // , #348
   1805     0xC0C1, // , #41
   1806     0xC0C8, // , #282
   1807     0xC0C9, // , #181
   1808     0xC0DD, // , #109
   1809     0xC11C, // , #21
   1810     0xC11D, // , #234
   1811     0xC120, // , #107
   1812     0xC124, // , #170
   1813     0xC131, // , #50
   1814     0xC138, // , #60
   1815     0xC139, // , #456
   1816     0xC13C, // , #267
   1817     0xC154, // , #455
   1818     0xC158, // , #237
   1819     0xC15C, // , #448
   1820     0xC168, // , #421
   1821     0xC18C, // , #51
   1822     0xC18D, // , #219
   1823     0xC190, // , #323
   1824     0xC1A1, // , #203
   1825     0xC1C4, // , #501
   1826     0xC1FC, // , #364
   1827     0xC218, // , #27
   1828     0xC219, // , #467
   1829     0xC21C, // , #258
   1830     0xC220, // , #302
   1831     0xC26C, // , #511
   1832     0xC288, // , #384
   1833     0xC2A4, // , #11
   1834     0xC2AC, // , #438
   1835     0xC2B4, // , #504
   1836     0xC2B5, // , #77
   1837     0xC2B9, // , #299
   1838     0xC2DC, // , #13
   1839     0xC2DD, // , #137
   1840     0xC2E0, // , #47
   1841     0xC2E4, // , #132
   1842     0xC2EC, // , #196
   1843     0xC2ED, // , #482
   1844     0xC2F6, // , #352
   1845     0xC2F8, // , #419
   1846     0xC4F0, // , #278
   1847     0xC528, // , #360
   1848     0xC544, // , #23
   1849     0xC545, // , #296
   1850     0xC548, // , #71
   1851     0xC54A, // , #209
   1852     0xC54C, // , #222
   1853     0xC554, // , #460
   1854     0xC558, // , #349
   1855     0xC559, // , #473
   1856     0xC55E, // , #434
   1857     0xC560, // , #271
   1858     0xC561, // , #415
   1859     0xC571, // , #477
   1860     0xC57C, // , #124
   1861     0xC57D, // , #229
   1862     0xC591, // , #177
   1863     0xC5B4, // , #24
   1864     0xC5B5, // , #407
   1865     0xC5B8, // , #294
   1866     0xC5BC, // , #356
   1867     0xC5C4, // , #426
   1868     0xC5C5, // , #118
   1869     0xC5C6, // , #178
   1870     0xC5C8, // , #165
   1871     0xC5D0, // , #9
   1872     0xC5D4, // , #375
   1873     0xC5D8, // , #506
   1874     0xC5EC, // , #66
   1875     0xC5ED, // , #186
   1876     0xC5EE, // , #488
   1877     0xC5F0, // , #96
   1878     0xC5F4, // , #266
   1879     0xC5FC, // , #449
   1880     0xC600, // , #374
   1881     0xC601, // , #83
   1882     0xC608, // , #168
   1883     0xC624, // , #75
   1884     0xC628, // , #300
   1885     0xC62C, // , #306
   1886     0xC640, // , #119
   1887     0xC644, // , #361
   1888     0xC654, // , #489
   1889     0xC655, // , #418
   1890     0xC678, // , #218
   1891     0xC694, // , #43
   1892     0xC695, // , #479
   1893     0xC6A9, // , #48
   1894     0xC6B0, // , #64
   1895     0xC6B1, // , #503
   1896     0xC6B4, // , #108
   1897     0xC6B8, // , #223
   1898     0xC6C0, // , #317
   1899     0xC6C3, // , #404
   1900     0xC6CC, // , #280
   1901     0xC6D0, // , #45
   1902     0xC6D4, // , #150
   1903     0xC6E8, // , #446
   1904     0xC6F9, // , #500
   1905     0xC704, // , #78
   1906     0xC720, // , #81
   1907     0xC721, // , #321
   1908     0xC724, // , #416
   1909     0xC73C, // , #49
   1910     0xC740, // , #31
   1911     0xC744, // , #17
   1912     0xC74C, // , #112
   1913     0xC751, // , #461
   1914     0xC758, // , #8
   1915     0xC774, // , #1
   1916     0xC775, // , #403
   1917     0xC778, // , #18
   1918     0xC77C, // , #28
   1919     0xC784, // , #160
   1920     0xC785, // , #93
   1921     0xC788, // , #44
   1922     0xC790, // , #22
   1923     0xC791, // , #88
   1924     0xC798, // , #347
   1925     0xC7A1, // , #372
   1926     0xC7A5, // , #53
   1927     0xC7AC, // , #120
   1928     0xC7C1, // , #483
   1929     0xC800, // , #98
   1930     0xC801, // , #97
   1931     0xC804, // , #34
   1932     0xC808, // , #320
   1933     0xC810, // , #201
   1934     0xC811, // , #331
   1935     0xC815, // , #26
   1936     0xC81C, // , #29
   1937     0xC838, // , #414
   1938     0xC870, // , #86
   1939     0xC871, // , #373
   1940     0xC874, // , #432
   1941     0xC880, // , #470
   1942     0xC885, // , #208
   1943     0xC88B, // , #239
   1944     0xC8E0, // , #451
   1945     0xC8FC, // , #38
   1946     0xC8FD, // , #471
   1947     0xC900, // , #286
   1948     0xC904, // , #392
   1949     0xC911, // , #103
   1950     0xC988, // , #255
   1951     0xC98C, // , #507
   1952     0xC990, // , #371
   1953     0xC99D, // , #260
   1954     0xC9C0, // , #10
   1955     0xC9C1, // , #216
   1956     0xC9C4, // , #79
   1957     0xC9C8, // , #238
   1958     0xC9D1, // , #206
   1959     0xC9DC, // , #411
   1960     0xC9F8, // , #494
   1961     0xCABD, // , #435
   1962     0xCC28, // , #146
   1963     0xCC29, // , #443
   1964     0xCC2C, // , #481
   1965     0xCC30, // , #440
   1966     0xCC38, // , #343
   1967     0xCC3D, // , #304
   1968     0xCC3E, // , #335
   1969     0xCC44, // , #284
   1970     0xCC45, // , #298
   1971     0xCC98, // , #242
   1972     0xCC9C, // , #143
   1973     0xCCA0, // , #380
   1974     0xCCA8, // , #452
   1975     0xCCAB, // , #484
   1976     0xCCAD, // , #197
   1977     0xCCB4, // , #126
   1978     0xCCD0, // , #472
   1979     0xCD08, // , #220
   1980     0xCD1D, // , #406
   1981     0xCD5C, // , #179
   1982     0xCD94, // , #136
   1983     0xCD95, // , #337
   1984     0xCD9C, // , #166
   1985     0xCDA9, // , #369
   1986     0xCDE8, // , #210
   1987     0xCE20, // , #215
   1988     0xCE21, // , #468
   1989     0xCE35, // , #512
   1990     0xCE58, // , #102
   1991     0xCE5C, // , #325
   1992     0xCE68, // , #263
   1993     0xCE74, // , #115
   1994     0xCE7C, // , #466
   1995     0xCE90, // , #454
   1996     0xCEE4, // , #285
   1997     0xCEE8, // , #328
   1998     0xCEF4, // , #417
   1999     0xCF00, // , #339
   2000     0xCF13, // , #509
   2001     0xCF1C, // , #508
   2002     0xCF54, // , #193
   2003     0xCF58, // , #391
   2004     0xCFE0, // , #393
   2005     0xD035, // , #453
   2006     0xD06C, // , #101
   2007     0xD070, // , #495
   2008     0xD074, // , #289
   2009     0xD0A4, // , #230
   2010     0xD0C0, // , #127
   2011     0xD0C1, // , #314
   2012     0xD0C4, // , #450
   2013     0xD0C8, // , #436
   2014     0xD0DC, // , #221
   2015     0xD0DD, // , #275
   2016     0xD130, // , #70
   2017     0xD14C, // , #213
   2018     0xD150, // , #324
   2019     0xD154, // , #430
   2020     0xD15C, // , #382
   2021     0xD1A0, // , #145
   2022     0xD1B5, // , #156
   2023     0xD22C, // , #227
   2024     0xD2B8, // , #37
   2025     0xD2B9, // , #247
   2026     0xD2F0, // , #187
   2027     0xD305, // , #410
   2028     0xD30C, // , #141
   2029     0xD310, // , #163
   2030     0xD314, // , #499
   2031     0xD328, // , #307
   2032     0xD32C, // , #459
   2033     0xD338, // , #433
   2034     0xD37C, // , #344
   2035     0xD398, // , #172
   2036     0xD3B8, // , #251
   2037     0xD3C9, // , #291
   2038     0xD3EC, // , #68
   2039     0xD3ED, // , #445
   2040     0xD3F0, // , #318
   2041     0xD45C, // , #232
   2042     0xD480, // , #497
   2043     0xD488, // , #113
   2044     0xD48D, // , #425
   2045     0xD504, // , #110
   2046     0xD508, // , #498
   2047     0xD50C, // , #211
   2048     0xD53C, // , #169
   2049     0xD544, // , #295
   2050     0xD551, // , #376
   2051     0xD558, // , #7
   2052     0xD559, // , #129
   2053     0xD55C, // , #15
   2054     0xD560, // , #144
   2055     0xD568, // , #152
   2056     0xD569, // , #123
   2057     0xD56D, // , #268
   2058     0xD574, // , #32
   2059     0xD588, // , #180
   2060     0xD589, // , #135
   2061     0xD5A5, // , #345
   2062     0xD5C8, // , #396
   2063     0xD5D8, // , #316
   2064     0xD5E4, // , #474
   2065     0xD604, // , #185
   2066     0xD611, // , #315
   2067     0xD615, // , #244
   2068     0xD61C, // , #428
   2069     0xD638, // , #117
   2070     0xD63C, // , #358
   2071     0xD648, // , #330
   2072     0xD64D, // , #363
   2073     0xD654, // , #63
   2074     0xD655, // , #183
   2075     0xD658, // , #224
   2076     0xD65C, // , #277
   2077     0xD669, // , #353
   2078     0xD68C, // , #74
   2079     0xD68D, // , #458
   2080     0xD69F, // , #409
   2081     0xD6A8, // , #400
   2082     0xD6C4, // , #176
   2083     0xD6C8, // , #486
   2084     0xD734, // , #365
   2085     0xD754, // , #480
   2086     0xD76C, // , #334
   2087     0xD788, // , #228
   2088     0xD798, // , #502
   2089 };
   2090 // the percentage of the sample covered by the above characters
   2091 static const float frequent_ko_coverage=0.948157021464184;
   2092 
   2093