Add tokens.txt

tokens.txt

@@ -0,0 +1,127 @@
+<blk> 0
+<sos/eos> 1
+<unk> 2
+▁ 3
+a 4
+b 5
+c 6
+d 7
+e 8
+f 9
+g 10
+h 11
+i 12
+j 13
+k 14
+l 15
+m 16
+n 17
+o 18
+p 19
+q 20
+r 21
+s 22
+t 23
+u 24
+v 25
+w 26
+x 27
+y 28
+z 29
+æ 30
+ç 31
+ð 32
+ø 33
+ħ 34
+ŋ 35
+œ 36
+ǀ 37
+ǁ 38
+ǂ 39
+ǃ 40
+ɐ 41
+ɑ 42
+ɒ 43
+ɓ 44
+ɔ 45
+ɕ 46
+ɖ 47
+ɗ 48
+ɘ 49
+ə 50
+ɛ 51
+ɜ 52
+ɞ 53
+ɟ 54
+ɠ 55
+ɢ 56
+ɣ 57
+ɤ 58
+ɥ 59
+ɦ 60
+ɧ 61
+ɨ 62
+ɪ 63
+ɬ 64
+ɭ 65
+ɮ 66
+ɯ 67
+ɰ 68
+ɱ 69
+ɲ 70
+ɳ 71
+ɴ 72
+ɵ 73
+ɶ 74
+ɸ 75
+ɹ 76
+ɺ 77
+ɻ 78
+ɽ 79
+ɾ 80
+ʀ 81
+ʁ 82
+ʂ 83
+ʃ 84
+ʄ 85
+ʈ 86
+ʉ 87
+ʊ 88
+ʋ 89
+ʌ 90
+ʍ 91
+ʎ 92
+ʏ 93
+ʐ 94
+ʑ 95
+ʒ 96
+ʔ 97
+ʕ 98
+ʘ 99
+ʙ 100
+ʛ 101
+ʜ 102
+ʝ 103
+ʟ 104
+ʡ 105
+ʢ 106
+ʰ 107
+ʲ 108
+ʷ 109
+ʼ 110
+ː 111
+˞ 112
+ˠ 113
+ˤ 114
+̃ 115
+̚ 116
+̥ 117
+̩ 118
+̪ 119
+̴ 120
+̺ 121
+β 122
+θ 123
+χ 124
+ᶑ 125
+ⱱ 126