charsiu commited on
Commit
9f4502e
·
verified ·
1 Parent(s): f55b41d

Add tokens.txt

Browse files
Files changed (1) hide show
  1. tokens.txt +127 -0
tokens.txt ADDED
@@ -0,0 +1,127 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <blk> 0
2
+ <sos/eos> 1
3
+ <unk> 2
4
+ ▁ 3
5
+ a 4
6
+ b 5
7
+ c 6
8
+ d 7
9
+ e 8
10
+ f 9
11
+ g 10
12
+ h 11
13
+ i 12
14
+ j 13
15
+ k 14
16
+ l 15
17
+ m 16
18
+ n 17
19
+ o 18
20
+ p 19
21
+ q 20
22
+ r 21
23
+ s 22
24
+ t 23
25
+ u 24
26
+ v 25
27
+ w 26
28
+ x 27
29
+ y 28
30
+ z 29
31
+ æ 30
32
+ ç 31
33
+ ð 32
34
+ ø 33
35
+ ħ 34
36
+ ŋ 35
37
+ œ 36
38
+ ǀ 37
39
+ ǁ 38
40
+ ǂ 39
41
+ ǃ 40
42
+ ɐ 41
43
+ ɑ 42
44
+ ɒ 43
45
+ ɓ 44
46
+ ɔ 45
47
+ ɕ 46
48
+ ɖ 47
49
+ ɗ 48
50
+ ɘ 49
51
+ ə 50
52
+ ɛ 51
53
+ ɜ 52
54
+ ɞ 53
55
+ ɟ 54
56
+ ɠ 55
57
+ ɢ 56
58
+ ɣ 57
59
+ ɤ 58
60
+ ɥ 59
61
+ ɦ 60
62
+ ɧ 61
63
+ ɨ 62
64
+ ɪ 63
65
+ ɬ 64
66
+ ɭ 65
67
+ ɮ 66
68
+ ɯ 67
69
+ ɰ 68
70
+ ɱ 69
71
+ ɲ 70
72
+ ɳ 71
73
+ ɴ 72
74
+ ɵ 73
75
+ ɶ 74
76
+ ɸ 75
77
+ ɹ 76
78
+ ɺ 77
79
+ ɻ 78
80
+ ɽ 79
81
+ ɾ 80
82
+ ʀ 81
83
+ ʁ 82
84
+ ʂ 83
85
+ ʃ 84
86
+ ʄ 85
87
+ ʈ 86
88
+ ʉ 87
89
+ ʊ 88
90
+ ʋ 89
91
+ ʌ 90
92
+ ʍ 91
93
+ ʎ 92
94
+ ʏ 93
95
+ ʐ 94
96
+ ʑ 95
97
+ ʒ 96
98
+ ʔ 97
99
+ ʕ 98
100
+ ʘ 99
101
+ ʙ 100
102
+ ʛ 101
103
+ ʜ 102
104
+ ʝ 103
105
+ ʟ 104
106
+ ʡ 105
107
+ ʢ 106
108
+ ʰ 107
109
+ ʲ 108
110
+ ʷ 109
111
+ ʼ 110
112
+ ː 111
113
+ ˞ 112
114
+ ˠ 113
115
+ ˤ 114
116
+ ̃ 115
117
+ ̚ 116
118
+ ̥ 117
119
+ ̩ 118
120
+ ̪ 119
121
+ ̴ 120
122
+ ̺ 121
123
+ β 122
124
+ θ 123
125
+ χ 124
126
+ ᶑ 125
127
+ ⱱ 126