| { | |
| "version": "1.0", | |
| "model": { | |
| "type": "ByteLevel", | |
| "vocab": { | |
| "<byte_00>": 0, | |
| "<byte_01>": 1, | |
| "<byte_02>": 2, | |
| "<byte_03>": 3, | |
| "<byte_04>": 4, | |
| "<byte_05>": 5, | |
| "<byte_06>": 6, | |
| "<byte_07>": 7, | |
| "<byte_08>": 8, | |
| "<byte_09>": 9, | |
| "<byte_0a>": 10, | |
| "<byte_0b>": 11, | |
| "<byte_0c>": 12, | |
| "<byte_0d>": 13, | |
| "<byte_0e>": 14, | |
| "<byte_0f>": 15, | |
| "<byte_10>": 16, | |
| "<byte_11>": 17, | |
| "<byte_12>": 18, | |
| "<byte_13>": 19, | |
| "<byte_14>": 20, | |
| "<byte_15>": 21, | |
| "<byte_16>": 22, | |
| "<byte_17>": 23, | |
| "<byte_18>": 24, | |
| "<byte_19>": 25, | |
| "<byte_1a>": 26, | |
| "<byte_1b>": 27, | |
| "<byte_1c>": 28, | |
| "<byte_1d>": 29, | |
| "<byte_1e>": 30, | |
| "<byte_1f>": 31, | |
| "<byte_20>": 32, | |
| "<byte_21>": 33, | |
| "<byte_22>": 34, | |
| "<byte_23>": 35, | |
| "<byte_24>": 36, | |
| "<byte_25>": 37, | |
| "<byte_26>": 38, | |
| "<byte_27>": 39, | |
| "<byte_28>": 40, | |
| "<byte_29>": 41, | |
| "<byte_2a>": 42, | |
| "<byte_2b>": 43, | |
| "<byte_2c>": 44, | |
| "<byte_2d>": 45, | |
| "<byte_2e>": 46, | |
| "<byte_2f>": 47, | |
| "<byte_30>": 48, | |
| "<byte_31>": 49, | |
| "<byte_32>": 50, | |
| "<byte_33>": 51, | |
| "<byte_34>": 52, | |
| "<byte_35>": 53, | |
| "<byte_36>": 54, | |
| "<byte_37>": 55, | |
| "<byte_38>": 56, | |
| "<byte_39>": 57, | |
| "<byte_3a>": 58, | |
| "<byte_3b>": 59, | |
| "<byte_3c>": 60, | |
| "<byte_3d>": 61, | |
| "<byte_3e>": 62, | |
| "<byte_3f>": 63, | |
| "<byte_40>": 64, | |
| "<byte_41>": 65, | |
| "<byte_42>": 66, | |
| "<byte_43>": 67, | |
| "<byte_44>": 68, | |
| "<byte_45>": 69, | |
| "<byte_46>": 70, | |
| "<byte_47>": 71, | |
| "<byte_48>": 72, | |
| "<byte_49>": 73, | |
| "<byte_4a>": 74, | |
| "<byte_4b>": 75, | |
| "<byte_4c>": 76, | |
| "<byte_4d>": 77, | |
| "<byte_4e>": 78, | |
| "<byte_4f>": 79, | |
| "<byte_50>": 80, | |
| "<byte_51>": 81, | |
| "<byte_52>": 82, | |
| "<byte_53>": 83, | |
| "<byte_54>": 84, | |
| "<byte_55>": 85, | |
| "<byte_56>": 86, | |
| "<byte_57>": 87, | |
| "<byte_58>": 88, | |
| "<byte_59>": 89, | |
| "<byte_5a>": 90, | |
| "<byte_5b>": 91, | |
| "<byte_5c>": 92, | |
| "<byte_5d>": 93, | |
| "<byte_5e>": 94, | |
| "<byte_5f>": 95, | |
| "<byte_60>": 96, | |
| "<byte_61>": 97, | |
| "<byte_62>": 98, | |
| "<byte_63>": 99, | |
| "<byte_64>": 100, | |
| "<byte_65>": 101, | |
| "<byte_66>": 102, | |
| "<byte_67>": 103, | |
| "<byte_68>": 104, | |
| "<byte_69>": 105, | |
| "<byte_6a>": 106, | |
| "<byte_6b>": 107, | |
| "<byte_6c>": 108, | |
| "<byte_6d>": 109, | |
| "<byte_6e>": 110, | |
| "<byte_6f>": 111, | |
| "<byte_70>": 112, | |
| "<byte_71>": 113, | |
| "<byte_72>": 114, | |
| "<byte_73>": 115, | |
| "<byte_74>": 116, | |
| "<byte_75>": 117, | |
| "<byte_76>": 118, | |
| "<byte_77>": 119, | |
| "<byte_78>": 120, | |
| "<byte_79>": 121, | |
| "<byte_7a>": 122, | |
| "<byte_7b>": 123, | |
| "<byte_7c>": 124, | |
| "<byte_7d>": 125, | |
| "<byte_7e>": 126, | |
| "<byte_7f>": 127, | |
| "<byte_80>": 128, | |
| "<byte_81>": 129, | |
| "<byte_82>": 130, | |
| "<byte_83>": 131, | |
| "<byte_84>": 132, | |
| "<byte_85>": 133, | |
| "<byte_86>": 134, | |
| "<byte_87>": 135, | |
| "<byte_88>": 136, | |
| "<byte_89>": 137, | |
| "<byte_8a>": 138, | |
| "<byte_8b>": 139, | |
| "<byte_8c>": 140, | |
| "<byte_8d>": 141, | |
| "<byte_8e>": 142, | |
| "<byte_8f>": 143, | |
| "<byte_90>": 144, | |
| "<byte_91>": 145, | |
| "<byte_92>": 146, | |
| "<byte_93>": 147, | |
| "<byte_94>": 148, | |
| "<byte_95>": 149, | |
| "<byte_96>": 150, | |
| "<byte_97>": 151, | |
| "<byte_98>": 152, | |
| "<byte_99>": 153, | |
| "<byte_9a>": 154, | |
| "<byte_9b>": 155, | |
| "<byte_9c>": 156, | |
| "<byte_9d>": 157, | |
| "<byte_9e>": 158, | |
| "<byte_9f>": 159, | |
| "<byte_a0>": 160, | |
| "<byte_a1>": 161, | |
| "<byte_a2>": 162, | |
| "<byte_a3>": 163, | |
| "<byte_a4>": 164, | |
| "<byte_a5>": 165, | |
| "<byte_a6>": 166, | |
| "<byte_a7>": 167, | |
| "<byte_a8>": 168, | |
| "<byte_a9>": 169, | |
| "<byte_aa>": 170, | |
| "<byte_ab>": 171, | |
| "<byte_ac>": 172, | |
| "<byte_ad>": 173, | |
| "<byte_ae>": 174, | |
| "<byte_af>": 175, | |
| "<byte_b0>": 176, | |
| "<byte_b1>": 177, | |
| "<byte_b2>": 178, | |
| "<byte_b3>": 179, | |
| "<byte_b4>": 180, | |
| "<byte_b5>": 181, | |
| "<byte_b6>": 182, | |
| "<byte_b7>": 183, | |
| "<byte_b8>": 184, | |
| "<byte_b9>": 185, | |
| "<byte_ba>": 186, | |
| "<byte_bb>": 187, | |
| "<byte_bc>": 188, | |
| "<byte_bd>": 189, | |
| "<byte_be>": 190, | |
| "<byte_bf>": 191, | |
| "<byte_c0>": 192, | |
| "<byte_c1>": 193, | |
| "<byte_c2>": 194, | |
| "<byte_c3>": 195, | |
| "<byte_c4>": 196, | |
| "<byte_c5>": 197, | |
| "<byte_c6>": 198, | |
| "<byte_c7>": 199, | |
| "<byte_c8>": 200, | |
| "<byte_c9>": 201, | |
| "<byte_ca>": 202, | |
| "<byte_cb>": 203, | |
| "<byte_cc>": 204, | |
| "<byte_cd>": 205, | |
| "<byte_ce>": 206, | |
| "<byte_cf>": 207, | |
| "<byte_d0>": 208, | |
| "<byte_d1>": 209, | |
| "<byte_d2>": 210, | |
| "<byte_d3>": 211, | |
| "<byte_d4>": 212, | |
| "<byte_d5>": 213, | |
| "<byte_d6>": 214, | |
| "<byte_d7>": 215, | |
| "<byte_d8>": 216, | |
| "<byte_d9>": 217, | |
| "<byte_da>": 218, | |
| "<byte_db>": 219, | |
| "<byte_dc>": 220, | |
| "<byte_dd>": 221, | |
| "<byte_de>": 222, | |
| "<byte_df>": 223, | |
| "<byte_e0>": 224, | |
| "<byte_e1>": 225, | |
| "<byte_e2>": 226, | |
| "<byte_e3>": 227, | |
| "<byte_e4>": 228, | |
| "<byte_e5>": 229, | |
| "<byte_e6>": 230, | |
| "<byte_e7>": 231, | |
| "<byte_e8>": 232, | |
| "<byte_e9>": 233, | |
| "<byte_ea>": 234, | |
| "<byte_eb>": 235, | |
| "<byte_ec>": 236, | |
| "<byte_ed>": 237, | |
| "<byte_ee>": 238, | |
| "<byte_ef>": 239, | |
| "<byte_f0>": 240, | |
| "<byte_f1>": 241, | |
| "<byte_f2>": 242, | |
| "<byte_f3>": 243, | |
| "<byte_f4>": 244, | |
| "<byte_f5>": 245, | |
| "<byte_f6>": 246, | |
| "<byte_f7>": 247, | |
| "<byte_f8>": 248, | |
| "<byte_f9>": 249, | |
| "<byte_fa>": 250, | |
| "<byte_fb>": 251, | |
| "<byte_fc>": 252, | |
| "<byte_fd>": 253, | |
| "<byte_fe>": 254, | |
| "<byte_ff>": 255, | |
| "<program_start>": 256, | |
| "<program_end>": 257, | |
| "<branch_taken>": 258, | |
| "<halt>": 259 | |
| } | |
| }, | |
| "added_tokens": [ | |
| { | |
| "id": 256, | |
| "content": "<program_start>", | |
| "special": true | |
| }, | |
| { | |
| "id": 257, | |
| "content": "<program_end>", | |
| "special": true | |
| }, | |
| { | |
| "id": 258, | |
| "content": "<branch_taken>", | |
| "special": true | |
| }, | |
| { | |
| "id": 259, | |
| "content": "<halt>", | |
| "special": true | |
| } | |
| ] | |
| } |