| (torch2.7) cccxc584[/dccstor/saon1/open_asr_leaderboard/granite]$ ./run_speculative_bpe.sh |
| /dccstor/saon1/torch2.7/lib64/python3.9/site-packages/networkx/utils/backends.py:135: RuntimeWarning: networkx backend defined more than once: nx-loopback |
| backends.update(_get_backends("networkx.backends")) |
| `torch_dtype` is deprecated! Use `dtype` instead! |
| Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:04<00:00, 1.61s/it] |
| Processing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1842/1842 [02:32<00:00, 12.11 examples/s] |
| Samples: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1842/1842 [00:00<00:00, 15900.99it/s] |
| Results saved at: /dccstor/saon1/open_asr_leaderboard/granite/results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_voxpopuli_test.jsonl |
| ibm-granite/granite-speech-4.1-2b - WER: 5.7%, RTFx: 153.24 |
| /dccstor/saon1/torch2.7/lib64/python3.9/site-packages/networkx/utils/backends.py:135: RuntimeWarning: networkx backend defined more than once: nx-loopback |
| backends.update(_get_backends("networkx.backends")) |
| `torch_dtype` is deprecated! Use `dtype` instead! |
| Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:04<00:00, 1.61s/it] |
| Processing: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11653/11653 [03:02<00:00, 63.96 examples/s] |
| Samples: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11653/11653 [00:01<00:00, 10828.90it/s] |
| Results saved at: /dccstor/saon1/open_asr_leaderboard/granite/results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_ami_test.jsonl |
| ibm-granite/granite-speech-4.1-2b - WER: 8.09%, RTFx: 228.24 |
| /dccstor/saon1/torch2.7/lib64/python3.9/site-packages/networkx/utils/backends.py:135: RuntimeWarning: networkx backend defined more than once: nx-loopback |
| backends.update(_get_backends("networkx.backends")) |
| `torch_dtype` is deprecated! Use `dtype` instead! |
| Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:04<00:00, 1.60s/it] |
| Processing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2737/2737 [02:39<00:00, 17.15 examples/s] |
| Samples: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2737/2737 [00:00<00:00, 15675.33it/s] |
| Results saved at: /dccstor/saon1/open_asr_leaderboard/granite/results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_earnings22_test.jsonl |
| ibm-granite/granite-speech-4.1-2b - WER: 8.37%, RTFx: 166.76 |
| /dccstor/saon1/torch2.7/lib64/python3.9/site-packages/networkx/utils/backends.py:135: RuntimeWarning: networkx backend defined more than once: nx-loopback |
| backends.update(_get_backends("networkx.backends")) |
| `torch_dtype` is deprecated! Use `dtype` instead! |
| Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:06<00:00, 2.20s/it] |
| Resolving data files: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 19/19 [00:00<00:00, 249817.48it/s] |
| Processing: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 19898/19898 [08:50<00:00, 37.50 examples/s] |
| Samples: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 19898/19898 [00:01<00:00, 13058.22it/s] |
| Results saved at: /dccstor/saon1/open_asr_leaderboard/granite/results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_gigaspeech_test.jsonl |
| ibm-granite/granite-speech-4.1-2b - WER: 9.8%, RTFx: 278.09 |
| /dccstor/saon1/torch2.7/lib64/python3.9/site-packages/networkx/utils/backends.py:135: RuntimeWarning: networkx backend defined more than once: nx-loopback |
| backends.update(_get_backends("networkx.backends")) |
| `torch_dtype` is deprecated! Use `dtype` instead! |
| Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:05<00:00, 1.71s/it] |
| Processing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2620/2620 [01:43<00:00, 25.28 examples/s] |
| Samples: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2620/2620 [00:00<00:00, 15887.22it/s] |
| Results saved at: /dccstor/saon1/open_asr_leaderboard/granite/results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_librispeech_test.clean.jsonl |
| ibm-granite/granite-speech-4.1-2b - WER: 1.33%, RTFx: 291.5 |
| /dccstor/saon1/torch2.7/lib64/python3.9/site-packages/networkx/utils/backends.py:135: RuntimeWarning: networkx backend defined more than once: nx-loopback |
| backends.update(_get_backends("networkx.backends")) |
| `torch_dtype` is deprecated! Use `dtype` instead! |
| Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:05<00:00, 1.72s/it] |
| Processing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2939/2939 [01:51<00:00, 26.25 examples/s] |
| Samples: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2939/2939 [00:00<00:00, 16532.05it/s] |
| Results saved at: /dccstor/saon1/open_asr_leaderboard/granite/results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_librispeech_test.other.jsonl |
| ibm-granite/granite-speech-4.1-2b - WER: 2.5%, RTFx: 254.47 |
| /dccstor/saon1/torch2.7/lib64/python3.9/site-packages/networkx/utils/backends.py:135: RuntimeWarning: networkx backend defined more than once: nx-loopback |
| backends.update(_get_backends("networkx.backends")) |
| `torch_dtype` is deprecated! Use `dtype` instead! |
| Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:05<00:00, 1.73s/it] |
| Resolving data files: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 38/38 [00:00<00:00, 398458.88it/s] |
| Loading dataset shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 23/23 [00:03<00:00, 7.09it/s] |
| Processing: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 39341/39341 [23:03<00:00, 28.44 examples/s] |
| Samples: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 39341/39341 [00:02<00:00, 14595.15it/s] |
| Results saved at: /dccstor/saon1/open_asr_leaderboard/granite/results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_spgispeech_test.jsonl |
| ibm-granite/granite-speech-4.1-2b - WER: 3.78%, RTFx: 291.15 |
| /dccstor/saon1/torch2.7/lib64/python3.9/site-packages/networkx/utils/backends.py:135: RuntimeWarning: networkx backend defined more than once: nx-loopback |
| backends.update(_get_backends("networkx.backends")) |
| `torch_dtype` is deprecated! Use `dtype` instead! |
| Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:04<00:00, 1.62s/it] |
| Processing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1155/1155 [01:22<00:00, 13.96 examples/s] |
| Samples: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1155/1155 [00:00<00:00, 16153.24it/s] |
| Results saved at: /dccstor/saon1/open_asr_leaderboard/granite/results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_tedlium_test.jsonl |
| ibm-granite/granite-speech-4.1-2b - WER: 3.07%, RTFx: 193.34 |
| /dccstor/saon1/torch2.7/lib64/python3.9/site-packages/networkx/utils/backends.py:135: RuntimeWarning: networkx backend defined more than once: nx-loopback |
| backends.update(_get_backends("networkx.backends")) |
| Filtering models by id: ibm-granite/granite-speech-4.1-2b |
| ******************************************************************************** |
| Results per dataset: |
| ******************************************************************************** |
| ibm/granite-granite-speech-4.1-2b | hf-audio-esb-datasets-test-only-sorted_ami_test: WER = 8.09 %, RTFx = 228.24 |
| ibm/granite-granite-speech-4.1-2b | hf-audio-esb-datasets-test-only-sorted_earnings22_test: WER = 8.37 %, RTFx = 166.76 |
| ibm/granite-granite-speech-4.1-2b | hf-audio-esb-datasets-test-only-sorted_gigaspeech_test: WER = 9.80 %, RTFx = 278.09 |
| ibm/granite-granite-speech-4.1-2b | hf-audio-esb-datasets-test-only-sorted_librispeech_test.clea: WER = 1.33 %, RTFx = 291.50 |
| ibm/granite-granite-speech-4.1-2b | hf-audio-esb-datasets-test-only-sorted_librispeech_test.other: WER = 2.50 %, RTFx = 254.47 |
| ibm/granite-granite-speech-4.1-2b | hf-audio-esb-datasets-test-only-sorted_spgispeech_test: WER = 3.78 %, RTFx = 291.15 |
| ibm/granite-granite-speech-4.1-2b | hf-audio-esb-datasets-test-only-sorted_tedlium_test: WER = 3.07 %, RTFx = 193.34 |
| ibm/granite-granite-speech-4.1-2b | hf-audio-esb-datasets-test-only-sorted_voxpopuli_test: WER = 5.70 %, RTFx = 153.24 |
|
|
| ******************************************************************************** |
| Composite Results: |
| ******************************************************************************** |
| ibm/granite-granite-speech-4.1-2b: WER = 5.33 % |
| ibm/granite-granite-speech-4.1-2b: RTFx = 267.84 |
| ******************************************************************************** |
|
|
