import os
import sys
import numpy as np

part_1 = [
    '#!/bin/bash -l\n',
    '#SBATCH -p datasci3,datasci4,datasci\n',
    # '#SBATCH -x node429,node430,node412\n',
    '#SBATCH --job-name=cifar10_01\n',
    '#SBATCH --gres=gpu:1\n',
    '#SBATCH --mem=16G\n',
    '#SBATCH --cpus-per-task=4\n',
    'cd ..\n',

]

part_2 = [
    'gpu=0\n',
    'cpus=4\n',
    '\n',
]

if not os.path.exists('temp_sh'):
    os.makedirs('temp_sh')
files = []

# version = ['toy2rs100', 'toy2rs100fc2', 'toy2rs100fc3', 'toy2rs100fc3srs',
#            'toy2rs20', 'toy2rs400', 'toy2rs20fc2', 'toy2rs20fc3',
#            'toy2rs400fc2', 'toy2rs400fc3']
# version = ['toy3grrr100', 'toy3gsrr100scale', 'toy3gssr100scale', 'toy3gsss100scale', 'toy3gssss100scale']
version = ['mlp01scale']
# version = ['mlpcs20scale']
# , 'toy4ssr100b','toy2s4ssr100', 'toy2s8ssr100', 'toy3s4ssr100', 'toy3s8ssr100']
seeds = np.arange(8)
# nrows = [256, 512, 768, 1024]
nrows = [5000]
# acts = ['sign', 'sigmoid', 'relu']
acts = ['sign']
nbs = [0]
dms = [0]
upc = [1]
upf = [1]
ucf = [32]
norms = [1]
# lr_convs = [0.1]
# lr_fcs = [0.2]
lr_convs = [0.1]
lr_fcs = [0.17]
inits = ['normal']
losses = ['01loss']
# class_pairs = [(0, 1), (2, 3), (4, 5), (6, 7), (8, 9)]
variables = []
for i in acts:
    for j in nbs:
        for k in dms:
            for o in upc:
                for p in upf:
                    for q in version:
                        for r in nrows:
                            for s in ucf:
                                for lc in lr_convs:
                                    for lf in lr_fcs:
                                        for m in seeds:
                                            for init in inits:
                                                for loss in losses:
                                                    for norm in norms:
                                                        # for cp in class_pairs:
                                                            # if not os.path.exists(os.path.join('../checkpoints/pt', f'cifar10_{q}test_{i}_i1_mce_b{r}nb{j}_nw0_dm{k}_upc{o}_upf{p}_ucf{s}_fp32_{m}.pt')):
                                                            variables.append((
                                                                             i, j, k, m, o, p, q, r,
                                                                             s, lc, lf, init, loss,
                                                                             norm))

for i, params in enumerate(variables):
    # for i, (seed, target_class) in enumerate(variables):
    # for i, (votes, index) in enumerate(variables):
    # for i, (version, scale) in enumerate(variables):

    part_3 = [

        f'python train_bp.py --aug 1 --n_classes 10 --no_bias 1 --seed {params[3]} --version {"toy4rrr100"} --epoch 200 '
        f'--target stl10_toy4rrr100_bp_{params[3]} --save --batch-size 128 --dataset stl10\n'

        f'python train_bp.py --aug 1 --n_classes 10 --no_bias 1 --seed {params[3]} --version {"toy4srr100scale"} --epoch 200 '
        f'--target stl10_toy4srr100scale_ban_{params[3]} --save --batch-size 128 --dataset stl10\n'

        f'python train_bp.py --aug 1 --n_classes 10 --no_bias 1 --seed {params[3]} --version {"toy4ssr100scale"} --epoch 200 '
        f'--target stl10_toy4ssr100scale_ban_{params[3]} --save --batch-size 128 --dataset stl10\n'

        f'python train_bp.py --aug 1 --n_classes 10 --no_bias 1 --seed {params[3]} --version {"toy4sss100scale"} --epoch 200 '
        f'--target stl10_toy4sss100scale_ban_{params[3]} --save --batch-size 128 --dataset stl10\n'

        f'python train_bp.py --aug 1 --n_classes 10 --no_bias 1 --seed {params[3]} --version {"toy4ssss100scale"} --epoch 200 '
        f'--target stl10_toy4ssss100scale_ban_{params[3]} --save --batch-size 128 --dataset stl10\n'

        f'python train_cnn01_abp_ce.py --nrows {200 / 8000} --localit 1 '
        f'--updated_conv_features 32 --updated_fc_features 128 --updated_fc_nodes 1 '
        f'--updated_conv_nodes 1 --width 100 --normalize 0 '
        f'--percentile 1 --fail_count 1 --loss 01lossmc --act sign '
        f'--fc_diversity 1 --init normal --no_bias 2 --scale 1 '
        f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy4srr100scale"} --seed {params[3]} --iters 15000 '
        f'--dataset stl10 --n_classes 10 --cnn 1 --divmean 0 --batch-size 128  '
        f'--target stl10_{"toy4srr100scale"}_abp_{params[3]} '
        f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 0 '
        f'--lr 0.001 --bp_layer 5 --aug 1 --n-jobs 4 \n'
        #
        f'python train_cnn01_abp_ce.py --nrows {200 / 8000} --localit 1 '
        f'--updated_conv_features 32 --updated_fc_features 128 --updated_fc_nodes 1 '
        f'--updated_conv_nodes 1 --width 100 --normalize 0 '
        f'--percentile 1 --fail_count 1 --loss 01lossmc --act sign '
        f'--fc_diversity 1 --init normal --no_bias 2 --scale 1 '
        f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy4ssr100scale"} --seed {params[3]} --iters 15000 '
        f'--dataset stl10 --n_classes 10 --cnn 1 --divmean 0 --reinit 4 --batch-size 128  '
        f'--target stl10_{"toy4ssr100scale"}_abp_{params[3]} '
        f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 1 '
        f'--resume --source stl10_{"toy4srr100scale"}_abp_{params[3]} '
        f'--lr 0.001 --bp_layer 4  --aug 1 --n-jobs 4 \n'

        f'python train_cnn01_abp_ce.py --nrows {200 / 8000} --localit 1 '
        f'--updated_conv_features 32 --updated_fc_features 128 --updated_fc_nodes 1 '
        f'--updated_conv_nodes 1 --width 100 --normalize 0 '
        f'--percentile 1 --fail_count 1 --loss 01lossmc --act sign '
        f'--fc_diversity 1 --init normal --no_bias 2 --scale 1 '
        f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy4sss100scale"} --seed {params[3]} --iters 15000 '
        f'--dataset stl10 --n_classes 10 --cnn 1 --divmean 0 --reinit 3 --batch-size 128 '
        f'--target stl10_{"toy4sss100scale"}_abp_{params[3]} '
        f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 2 '
        f'--resume --source stl10_{"toy4ssr100scale"}_abp_{params[3]} '
        f' --lr 0.001 --bp_layer 3  --aug 1 --n-jobs 4 \n'

        f'python train_cnn01_abp_ce.py --nrows {200 / 8000} --localit 1 '
        f'--updated_conv_features 32 --updated_fc_features 128 --updated_fc_nodes 1 '
        f'--updated_conv_nodes 1 --width 100 --normalize 0 '
        f'--percentile 1 --fail_count 1 --loss 01lossmc --act sign '
        f'--fc_diversity 1 --init normal --no_bias 2 --scale 1 '
        f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy4ssss100scale"} --seed {params[3]} --iters 15000 '
        f'--dataset stl10 --n_classes 10 --cnn 1 --divmean 0  --reinit 2 --batch-size 128 '
        f'--target stl10_{"toy4ssss100scale"}_abp_{params[3]} '
        f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 3 '
        f'--resume --source stl10_{"toy4sss100scale"}_abp_{params[3]} '
        f' --lr 0.001 --bp_layer 2  --aug 1 --n-jobs 4 \n'


        # f'python train_bp.py --aug 1 --n_classes 2 --no_bias 1 --seed {params[3]} --version {params[6]} --epoch 100 '
        # f'--target cifar10_binary_{params[6]}_nb2_mce_bp_fp32_{params[3]} --save --batch-size 256 --dataset cifar10\n'

        # f'python train_bp.py --aug 1 --fp16 --n_classes 2 --no_bias 1 --seed {params[3]} --version {params[6]} --epoch 200 '
        # f'--target stl10_binary_{params[6]}_nb2_mce_bp_fp16_{params[3]} --save --batch-size 128 --dataset stl10\n'

        # f'python train_bce.py --aug 1 --n_classes 2 --no_bias 1 --seed {params[3]} --version {params[6]} --epoch 200 '
        # f'--target stl10_binary_{params[6]}_nb2_bce_bp_{params[3]} --save --batch-size 128 --dataset stl10\n'

        # f'python train_bce.py --aug 1 --n_classes 2 --no_bias 1 --seed {params[3]} --version {params[6]} --epoch 200 '
        # f'--target celeba_binary_{params[6]}_nb2_bce_bp_{params[3]} --save --batch-size 128 --dataset celeba\n'

        # f'python train_bce.py --aug 0 --n_classes 2 --no_bias 1 --seed {params[3]} --version {params[6]} --epoch 30 --n-jobs $cpus '
        # f'--target gtsrb_binary_{params[6]}_nb2_bce_bp_{params[3]} --save --batch-size 128 --dataset gtsrb_binary\n'

        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 0 --seed {params[3]} --version {params[6]} --epoch 100 '
        # f'--target celeba_binary_{params[6]}_thm_nb0_bce_bp_{params[3]} --save --batch-size 128 --dataset celeba --lr 0.001 \n'

        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 0 --seed {params[3]} --version {params[6]} --epoch 100 '
        # f'--target stl10_binary_{params[6]}_thm_nb0_bce_bp_{params[3]} --save --batch-size 128 --dataset stl10 --lr 0.001 \n'

        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 0 --seed {params[3]} --version {"mlp01scale"} --epoch 200 '
        # f'--target cifar10_binary_23_{"mlp01scale"}_thm_nb0_bce_bp_{params[3]} --save --batch-size 200 '
        # f'--dataset cifar10_binary --c0 2 --c1 3 --lr 0.01 \n'
        #
        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 0 --seed {params[3]} --version {"mlp01scale"} --epoch 200 '
        # f'--target cifar10_binary_45_{"mlp01scale"}_thm_nb0_bce_bp_{params[3]} --save --batch-size 200 '
        # f'--dataset cifar10_binary --c0 4 --c1 5 --lr 0.01 \n'
        #
        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 0 --seed {params[3]} --version {"mlp01scale"} --epoch 200 '
        # f'--target cifar10_binary_67_{"mlp01scale"}_thm_nb0_bce_bp_{params[3]} --save --batch-size 200 '
        # f'--dataset cifar10_binary --c0 6 --c1 7 --lr 0.01 \n'
        #
        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 0 --seed {params[3]} --version {"mlp01scale"} --epoch 200 '
        # f'--target cifar10_binary_89_{"mlp01scale"}_thm_nb0_bce_bp_{params[3]} --save --batch-size 200 '
        # f'--dataset cifar10_binary --c0 8 --c1 9 --lr 0.01 \n'
        #
        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 0 --seed {params[3]} --version {"mlprr"} --epoch 200 '
        # f'--target cifar10_binary_23_{"mlprr"}_nb0_bce_bp_{params[3]} --save --batch-size 200 '
        # f'--dataset cifar10_binary --c0 2 --c1 3 --lr 0.01 \n'
        #
        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 0 --seed {params[3]} --version {"mlprr"} --epoch 200 '
        # f'--target cifar10_binary_45_{"mlprr"}_nb0_bce_bp_{params[3]} --save --batch-size 200 '
        # f'--dataset cifar10_binary --c0 4 --c1 5 --lr 0.01 \n'
        #
        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 0 --seed {params[3]} --version {"mlprr"} --epoch 200 '
        # f'--target cifar10_binary_67_{"mlprr"}_nb0_bce_bp_{params[3]} --save --batch-size 200 '
        # f'--dataset cifar10_binary --c0 6 --c1 7 --lr 0.01 \n'
        #
        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 0 --seed {params[3]} --version {"mlprr"} --epoch 200 '
        # f'--target cifar10_binary_89_{"mlprr"}_nb0_bce_bp_{params[3]} --save --batch-size 200 '
        # f'--dataset cifar10_binary --c0 8 --c1 9 --lr 0.01 \n'

        # f'python train_bp.py --aug 1 --fp16 --n_classes 10 --no_bias 1 --seed {params[3]} --version {params[6]} '
        # f'--target cifar10_{params[6]}_bp_fp16_{params[3]}\n'
        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 0 --seed {params[3]} --version {params[6]} '
        # f'--lr 0.01 --target cifar10_binary_{params[6]}_nb0_bce_bp_{params[3]}\n'

        # f'python train_mlp.py --aug 0 --n_classes 2 --no_bias 1 --seed {params[3]} --version {params[6]} '
        # f'--lr 0.01 --target cifar10_binary_{params[6]}_nb2_bce_bp_{params[3]}\n'

        # f'python train_bce.py --aug 1 --n_classes 2 --no_bias 1 --seed {params[3]} --version {params[6]} '
        # f'--lr 0.001 --target cifar10_binary_{params[6]}_nb2_bce_bp_{params[3]}\n'

        # f'echo cifar10_{params[6]}_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]}\n',
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3rrs100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrs100"}_adaptivebs_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_toy3rrr100_adaptivebs_sign_i1_mce_b1000_lrc0.1_lrf0.1_nb2_nw0_dm1_upc1_upf1_ucf32_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3rrss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrss100"}_adaptivebs_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_toy3rrs100_adaptivebs_sign_i1_mce_b1000_lrc0.075_lrf0.1_nb2_nw0_dm1_upc1_upf1_ucf32_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3rrs100fs"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrs100fs"}_adaptivebs_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_toy3rrr100_adaptivebs_sign_i1_mce_b1000_lrc0.1_lrf0.1_nb2_nw0_dm1_upc1_upf1_ucf32_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3rrss100fs"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrss100fs"}_adaptivebs_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_toy3rrs100fs_adaptivebs_sign_i1_mce_b1000_lrc0.075_lrf0.1_nb2_nw0_dm1_upc1_upf1_ucf32_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        # 88888888888888888888888888888888888888888888888
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3rsr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsr100"}_adaptivebs_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_toy3rrr100_adaptivebs_sign_i1_mce_b1000_lrc0.1_lrf0.1_nb2_nw0_dm1_upc1_upf1_ucf32_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3rss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rss100"}_adaptivebs_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_toy3rsr100_adaptivebs_sign_i1_mce_b1000_lrc0.075_lrf0.1_nb2_nw0_dm1_upc1_upf1_ucf32_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3rsss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsss100"}_adaptivebs_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_toy3rss100_adaptivebs_sign_i1_mce_b1000_lrc0.05_lrf0.1_nb2_nw0_dm1_upc1_upf1_ucf32_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'\n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3rsr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsr100"}_bp_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source toy3rrr_bp_fp16_{params[3]} \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3rss100"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rss100"}_bp_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3rsr100"}_bp_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3rsss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsss100"}_bp_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3rss100"}_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3rsrs100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsrs100"}_bp_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3rsr100"}_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3rrss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrss100"}_bp_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3rrs100"}_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'

        # *************************************************************************************************************

        # f'--temp_save_per_iter 1000 '
        # f'--resume --source cifar10_{"toy3srr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{params[6]}_adaptivebs_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # '--batch_increase_iter 3001\n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{params[6]}_adaptivebs_adv_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # '--adv_train 1 --batch_increase_iter 3001\n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{params[6]}_finetune_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f'--temp_save_per_iter 1000 '
        # f'--resume --source cifar10_{"toy3sss100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        #

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3srr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f'\n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3ssr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3sss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100"}_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3sss100"} --seed {params[3]} --iters 45000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100"}_fulltrain_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f'\n'

        # fixed learning rate
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f' --resume --source toy3rrr_bp_fp16_{params[3]} '
        # f'--batch_increase_iter 3001\n'
        # #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        # #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3000 \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy2sr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy2sr100"}_adaptivebs_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f'--batch_increase_iter 3001\n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy2ss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy2ss100"}_adaptivebs_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy2sr100"}_adaptivebs_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100"} --seed {params[3]} --iters 10000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100"}_adaptivebs_short_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f'--batch_increase_iter 2001\n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100"} --seed {params[3]} --iters 10000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100"}_adaptivebs_short_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100"}_adaptivebs_short_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 2001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100"}_adaptivebs_short_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100"}_adaptivebs_short_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # # data aug
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100"}_adaptivebs_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f'--batch_increase_iter 3001 --aug 1 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100"}_adaptivebs_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100"}_adaptivebs_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --aug 1 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100"}_adaptivebs_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100"}_adaptivebs_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --aug 1  \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100"}_adaptivebs_imb_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f'--batch_increase_iter 3001 --balanced_sampling 0 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100"}_adaptivebs_imb_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100"}_adaptivebs_imb_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --balanced_sampling 0 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100"}_adaptivebs_imb_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100"}_adaptivebs_imb_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --balanced_sampling 0  \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3rrr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 4 --fp16 '
        # f'\n',

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rsr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rss100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3rsr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rrs100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrs100"}_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # # f'--resume --source cifar10_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        # f'--resume --source toy3rrr_bp\n'
        # data aug
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100"}_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f'--aug 1 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100"}_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100"}_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--aug 1 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100"}_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100"}_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--aug 1  \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy2sr100"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy2sr100"}_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f'--aug 1\n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy2ss100"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy2ss100"}_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy2sr100"}_aug_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--aug 1 \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rsr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rss100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3rsr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'

        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rrs100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrs100"}_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # # f'--resume --source cifar10_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        # f'--resume --source toy3rrr_bp_fp16_{params[3]} \n',

        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rsr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # # f'--resume --source cifar10_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        # f'--batch_increase_iter 3001 --resume --source toy3rrr_bp_fp16_{params[3]} \n',
        #
        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3rsr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'python train_cnn01_ce.py --nrows {2500 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rsrs100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsrs100"}_bp_{params[0]}_i1_mce_b{2500}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3rsr100"}_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f' \n'

        # f'python train_cnn01_ce.py --nrows {2500 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rrss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrss100"}_bp_{params[0]}_i1_mce_b{2500}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 10 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3rrs100"}_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f' \n'

        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3rsss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3rss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rrs100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrs100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # # f'--resume --source cifar10_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        # f'--resume --source cifar10_toy3rrr100_bp_adv_{params[3]} '
        # f'--batch_increase_iter 3001\n',
        #
        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rrss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrss100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3rrs100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n',

        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rsr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsr100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # # f'--resume --source cifar10_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        # f'--batch_increase_iter 3001 --resume --source cifar10_toy3rrr100_bp_adv_{params[3]} \n',
        #
        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rss100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3rsr100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3rsss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsss100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3rss100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rrs100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrs100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # # f'--resume --source cifar10_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        # f'--resume --source toy3rrr_bp_fp16_{params[3]} '
        # f'--batch_increase_iter 3001\n',
        #
        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rrss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3rrs100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n',

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f' --resume --source cifar10_toy3rrr100_bp_adv_{params[3]} '
        # f'--batch_increase_iter 3001\n'
        # #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100"}_adaptivebs_bp_adv_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss 01loss --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{params[6]}_f3_bp_{params[0]}_i1_01loss_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{params[6]}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.1}_nb{2}_nw0_dm{params[2]}_upc{1}_upf{1}_ucf{32}_fp16_{params[3]} '
        # f' \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss 01lossmodify --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{params[6]}_bp_{params[0]}_i1_01loss_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 4 --fp16 '
        # f'--resume --source cifar10_{params[6]}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.1}_nb{2}_nw0_dm{params[2]}_upc{1}_upf{1}_ucf{32}_fp16_{params[3]} '
        # f' \n'

        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rrs100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrs100"}_adaptivebs_bnn_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # # f'--resume --source cifar10_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        # f'--resume --source toy3rrr_bp_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --bnn_layer 3 \n',
        #
        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3rrss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rrss100"}_adaptivebs_bnn_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3rrs100"}_adaptivebs_bnn_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --bnn_layer 4 \n',

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100"}_adaptivebs_bnn_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f' --resume --source toy3rrr_bp_fp16_{params[3]} '
        # f'--batch_increase_iter 6001 --bnn_layer 1 \n'
        # #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100"}_adaptivebs_bnn_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100"}_adaptivebs_bnn_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 6001 --bnn_layer 2  \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100"}_adaptivebs_bnn_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100"}_adaptivebs_bnn_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 6001 --bnn_layer 3 \n'
        # #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssss100"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100"}_adaptivebs_bnn_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100"}_adaptivebs_bnn_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 6001 --bnn_layer 4 \n'

        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rsr100fs"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsr100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # # f'--resume --source cifar10_{"toy3rrr100fs"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        # f'--batch_increase_iter 3001 --resume --source toy3rrr_bp_fp16_{params[3]} \n',
        #
        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rss100fs"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rss100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3rsr100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3rsss100fs"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3rsss100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3rss100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100fs"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f' --resume --source toy3rrr_bp_fp16_{params[3]} '
        # f'--batch_increase_iter 3001\n'
        # #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100fs"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100fs"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        # #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100fs"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100fs"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rrs100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3rrs100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # # f'--resume --source cifar10_binary_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        # f'--resume --source cifar10_binary_toy3rrr_bp_fp16_{params[3]} '
        # f'--batch_increase_iter 3001\n',
        #
        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rrss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3rrss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3rrs100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n',

        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rsr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3rsr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # # f'--resume --source cifar10_binary_{"toy3rrr100"}_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} \n'
        # f'--batch_increase_iter 3001 --resume --source cifar10_binary_toy3rrr_bp_fp16_{params[3]} \n',
        #
        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3rss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3rss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3rsr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {1000 / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3rsss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3rsss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3rss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{1000}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3srr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # f' --resume --source cifar10_binary_toy3rrr_bp_fp16_{params[3]} '
        # f'--batch_increase_iter 3001\n'
        # #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3srr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3sss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3ssr100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'
        # #
        # f'python train_cnn01_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init normal --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3sss100"}_adaptivebs_bp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 \n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100scale"}_adaptivebs_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # # f' --resume --source cifar10_toy3rrr_abp_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --lr 0.001 --bp_layer 4\n'
        # #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100scale"}_adaptivebs_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100scale"}_adaptivebs_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --lr 0.001 --bp_layer 3 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100scale"}_adaptivebs_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100scale"}_adaptivebs_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --lr 0.001 --bp_layer 2 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100scale"}_adaptivebs_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100scale"}_adaptivebs_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --lr 0.001 --bp_layer 1 \n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {params[10]} --version {"toy3ssss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100scale"}_adaptivebs_abp_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100scale"}_adaptivebs_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --lr 0.001 --bp_layer 1 \n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100scale"}_adaptivebs_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 0 --fp16 '
        # # f' --resume --source cifar10_toy3rrr_abp_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --lr 0.001 --bp_layer 4 --bnn_layer 1 \n'
        # #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100scale"}_adaptivebs_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100scale"}_adaptivebs_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --lr 0.001 --bp_layer 3 --bnn_layer 2 --reinit 3 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100scale"}_adaptivebs_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100scale"}_adaptivebs_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --lr 0.001 --bp_layer 2 --bnn_layer 3 --reinit 2 \n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100scale"}_adaptivebs_bnn_retrain_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 20 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100scale"}_adaptivebs_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--batch_increase_iter 3001 --lr 0.001 --bp_layer 1 --bnn_layer 4 --reinit 1 \n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 60000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100scale"}_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # # f' --resume --source cifar10_toy3rrr_abp_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 4 --bnn_layer 1 --aug 1\n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # f'--lr 0.001 --bp_layer 4 --aug 1\n'
        # #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.7} --version {"toy3ssss100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.7}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1 \n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.075} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 60000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100scale"}_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # # f' --resume --source cifar10_toy3rrr_abp_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 4 --bnn_layer 1  --aug 1 \n'
        # #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mcec --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 60000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100scale"}_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100scale"}_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.075}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 3 --bnn_layer 2 --reinit 3 --aug 1 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 60000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100scale"}_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100scale"}_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 2 --bnn_layer 3 --reinit 2  --aug 1 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100scale"} --seed {params[3]} --iters 60000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100scale"}_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100scale"}_bnn_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 1 --bnn_layer 4 --reinit 1  --aug 1 \n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100scale"}_abp_adv_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # f'--lr 0.001 --bp_layer 4 --aug 1 --adv_train 1 --adv_source toy3rrr_bp_fp16_{params[3]}\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100scale"}_abp_retrain0_adv_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100scale"}_abp_adv_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1 --reinit 3 --adv_train 1 --adv_source toy3rrr_bp_fp16_{params[3]} \n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {params[9]} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 60000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100scale"} --seed {params[3]} --iters 60000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1 \n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3srr100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # f'--lr 0.001 --bp_layer 4 --aug 1\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssr100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3srr100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3sss100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3ssr100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.7} --version {"toy3ssss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssss100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.7}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3sss100scale"}_abp_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1 \n'
        # #
        #

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100scale"}_abp_adv_thm_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # f'--lr 0.001 --bp_layer 4 --aug 1 --adv_train 1\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100scale"}_abp_adv_thm_retrain0_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100scale"}_abp_adv_thm_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1 --reinit 3 --adv_train 1\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100scale"}_abp_adv_thm_retrain0_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100scale"}_abp_adv_thm_retrain0_{params[0]}_i1_mce_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1 --reinit 2 --adv_train 1 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.7} --version {"toy3ssss100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100scale"}_abp_adv_thm_retrain0_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.7}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100scale"}_abp_adv_thm_retrain0_{params[0]}_i1_mce_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1  --reinit 1 --adv_train 1\n'
        # #

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50 \n '

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 1000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50 --lr 0.01 --bp_layer 1\n '

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {"mlp2srscale"} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{"mlp2srscale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50 --lr 0.01 --bp_layer 2\n '
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {"mlp2ssscale"} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{"mlp2ssscale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50 --lr 0.01 --bp_layer 1 --reinit 1 --freeze_layer 1 '
        # f'--resume --source cifar10_binary_{"mlp2srscale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} \n '

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 '
        # f'--lr 0.001 --bp_layer 4 --aug 1\n'
        # #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 '
        # f'--resume --source cifar10_binary_{"toy3srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1  --reinit 3\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 '
        # f'--resume --source cifar10_binary_{"toy3ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1  --reinit 2\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.7} --version {"toy3ssss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.7}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 '
        # f'--resume --source cifar10_binary_{"toy3sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1  --reinit 1\n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3srr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 '
        # f'--lr 0.001 --bp_layer 4 --aug 1 --adv_train 1 \n'
        # #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 '
        # f'--resume --source cifar10_binary_{"toy3srr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1  --reinit 3 --adv_train 1 \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3sss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 '
        # f'--resume --source cifar10_binary_{"toy3ssr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1  --reinit 2 --adv_train 1 \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.7} --version {"toy3ssss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.7}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 '
        # f'--resume --source cifar10_binary_{"toy3sss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1 --reinit 1 --adv_train 1 \n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss mce --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100scale"}_abp_adv_{params[0]}_i1_mce_b{params[7]}_lrc{params[9]}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # f'--lr 0.001 --bp_layer 4 --aug 1 --adv_train 1 --adv_source toy3rrr_bp_fp16_{params[3]}\n'
        #

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # f'--lr 0.001 --bp_layer 4 --aug 1 --adv_train 1\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1 --reinit 3 --adv_train 1\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1 --reinit 2 --adv_train 1 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1  --reinit 1 --adv_train 1\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # f'--lr 0.001 --bp_layer 4 --aug 1\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_{"toy3srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1 --reinit 3\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_{"toy3ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1 --reinit 2 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 50000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100scale"} --seed {params[3]} --iters 30000 '
        # f'--dataset cifar10 --n_classes 10 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_{"toy3ssss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_{"toy3sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1  --reinit 1\n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {"toy3ssss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 '
        # f'--resume --source cifar10_binary_{"toy3sss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{1}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1 --reinit 1 --adv_train 1 \n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3srr100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # f'--lr 0.001 --bp_layer 4 --aug 1 --adv_train 1\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssr100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3srr100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1 --reinit 3 --adv_train 1\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3sss100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3ssr100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1 --reinit 2 --adv_train 1 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssss100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3sss100scale"}_abp_adv_thm4_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1  --reinit 1 --adv_train 1\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # f'--lr 0.001 --bp_layer 4 --aug 1\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1 --reinit 3\n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1 --reinit 2 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3ssss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{"toy3ssss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 --fp16 '
        # f'--resume --source cifar10_binary_{"toy3sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1  --reinit 1\n'

        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy4srr100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset stl10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target stl10_binary_{"toy4srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 0 --fp16 '
        # f'--lr 0.001 --bp_layer 5 --aug 1 --batch-size 128 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy4ssr100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset stl10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target stl10_binary_{"toy4ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 1 --fp16 '
        # f'--resume --source stl10_binary_{"toy4srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--lr 0.001 --bp_layer 4  --aug 1 --reinit 4 --batch-size 128 \n'
        #
        # f'python train_cnn01_abp_ce.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy4sss100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset stl10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target stl10_binary_{"toy4sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 2 --fp16 '
        # f'--resume --source stl10_binary_{"toy4ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_fp16_{params[3]} '
        # f' --lr 0.001 --bp_layer 3  --aug 1 --reinit 3 --batch-size 128 \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy4srr100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset stl10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target stl10_binary_{"toy4srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 0  '
        # f'--lr 0.001 --bp_layer 5 --aug 1 --batch-size 128 \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy4ssr100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset stl10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target stl10_binary_{"toy4ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 1  '
        # f'--resume --source stl10_binary_{"toy4srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 4  --aug 1 --reinit 4 --batch-size 128 \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy4sss100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset stl10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target stl10_binary_{"toy4sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 2  '
        # f'--resume --source stl10_binary_{"toy4ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f' --lr 0.001 --bp_layer 3  --aug 1 --reinit 3 --batch-size 128 \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy4ssss100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset stl10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target stl10_binary_{"toy4ssss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 '
        # f'--resume --source stl10_binary_{"toy4sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 2  --aug 1  --reinit 2 --batch-size 128 --n-jobs $cpus \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy4srr100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset stl10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target stl10_binary_{"toy4srr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 0  '
        # f'--lr 0.001 --bp_layer 5 --aug 1 --batch-size 128 --adv_train 1 --epsilon 2.826 \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy4ssr100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset stl10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target stl10_binary_{"toy4ssr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 1  '
        # f'--resume --source stl10_binary_{"toy4srr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 4  --aug 1 --reinit 4 --batch-size 128 --adv_train 1 --epsilon 2.826 \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy4sss100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset stl10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target stl10_binary_{"toy4sss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 2  '
        # f'--resume --source stl10_binary_{"toy4ssr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f' --lr 0.001 --bp_layer 3  --aug 1 --reinit 3 --batch-size 128 --adv_train 1 --epsilon 2.826\n'

        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy4ssss100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset stl10 --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target stl10_binary_{"toy4ssss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 '
        # f'--resume --source stl10_binary_{"toy4sss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 2  --aug 1  --reinit 2 --batch-size 128 --adv_train 1 --epsilon 2.826 --n-jobs $cpus \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy4srr100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset celeba --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target celeba_binary_{"toy4srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 0  '
        # f'--lr 0.001 --bp_layer 5 --aug 1 --batch-size 128 \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy4ssr100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset celeba --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target celeba_binary_{"toy4ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 1  '
        # f'--resume --source celeba_binary_{"toy4srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 4  --aug 1 --reinit 4 --batch-size 128 \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy4sss100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset celeba --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target celeba_binary_{"toy4sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 2  '
        # f'--resume --source celeba_binary_{"toy4ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f' --lr 0.001 --bp_layer 3  --aug 1 --reinit 3 --batch-size 128 \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy4ssss100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset celeba --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target celeba_binary_{"toy4ssss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 '
        # f'--resume --source celeba_binary_{"toy4sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 2  --aug 1  --reinit 2 --batch-size 128 --n-jobs $cpus \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy4srr100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset celeba --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target celeba_binary_{"toy4srr100scale"}_abp_adv_thm_{params[0]}_i1_{params[12]}_b{params[7]}_0.0157_5_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 0  '
        # f'--lr 0.001 --bp_layer 5 --aug 1 --batch-size 128 --adv_train 1 --epsilon 0.0157 --pnorm linf --steps 5 \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy4ssr100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset celeba --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target celeba_binary_{"toy4ssr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_0.0157_5_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 1  '
        # f'--resume --source celeba_binary_{"toy4srr100scale"}_abp_adv_thm_{params[0]}_i1_{params[12]}_b{params[7]}_0.0157_5_{params[3]} '
        # f'--lr 0.001 --bp_layer 4  --aug 1 --reinit 4 --batch-size 128 --adv_train 1 --epsilon 0.0157 --pnorm linf --steps 5 \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy4sss100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset celeba --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target celeba_binary_{"toy4sss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_0.0157_5_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 2  '
        # f'--resume --source celeba_binary_{"toy4ssr100scale"}_abp_adv_thm_{params[0]}_i1_{params[12]}_b{params[7]}_0.0157_5_{params[3]} '
        # f' --lr 0.001 --bp_layer 3  --aug 1 --reinit 3 --batch-size 128 --adv_train 1 --epsilon 0.0157 --pnorm linf --steps 5 \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 2000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy4ssss100scale"} --seed {params[3]} --iters 5000 '
        # f'--dataset celeba --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target celeba_binary_{"toy4ssss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_0.0157_5_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 '
        # f'--resume --source celeba_binary_{"toy4sss100scale"}_abp_adv_thm_{params[0]}_i1_{params[12]}_b{params[7]}_0.0157_5_{params[3]} '
        # f'--lr 0.001 --bp_layer 2  --aug 1  --reinit 2 --batch-size 128 --adv_train 1 --epsilon 0.0157 --pnorm linf --steps 5 \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 5000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3gsrr100scale"} --seed {params[3]} --iters 3000 '
        # f'--dataset gtsrb_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target gtsrb_binary_{"toy3gsrr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 0  '
        # f'--lr 0.001 --bp_layer 4  --batch-size 128 --n-jobs $cpus\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 5000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3gssr100scale"} --seed {params[3]} --iters 3000 '
        # f'--dataset gtsrb_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target gtsrb_binary_{"toy3gssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 1  '
        # f'--resume --source gtsrb_binary_{"toy3gsrr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 3   --reinit 3 --batch-size 128 --n-jobs $cpus \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 5000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3gsss100scale"} --seed {params[3]} --iters 3000 '
        # f'--dataset gtsrb_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target gtsrb_binary_{"toy3gsss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 2  '
        # f'--resume --source gtsrb_binary_{"toy3gssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f' --lr 0.001 --bp_layer 2   --reinit 2 --batch-size 128 --n-jobs $cpus \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 5000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3gssss100scale"} --seed {params[3]} --iters 3000 '
        # f'--dataset gtsrb_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target gtsrb_binary_{"toy3gssss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 '
        # f'--resume --source gtsrb_binary_{"toy3gsss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 1 --reinit 1 --batch-size 128 --n-jobs $cpus \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 5000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3gsrr100scale"} --seed {params[3]} --iters 3000 '
        # f'--dataset gtsrb_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target gtsrb_binary_{"toy3gsrr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 0  '
        # f'--lr 0.001 --bp_layer 4  --batch-size 128 --adv_train 1 --epsilon 0.706 --n-jobs $cpus \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 5000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3gssr100scale"} --seed {params[3]} --iters 3000 '
        # f'--dataset gtsrb_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target gtsrb_binary_{"toy3gssr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 1  '
        # f'--resume --source gtsrb_binary_{"toy3gsrr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 3   --reinit 3 --batch-size 128 --adv_train 1 --epsilon 0.706 --n-jobs $cpus \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 5000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3gsss100scale"} --seed {params[3]} --iters 3000 '
        # f'--dataset gtsrb_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target gtsrb_binary_{"toy3gsss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 2 --verbose_iter 500 --freeze_layer 2  '
        # f'--resume --source gtsrb_binary_{"toy3gssr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f' --lr 0.001 --bp_layer 2   --reinit 2 --batch-size 128 --adv_train 1 --epsilon 0.706 --n-jobs $cpus \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 5000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.1} --version {"toy3gssss100scale"} --seed {params[3]} --iters 3000 '
        # f'--dataset gtsrb_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target gtsrb_binary_{"toy3gssss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 '
        # f'--resume --source gtsrb_binary_{"toy3gsss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 1 --reinit 1 --batch-size 128 --adv_train 1 --epsilon 0.706 --n-jobs $cpus \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 1000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset stl10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target stl10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 20 --verbose_iter 50 \n '
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 1000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 1000 '
        # f'--dataset stl10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target stl10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.0314_10_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50  --adv_train 1 --epsilon 0.0314 --pnorm linf --steps 10 \n '
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 1000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 1000 '
        # f'--dataset stl10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target stl10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.0625_20_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50  --adv_train 1 --epsilon 0.0625 --pnorm linf --steps 20 \n '
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 1000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset stl10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target stl10_binary_{params[6]}_{params[0]}_abp_thm_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 20 --verbose_iter 50 --lr 0.001 --bp_layer 1 --aug 0 --batch-size 128\n '
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 1000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 1000 '
        # f'--dataset stl10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target stl10_binary_{params[6]}_abp_thm_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.0314_10_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50  '
        # f'--adv_train 1  --epsilon 0.0314 --pnorm linf --steps 10 --lr 0.001 --bp_layer 1 --aug 0 --batch-size 128\n '
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 1000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 1000 '
        # f'--dataset stl10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target stl10_binary_{params[6]}_abp_thm_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.0625_20_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50  '
        # f'--adv_train 1  --epsilon 0.0625 --pnorm linf --steps 20 --lr 0.001 --bp_layer 1 --aug 0 --batch-size 128\n '

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50 \n '
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.0157_2_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0157 --pnorm linf --steps 2 '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.00392_1_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.00392 --pnorm linf --steps 1 --alpha 0.00392 '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 \n '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]+9} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.00784_1_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 --alpha 0.00784 '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_mlprr_linf_0.0157_2_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0157 --pnorm linf --steps 2 '
        # f'--resume --source cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{7500}_nw{params[13]}_linf_0.00784_1_{params[11]}_{params[3]} '
        # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_bp_{params[3]} \n'
        #
        #
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_mlprr_0.0625_adv_linf_v2_0.00784_1_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_mlprr_0.0625_adv_linf_v2_0.0157_2_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0157 --pnorm linf --steps 2 '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_mlprr_0.0625_adv_linf_v2_0.0314_4_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0314 --pnorm linf --steps 4 '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_mlprr_0.0625_adv_linf_v2_0.0625_8_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0625 --pnorm linf --steps 8 '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 1000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 2 --c1 3 '
        # f'--target cifar10_binary_23_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 \n'
        # # f' --adv_train 1 --epsilon 0.0625 --pnorm linf --steps 8 '
        # # f'--resume --source cifar10_binary_23_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 1000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 4 --c1 5 '
        # f'--target cifar10_binary_45_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 \n'
        # # f' --adv_train 1 --epsilon 0.0625 --pnorm linf --steps 8 '
        # # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 1000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 6 --c1 7 '
        # f'--target cifar10_binary_67_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 \n'
        # # f' --adv_train 1 --epsilon 0.0625 --pnorm linf --steps 8 '
        # # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 1000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 8 --c1 9 '
        # f'--target cifar10_binary_89_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 \n'
        # # f' --adv_train 1 --epsilon 0.0625 --pnorm linf --steps 8 '
        # # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 2 --c1 3 '
        # f'--target cifar10_binary_23_mlp01scale_adv_01loss_nb0_b7500_nw1_linf_0.00784_1_normal_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 '
        # f' --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 --alpha 0.00784 '
        # f'--resume --source cifar10_binary_23_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} \n'
        # # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 4 --c1 5 '
        # f'--target cifar10_binary_45_mlp01scale_adv_01loss_nb0_b7500_nw1_linf_0.00784_1_normal_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 '
        # f' --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 --alpha 0.00784 '
        # f'--resume --source cifar10_binary_45_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} \n'
        # # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 6 --c1 7 '
        # f'--target cifar10_binary_67_mlp01scale_adv_01loss_nb0_b7500_nw1_linf_0.00784_1_normal_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 '
        # f' --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 --alpha 0.00784 '
        # f'--resume --source cifar10_binary_67_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} \n'
        # # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 8 --c1 9 '
        # f'--target cifar10_binary_89_mlp01scale_adv_01loss_nb0_b7500_nw1_linf_0.00784_1_normal_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 '
        # f' --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 --alpha 0.00784 '
        # f'--resume --source cifar10_binary_89_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} \n'
        # # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 2 --c1 3 '
        # f'--target cifar10_binary_23_mlp01scale_adv_01loss_nb0_b2500_nw1_mlprr_0.0625_adv_linf_v2_0.00784_1_normal_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 '
        # f' --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 --alpha 0.00784 '
        # f'--resume --source cifar10_binary_23_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--adv_structure mlprr --adv_source cifar10_binary_23_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 4 --c1 5 '
        # f'--target cifar10_binary_45_mlp01scale_adv_01loss_nb0_b2500_nw1_mlprr_0.0625_adv_linf_v2_0.00784_1_normal_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 '
        # f' --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 --alpha 0.00784 '
        # f'--resume --source cifar10_binary_45_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--adv_structure mlprr --adv_source cifar10_binary_45_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 6 --c1 7 '
        # f'--target cifar10_binary_67_mlp01scale_adv_01loss_nb0_b2500_nw1_mlprr_0.0625_adv_linf_v2_0.00784_1_normal_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 '
        # f' --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 --alpha 0.00784 '
        # f'--resume --source cifar10_binary_67_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--adv_structure mlprr --adv_source cifar10_binary_67_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 8 --c1 9 '
        # f'--target cifar10_binary_89_mlp01scale_adv_01loss_nb0_b2500_nw1_mlprr_0.0625_adv_linf_v2_0.00784_1_normal_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 '
        # f' --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 --alpha 0.00784 '
        # f'--resume --source cifar10_binary_89_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--adv_structure mlprr --adv_source cifar10_binary_89_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_mlprr_0.0625_adv_linf_v2_0.00392_1_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.00392 --pnorm linf --steps 1 --alpha 0.00392 '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_mlprr_0.0625_adv_linf_v2_0.0157_4_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0157 --pnorm linf --steps 4 --alpha 0.00784 '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 '
        # f'--target cifar10_binary_mlp01scaleln_sign_i1_01loss_b7500_lrc0.05_lrf0.17_nb0_nw1_dm0_upc1_upf1_ucf32_normal_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0625 --pnorm linf --steps 20 '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_scratch_linf_0.0625_20_{params[11]}_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]+8} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_v2_linf_0.0625_20_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0625 --pnorm linf --steps 20 '
        # f'--resume --source cifar10_binary_mlp01scale_sign_i1_01loss_b7500_lrc0.05_lrf0.17_nb0_nw1_dm0_upc1_upf1_ucf32_normal_{params[3]} \n'
        # f'--adv_structure mlp01scale --adv_source cifar10_binary_mlp01scale_sign_i1_01loss_b7500_lrc0.05_lrf0.17_nb0_nw1_dm0_upc1_upf1_ucf32_normal_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]+8} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.0157_5_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0157 --pnorm linf --steps 5 '
        # # f'--resume --source cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{7500}_nw{params[13]}_linf_0.00784_1_{params[11]}_{params[3]} '
        # f'--adv_structure mlp01scale --adv_source cifar10_binary_mlp01scale_sign_i1_01loss_b7500_lrc0.05_lrf0.17_nb0_nw1_dm0_upc1_upf1_ucf32_normal_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]+8} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.00784_1_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 '
        # # f'--resume --source cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{7500}_nw{params[13]}_linf_0.00784_1_{params[11]}_{params[3]} '
        # f'--adv_structure mlp01scale --adv_source cifar10_binary_mlp01scale_sign_i1_01loss_b7500_lrc0.05_lrf0.17_nb0_nw1_dm0_upc1_upf1_ucf32_normal_{params[3]} \n'
        #

        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_mlprr_0.0625_adv_linf_0.0314_10_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0314 --pnorm linf --steps 10 '
        # f'--resume --source cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{7500}_nw{params[13]}_linf_0.00784_1_{params[11]}_{params[3]} '
        # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_mlprr_linf_0.0625_10_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0625 --pnorm linf --steps 10 '
        # f'--resume --source cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{7500}_nw{params[13]}_linf_0.00784_1_{params[11]}_{params[3]} '
        # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_bp_{params[3]} \n'
        #
        #
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_mlprr_0.0625_adv_linf_0.0625_10_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0625 --pnorm linf --steps 10 '
        # f'--resume --source cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{7500}_nw{params[13]}_linf_0.00784_1_{params[11]}_{params[3]} '
        # f'--adv_structure mlprr --adv_source cifar10_binary_mlprr_nb0_bce_linf_0.0625_20_adv_bp_{params[3]} \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.0157_5_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0314 --pnorm linf --steps 10 '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} \n'
        #
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.0625_20_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1  --adv_train 1 --epsilon 0.0625 --pnorm linf --steps 20 '
        # f'--resume --source cifar10_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} \n '

        # #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_{params[0]}_abp_thm_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50 --lr 0.001 --bp_layer 1 --aug 0 --batch-size 128\n '
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_abp_thm_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.0314_10_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50  '
        # f'--adv_train 1  --epsilon 0.0314 --pnorm linf --steps 10 --lr 0.001 --bp_layer 1 --aug 0 --batch-size 128\n '
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10 --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target cifar10_binary_{params[6]}_abp_thm_adv_{params[12]}_nb{params[1]}_b{params[7]}_nw{params[13]}_linf_0.0625_20_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 5 --updated_conv_ratio 20 --verbose_iter 50  '
        # f'--adv_train 1  --epsilon 0.0625 --pnorm linf --steps 20 --lr 0.001 --bp_layer 1 --aug 0 --batch-size 128\n '

        # f'python train_cnn01_01.py --nrows {params[7] / 1000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset celeba --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target celeba_binary_{params[6]}_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 20 --verbose_iter 50 \n '

        # f'python train_cnn01_01.py --nrows {params[7] / 1000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset celeba --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target celeba_binary_{params[6]}_{params[0]}_adv_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 20 --verbose_iter 50  --adv_train 1 --epsilon 2.826 \n '

        # f'python train_cnn01_01.py --nrows {params[7] / 1000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset celeba --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target celeba_binary_{params[6]}_{params[0]}_abp_thm_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 20 --verbose_iter 50 --lr 0.001 --bp_layer 1 --aug 0 --batch-size 128\n '

        # f'python train_cnn01_01.py --nrows {params[7] / 1000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset celeba --n_classes 2 --cnn 0 --divmean {params[2]} '
        # f'--target celeba_binary_{params[6]}_{params[0]}_abp_adv_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 1 --updated_conv_ratio 20 --verbose_iter 50  --adv_train 1 --epsilon 2.826 --lr 0.001 --bp_layer 1 --aug 0 --batch-size 128\n '

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 0 --c1 1 '
        # f'--target cifar10_binary_01_eps0.0625_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.0625\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 0 --c1 1 '
        # f'--target cifar10_binary_01_eps0.125_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.125\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 0 --c1 1 '
        # f'--target cifar10_binary_01_eps0.25_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.25\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 0 --c1 1 '
        # f'--target cifar10_binary_01_eps0.5_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.5\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 0 --c1 1 '
        # f'--target cifar10_binary_01_eps1.0_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 1.0\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 2 --c1 3 '
        # f'--target cifar10_binary_23_eps0.0625_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.0625\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 2 --c1 3 '
        # f'--target cifar10_binary_23_eps0.125_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.125\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 2 --c1 3 '
        # f'--target cifar10_binary_23_eps0.25_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.25\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 2 --c1 3 '
        # f'--target cifar10_binary_23_eps0.5_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.5\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 2 --c1 3 '
        # f'--target cifar10_binary_23_eps1.0_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 1.0\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 4 --c1 5 '
        # f'--target cifar10_binary_45_eps0.0625_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.0625\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 4 --c1 5 '
        # f'--target cifar10_binary_45_eps0.125_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.125\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 4 --c1 5 '
        # f'--target cifar10_binary_45_eps0.25_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.25\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 4 --c1 5 '
        # f'--target cifar10_binary_45_eps0.5_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.5\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 4 --c1 5 '
        # f'--target cifar10_binary_45_eps1.0_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 1.0\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 6 --c1 7 '
        # f'--target cifar10_binary_67_eps0.0625_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.0625\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 6 --c1 7 '
        # f'--target cifar10_binary_67_eps0.125_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.125\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 6 --c1 7 '
        # f'--target cifar10_binary_67_eps0.25_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.25\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 6 --c1 7 '
        # f'--target cifar10_binary_67_eps0.5_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.5\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 6 --c1 7 '
        # f'--target cifar10_binary_67_eps1.0_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 1.0\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 8 --c1 9 '
        # f'--target cifar10_binary_89_eps0.0625_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.0625\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 8 --c1 9 '
        # f'--target cifar10_binary_89_eps0.125_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.125\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 8 --c1 9 '
        # f'--target cifar10_binary_89_eps0.25_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.25\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 8 --c1 9 '
        # f'--target cifar10_binary_89_eps0.5_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.5\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 8 --c1 9 '
        # f'--target cifar10_binary_89_eps1.0_{params[6]}_{params[0]}_i1_{params[12]}_b{7500}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 1.0\n'

        # f'python train_bce.py --aug 1 --n_classes 2 --no_bias 1 --seed {params[3]} --version {params[6]} '
        # f'--lr 0.001 --target cifar10_binary_{c0}{c1}_{params[6]}_nb2_bce_bp_{params[3]} --batch-size 256 '
        # f'--dataset cifar10_binary --c0 {c0} --c1 {c1} --epoch 100 --save\n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{c0}{c1}_{"toy3srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 '
        # f'--lr 0.001 --bp_layer 4 --aug 1 --c0 {c0} --c1 {c1}\n'
        # #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{c0}{c1}_{"toy3ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 '
        # f'--resume --source cifar10_binary_{c0}{c1}_{"toy3srr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1  --reinit 3 --c0 {c0} --c1 {c1}\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{c0}{c1}_{"toy3sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 '
        # f'--resume --source cifar10_binary_{c0}{c1}_{"toy3ssr100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1  --reinit 2 --c0 {c0} --c1 {c1}\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.7} --version {"toy3ssss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{c0}{c1}_{"toy3ssss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.7}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 '
        # f'--resume --source cifar10_binary_{c0}{c1}_{"toy3sss100scale"}_abp_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1  --reinit 1 --c0 {c0} --c1 {c1}\n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.1} --version {"toy3srr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{c0}{c1}_{"toy3srr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 0 '
        # f'--lr 0.001 --bp_layer 4 --aug 1 --adv_train 1  --c0 {c0} --c1 {c1} --epsilon 0.314 --pnorm l2 --steps 10 --alpha 0.00784 \n'
        # #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.025} --w-inc2 {0.05} --version {"toy3ssr100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{c0}{c1}_{"toy3ssr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 1 '
        # f'--resume --source cifar10_binary_{c0}{c1}_{"toy3srr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.1}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 3  --aug 1  --reinit 3 --adv_train 1 --c0 {c0} --c1 {c1} --epsilon 0.314 --pnorm l2 --steps 10 --alpha 0.00784  \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.05} --version {"toy3sss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{c0}{c1}_{"toy3sss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 2 '
        # f'--resume --source cifar10_binary_{c0}{c1}_{"toy3ssr100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.025}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f' --lr 0.001 --bp_layer 2  --aug 1  --reinit 2 --adv_train 1 --c0 {c0} --c1 {c1} --epsilon 0.314 --pnorm l2 --steps 10 --alpha 0.00784  \n'
        #
        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize 0 '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {0.7} --version {"toy3ssss100scale"} --seed {params[3]} --iters 15000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 1 --divmean {params[2]} '
        # f'--target cifar10_binary_{c0}{c1}_{"toy3ssss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.7}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--updated_fc_ratio 10 --updated_conv_ratio 20 --verbose_iter 500 --freeze_layer 3 '
        # f'--resume --source cifar10_binary_{c0}{c1}_{"toy3sss100scale"}_abp_adv_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{0.05}_nb{params[1]}_nw0_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]} '
        # f'--lr 0.001 --bp_layer 1  --aug 1 --reinit 1 --adv_train 1 --c0 {c0} --c1 {c1} --epsilon 0.314 --pnorm l2 --steps 10 --alpha 0.00784 \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 {params[14][0]} --c1 {params[14][1]} '
        # f'--target cifar10_binary_{params[14][0]}{params[14][1]}_eps0.25_adv_{params[6]}_{params[0]}_i1_{params[12]}_b{params[7]}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f' --adv_train 1 --epsilon 0.00784 --pnorm linf --steps 1 --alpha 0.00784 '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 1 --normal-noise --epsilon 0.25 \n'

        # f'python train_cnn01_01.py --nrows {params[7] / 10000} --localit 1 '
        # f'--updated_conv_features {params[8]} --updated_fc_features 128 --updated_fc_nodes {params[5]} '
        # f'--updated_conv_nodes {params[4]} --width 100 --normalize {params[13]} '
        # f'--percentile 1 --fail_count 1 --loss {params[12]} --act {params[0]} '
        # f'--fc_diversity 1 --init {params[11]} --no_bias {params[1]} --scale 1 '
        # f'--w-inc1 {0.05} --w-inc2 {params[10]} --version {params[6]} --seed {params[3]} --iters 2000 '
        # f'--dataset cifar10_binary --n_classes 2 --cnn 0 --divmean {params[2]} --c0 {params[14][0]} --c1 {params[14][1]} '
        # f'--target cifar10_binary_{params[14][0]}{params[14][1]}_eps0.25_{params[6]}_{params[0]}_i1_{params[12]}_b{5000}_lrc{0.05}_lrf{params[10]}_nb{params[1]}_nw{params[13]}_dm{params[2]}_upc{params[4]}_upf{params[5]}_ucf{params[8]}_{params[11]}_{params[3]}  '
        # f'--updated_fc_ratio 20 --updated_conv_ratio 20 --verbose_iter 50 --normal-noise --epsilon 0.25\n'
    ]

    file_name = 'temp_sh/temp_job%d.sh' % i
    files.append(file_name)
    with open(file_name, 'w') as f:
        f.writelines(part_1)
        f.writelines(part_2)
        f.writelines(part_3)

with open('subjob.sh', 'w') as f:
    f.writelines(['#!/bin/bash\n\n'])
    for name in files:
        f.write('sbatch %s\n' % name)

