From 6db2d1f4b59578eac8a4acb55bf729498368d6df Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Tadej=20Ciglari=C4=8D?= Date: Fri, 25 Apr 2025 11:44:37 +0100 Subject: [PATCH] added flash attention prefill shapes to benchmarks --- benchmarks/pvc/input_flash_prefill.in | 448 ++++++++++++++++++++++++++ 1 file changed, 448 insertions(+) create mode 100644 benchmarks/pvc/input_flash_prefill.in diff --git a/benchmarks/pvc/input_flash_prefill.in b/benchmarks/pvc/input_flash_prefill.in new file mode 100644 index 0000000000..912055b823 --- /dev/null +++ b/benchmarks/pvc/input_flash_prefill.in @@ -0,0 +1,448 @@ +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_Causal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_FixedLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHABF16BF16FP32_RCR_h64_NonCausal_VarLen --bm_name=bf16_bf16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_Causal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_FixedLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=1 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=2 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=4 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=8 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=16 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=32 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=4096 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=4096 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=40 --head_size_vo=40 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=1024 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=1024 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=80 --head_size_vo=80 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=256 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=256 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=64 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160 +#PvcFMHAFP16FP16FP32_RCR_h64_NonCausal_VarLen --bm_name=fp16_fp16_fp32 --seq_len_qo=64 --seq_len_kv=77 --batch=64 --num_heads_q=8 --num_heads_kv=8 --head_size_qk=160 --head_size_vo=160