1、下载AISBench安装包
1.1、下载安装包
git clone https://gitee.com/aisbench/benchmark.git
1.2、安装
cd benchmark
执行以下命令安装
pip3 install -e ./ --use-pep517 \
--timeout 600 \
--default-timeout=600 \
-i http://mirrors.aliyun.com/pypi/simple/ \
--trusted-host mirrors.aliyun.com
2、修改配置文件
ais_bench --models vllm_api_general_chat --datasets demo_gsm8k_gen_4_shot_cot_chat_prompt --search
修改 /home/openlab/shaojing/benchmark/ais_bench/benchmark/configs/models/vllm_api/vllm_api_general_chat.py 文件
3、数据集下载：
进入以下路径
cd benchmark/ais_bench/datasets/
wget http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/gsm8k.zip
unzip gsm8k.zip
rm -rf gsm8k.zip
4、执行测试命令
ais_bench --models vllm_api_general_chat \
--datasets demo_gsm8k_gen_4_shot_cot_chat_prompt \
--mode perf \
--num-prompts 8 \
--debug
