deepseekv3 开启 tp + ep 的混合模式的时候，精度会下降。 #1223
Description
LOADWORKER=14 python -m lightllm.server.api_server --model_dir /mtc/sufubao/DeepSeek-V3.2 --tp 8 --graph_max_batch_size 32 --tool_call_parser deepseekv32 --mem_fraction 0.8 --reasoning_parser deepseek-v3 --dp 4 --enable_ep_moe
HF_ALLOW_CODE_EVAL=1 HF_DATASETS_OFFLINE=0 lm_eval --model local-completions --model_args '{"model":"deepseek-ai/DeepSeek-V3.2", "base_url":"http://localhost:8000/v1/completions", "max_length": 16384}' --tasks gsm8k --batch_size 500 --confirm_run_unsafe_code
上面是评测的命令，也做了tp 8 然后 dp 2， dp 1的消融分析，也是一样的现象，可能是ep 模式下，qkv 部分的支持切分可能存在精度问题。只有tp 8， dp 8 的时候，精度是正常的。