🍭[Roadmap] ms-swift3.9-3.11 #5721
Description
模型
- 最新模型接入 P0
训练
- RAY支持 P0
- 多模态padding_free/packing支持更多模型
- 混合数据训练支持更多多模态模型
- agent template支持更多模型
- ✅ulysses & ring attention混合使用支持
- ✅embedding & reranker 数据集格式重构
- ms-swift目录结构重构
Megatron-SWIFT
- 新模型支持 P0
- blockwise fp8 P1
- RLHF支持 P0
a. GRPO
b. KTO - swanlab支持
- 分类/Embedding模型支持 P0
- Deepspeed集成
- LoRA权重不进行merge导出HF
- 权重转换优化：
a. 多机转换
b. 去除transformers和megatron格式转换的步骤 - 按epoch保存; save_total_limit; vp; 异步存储支持 P0
- 升级megatron-core 0.14
- 多模态支持 ViT部分性能优化
- megatron infer/deploy/eval模块支持
RL
- GRPO
a. 权重同步优化（LoRA/MoE）
b. 训练显存优化
c. ✅CHORD
b. Agent MCP
c. sglang
d. 效率对比benchmark - RLOO P1
- Reinforce++ P0
- KTO padding_free支持
- RM 支持 pointwise 训练 P0
- liger_kernel显存优化
推理部署
- reranker推理部署支持 P0
- sglang支持多模态模型
- vllm/sglang支持分类模型/RM
量化
- 量化支持更多类型模型：embedding/reranker/多分类等 P2
- GPTQ/AWQ升级 P2
ms-swift3.6-3.8 Roadmap: #4561