两台Spark“并联”真比一台好吗?
结论
联机优势,跑大尺寸模型,对单个请求延迟有高要求。否则单机部署更灵活。
| 测试项 | 单机 | 双机 | 实际提升 |
|---|---|---|---|
| 并发 3 路 | 10.63 tok/s | 15.07 tok/s | +42% |
| 长文本 | 3.76 tok/s | 6.10 tok/s | +62% |
| 短文本 | 3.52 tok/s | 5.15 tok/s | +46% |
背景
本次采购两台 NVIDIA DGX Spark,搭载 GB10 Blackwell GPU,128GB 统一内存。本次测试旨在验证在这套硬件上运行大型语言模型的推理能力,并对比单机与双机分布式部署的性能差异。