工厂自动化软件环境集成
内置本地模型库
内置人机交互界面
开放二次开发接口
内置经过参数优化的推理引擎
满足更多并发下的使用体验
优异的TPS/TTFT/TPOT性能
基于成熟G5208硬件平台
采用高品质原装计算卡
多家CSP一致选择
| G5208 R1-32B-Pro | G5208 R1-32B-Premier | G5208 R1-70B-Lite | G5208 R1-70B-Premier | |
| 硬件参数 | ||||
| CPU资源 | 64核 | 64核 | 64核 | 64核 |
| 系统缓存 | 512G | 512G | 512G | 512G |
| 算力能力 | 96G显存、2048张量核、1.29PFLOPS算力 | 192G显存、4096张量核、2.58PFLOPS算力 | 96G显存、2048张量核、1.29PFLOPS算力 | 192G显存、4096张量核、2.58PFLOPS算力 |
| 软件环境 | ||||
| 模型 | DeepSeek-R1-Distill-Qwen-32B | DeepSeek-R1-Distill-Qwen-32B | DeepSeek-R1-Distill-Llama-70B FP8-Dynamic | DeepSeek-R1-Distill-Llama-70B |
| 知识库 | Dify | Dify | Dify | Dify |
| 其他 | 集成PyTorch深度学习框架、SGLang推理引擎、WEB人机交互 | 集成PyTorch深度学习框架、SGLang推理引擎、WEB人机交互 | 集成PyTorch深度学习框架、SGLang推理引擎、WEB人机交互 | 集成PyTorch深度学习框架、SGLang推理引擎、WEB人机交互 |
| 性能参数 | ||||
| 并发数 | 80 | 160 | 32 | 32 |
| TPS | 1623 tokens/s | 2842 tokens/s | 694 tokens/s | 616 tokens/s |
| TTFT | 0.372s | 0.380s | 0.372s | 0.348s |
| TPOT | 0.047s | 0.052s | 0.045s | 0.051s |
| G5208 R1-671B-Lite | G5208 R1-671B-Premier | |
| 硬件参数 | ||
| CPU资源 | 256核 | 384核 |
| 系统缓存 | 2048G | 3072G |
| 网络环境 | 25G以太网 | |
| 算力能力 | 768G显存、16384张量核、10.32PFLOPS算力 | 1152G显存、24576张量核、15.48PFLOPS算力 |
| 软件环境 | ||
| 模型 | DeepSeek-R1-AWQ | DeepSeek-R1 |
| 知识库 | Dify | |
| 其他 | 集成PyTorch深度学习框架、vLLM推理引擎、WEB人机交互 | 集成PyTorch深度学习框架、vLLM推理引擎、WEB人机交互 |
| 性能参数 | ||
| 并发数 | 16 | 24 |
| TPS | 10 tokens/s | 10 tokens/s |
| 计算精度 | INT4 | |
了解有关该产品的更多信息 ， 请联系销售代表代表或业务合作伙伴
