← 返回情报列表** GLM-5.3 NVFP4是Z.ai混合专家模型的量化版本,总参数量7530亿,每个token激活400亿参数 ** 模型检查点约464GB,超过单块GB300 GPU的252GB HBM3e显存容量,因此用两台DGX Station将全部权重保存在GPU显存中,并禁用CPU权重卸载 ** 两台Station通过ConnectX-8 RDMA互联,张量并行TP=2将模型张量与计算拆分到两块GB300 GPU上 ** 两台Station共同处理每个请求,由Station A通过单一OpenAI兼容API端点返回结果 ** 教程演示用vLLM本地部署GLM-5.3、发送请求并在并发负载下测量行为,部署吞吐达607.8 tok/s ** 部署前提是用官方Connect Two DGX Stations playbook连接两台设备,并在双rail上完成GPU显存RDMA验证测试
📌 2026-11-15·Hacker News
用vLLM在两台NVIDIA DGX Station上以607.8 tok/s服务GLM-5.3
#LLM#vLLM#推理部署