SGLang

SGLang是什么 SGLang 是开源的高性能大型语言模型和多模态模型推理框架。框架提供低延迟、高吞吐量的推理服务，支持从单个 GPU 到大规模分布式集群的部署。SGLang 支持多种模型（如 Ll...