DeepSpeed

DeepSpeed-MII是什么 DeepSpeed-MII 是 DeepSpeed 团队开源的 Python 库，提供高效模型推理。DeepSpeed-MII用阻塞 KV 缓存、连续批处理和动态 S...