Awesome LLMnference

项目简介

高效LLM推理库，优化DeepSeek模型部署，提供基准测试工具。

项目优势

性能调优，支持多种硬件；优势包括社区最佳实践、新手友好扩展，提升推理效率。

使用场景

模型基准测试、云服务优化、研究对比

上手难度

需专业经验

是否免费

免费

项目地址

https://github.com/DefTruth/Awesome-LLM-Inference