高效LLM推理库,优化DeepSeek模型部署,提供基准测试工具。
性能调优,支持多种硬件;优势包括社区最佳实践、新手友好扩展,提升推理效率。
模型基准测试、云服务优化、研究对比
需专业经验
免费
https://github.com/DefTruth/Awesome-LLM-Inference