ExLlama

本地大模型推理引擎开始碎片化，社区提议建立模块化共享库

开源社区正出现大量针对特定硬件、模型和量化方式的定制推理引擎，单个项目可能有价值，却难以被多数用户复用。有人提议把其中的优化拆成模块，统一测试、标注和检索，降低本地部署门槛，也让算力与订阅资源得到更有效利用。