llama.cpp
llama.cpp Q8_0 通过 SYCL 修复在 Intel Arc GPU 上实现 3.1 倍加速
一段 200 行的 SYCL 补丁修复了 Q8_0 缺失的重排序优化,使 Intel Arc B70 的吞吐量从 4.88 t/s 提升至 15.24 t/s。
4月6日5 分钟opcnew 编辑部reddit.com
找到 1 篇关于此标签的文章
一段 200 行的 SYCL 补丁修复了 Q8_0 缺失的重排序优化,使 Intel Arc B70 的吞吐量从 4.88 t/s 提升至 15.24 t/s。