TensorSharp
TensorSharp 接入通义图像模型 — 中国开源正在补齐"本地 AI"这块拼图
TensorSharp 是一个开源本地 AI 推理引擎，本周接入了阿里通义的 Qwen Image 2.1 Turbo 和 LoRA。它让我们关心的是：跑 AI 不必上云这件事，正在被中国开源项目一寸寸拉近现实。
返回首页
TensorSharp
找到 4 篇关于此标签的文章
Qwen
176B 大模型在一台游戏本上跑通了 — 本地 AI 离「能用」比想象中更近
这周一位开发者在 RTX 3080 笔记本（16GB 显存+32GB 内存+SSD）上成功运行 Qwen 176B MoE 模型（一种按需激活参数的稀疏架构），解码速度达每秒 11 个 token。关键不是硬件堆料，而是把显存、内存、SSD 当成统一资源调度。我们认为这意味着本地大模型离「真正可用」
TensorSharp
本地推理 AI 提速 3.3 倍 — 不愿把数据交给 OpenAI 的企业多了新选项
本周 TensorSharp 团队发布对比测试：用 DiffusionGemma 做分类决策时，本地推理中位延迟从 10.5 秒降至 2.9 秒，提速约 3.3 倍；36 次请求零失败，原方案 9 次因 JSON 解析报错。对关心数据隐私、不愿把数据上公有云的企业，这是一份值得留意的进展。
智谱
AI 解码快一倍：TensorSharp 把 llama.cpp 拉下马，部署成本或砍半
智谱 GLM-5.3-Flash 在新框架 TensorSharp 上跑出比 llama.cpp 快一倍的解码速度，本地部署成本可能显著下降，但生态成熟度仍是未知数。