一名律师开发者在八张 2018 年生产的 V100 显卡上跑通 DeepSeek-V4.1-Flash,代码生成速度达到 215 token/s,法律写作约 103—118 token/s,并支持 52.4 万 token 上下文;我们认为,这件事真正值得关心的不是“旧显卡复活”,而是本地模型开始具备可被专业工作验证的部署能力。

这是什么

该项目把 248.8GB 量化权重全部放进显存,通过跨机拆分与定制内核优化,在单请求模式下运行 DeepSeek-V4.1-Flash。开发者称,模型已接入自己的知识库、工具调用和远程交互环境,约 50%—60% 原有大语言模型工作流可交由其处理。

需要先说明:量化是用更低精度压缩模型权重,以减少内存占用并换取推理速度;检索增强生成(RAG,先从资料库检索相关内容,再让模型据此回答)也已被接入。相关结果来自开发者自测,基准条件、任务质量和稳定负载仍需独立复现,不能直接等同于商业服务承诺。

行业怎么看

我们认为,这一案例释放出一个务实信号:企业选择模型时,推理成本、硬件兼容性和数据可控性,可能与榜单分数同样重要。八张 V100 属于高频退役或闲置设备,若更多量化模型能稳定达到实用速度,企业可在敏感文档处理、代码辅助和内部知识问答中保留更多本地算力。

但风险也很明确。V100 服务器需要定制内核、PCIe 拓扑优化和工程调试,个人难以复现;52.4 万上下文在实际业务中也会增加等待时间和资源占用。更关键的是,开发者只做单请求测试,并称日常任务很少超过 20 万 token,尚未证明多用户并发、长期稳定性和总拥有成本足以优于云端 API。

对普通人的影响

对企业 IT:本地部署可能成为云端模型之外的成本选项,尤其适合法律、金融等重视数据边界的团队;但采购前应核算调优人力、并发能力和故障维护。

对个人职场:懂代码的律师、咨询顾问和技术从业者,可能用较低成本搭建专属助手;不熟悉模型部署的人仍会主要依赖托管产品。

对消费市场:模型价格与云服务竞争可能继续下探,推动更便宜的软件订阅和设备端能力,但这一案例离大众消费级产品仍有距离。