Common Crawl 从 2007 年到现在累计抓了 3000 亿网页，是几乎所有大模型的训练数据起点。但决定一个模型能力上限的，不是参数不是 GPU，是喂进去的数据——架构可以抄，算力可以买，唯独高质量语料是各家最不愿公开的秘密。编辑部更关心的是另一面：这个数据源头正在被掐紧——书籍子集因版权陆续下架、Reddit/Stack Overflow 开始收费。能商用的全量语料，比三年前难拿得多。

这是什么

训练一个大模型要吃掉几万亿到十几万亿 token 的文本（一个 token 大致相当于一个汉字或半个英文单词）。能撑起这个量的数据源不多：公开网页占大头；书籍提升长文连贯性但公开子集在收缩；GitHub 代码增强逻辑推理；arXiv 论文提供学术严谨度；维基百科是几乎所有语料的标配。

原始网页很脏，HTML 标签、导航栏、广告占了大头。要过一道漏斗：识别语种、抽取正文（用 Trafilatura 这类库去掉样板）、去重、过滤低质与有毒内容。每级都丢一批，最终只剩原始量的百分之几。

行业怎么看

老话叫 Quality In, Quality Out：同架构同算力下，喂不同数据，模型差一档。头部公司把数据配方视为最核心商业机密。

但有反对声音。风险之一是版权：《纽约时报》诉 OpenAI 若形成判例，可能让全行业重谈授权，把上亿美元训练成本再往上推。另一担忧是「数据撞墙」：公开互联网被洗过几轮后，纯堆数据的边际收益在递减，也是近一年合成数据被认真讨论的原因。

还有：语言识别的标配 fastText，GitHub 仓库 2024 年被 Meta 归档，不再积极维护。

对普通人的影响

对企业 IT：手上的独特数据——行业报告、客户对话、内部文档——在 AI 时代反而成了真正的护城河。怎么用、合规怎么走，比算法更重要。

对个人职场：在专业社区写过的有质量回答，未来可能比你以为的值钱——这些内容正在被 AI 公司采集、付费或对簿公堂。「公开场合输出有质量的内容」正在变成隐性资产。

对消费市场：用通用大模型 API 包装的同质化产品会越来越多，因为训练数据高度重叠。真正能拉开差距的，只有垂直领域私有数据或对用户上下文的深度理解，这两样廉价 API 解决不了。