Common Crawl

训练大模型的真门槛不是算力是数据 — 而好数据正变得越来越难拿

Common Crawl 累计抓了 3000 亿网页是全行业训练数据起点，但书籍因版权陆续下架、Reddit 和 Stack Overflow 开始收费授权。"喂什么"正在变成比"用什么架构"更难的问题。