训练数据墙：高质量中文与人类文本耗尽之后
最后更新：2026-09-19｜数据截止 2026 年中：数据存量、耗尽时间点估计分歧很大，本文讲机制与分歧，不引用未经核实的精确存量数字。
本文是产业观察，回答：如果模型主要靠吞下互联网文本成长，当高质量人类文本被用完，Scaling Law 还怎么继续。 DeepSeek 时刻 讲效率如何部分对冲规模，版权与数据交易（H4）讲法律战，开源反攻 提到蒸馏与合成数据；本文正面拆「数据」这个与算力并列的生产要素：墙是否存在、多高、怎么翻。
先说结论
- 高质量人类文本是有限存量，而大模型胃口指数增长，二者存在真实张力。 有影响力的研究估算：高质量文本、书籍、代码等「值得喂」的数据可能在数年内被主要玩家用尽，远早于算力或需求见顶。
- 「数据墙」之争远未定论。 存量测算、去重质量、什么算「用完」、模型实际数据效率都高度不确定；业内一派认为墙已临近，一派认为效率提升和新数据源会持续推迟它。
- 合成数据是主药也是双刃剑。 用模型生成数据训练下一代模型，可补充规模与难例，但存在「模型崩溃」、多样性塌缩、错误自我强化的风险，真实人类数据更像不可替代的「锚」。
- 新矿在多模态、视频、代码、机器生成与真实世界行为数据；同时版权正在变成硬约束。 竞争从「谁抓得多」转向「谁有合法、高质量、独占的数据飞轮」。
一句话：算力可以加钱扩，高质量人类数据不能——数据墙未必是一堵近在眼前的硬墙，但它正在把竞争从「堆参数和 token 数」逼向「数据质量、合成能力和合法独占的数据飞轮」，数据由此成为与算力、算法并列的稀缺生产要素。
一、数据为什么可能成为最短的那块板
大模型预训练的经典 Scaling Law 假设：模型越大、算力越多、数据越多，性能可预测地提升。但三者的供给曲线完全不同：
- 算力贵但可以采购、扩产（受 HBM/电力约束，见 A/B 层）；
- 算法随研究与人才流动持续进步，效率提升能省算力和数据（见 DeepSeek 时刻）；
- 高质量数据（精心写作的网页、书籍、学术论文、高质量代码、专业内容）是历史积累的有限存量，不会因为加钱就立刻变多，且大量优质内容有版权、有付费墙。
同时，模型训练消耗 token 的速度在指数级增长，而互联网上真正「高质量、去重后值得喂」的文本增长慢得多。几项有争议但影响巨大的研究据此估算：高质量文本存量可能在几年内被头部玩家用尽。若数据先于算力见顶，经典「给更多数据就变强」的曲线就会撞到墙。
二、数据墙之争：到底有没有墙、墙在哪
需要强调，数据墙不是已被证实的确定预言，而是一场活跃争论，分歧来自几个口径：
| 争论点 | 「墙临近」派 | 「墙可推迟」派 |
|---|---|---|
| 存量测算 | 严格筛选后的高质量语料有限 | 现有估算口径过窄、低估可用数据 |
| 数据效率 | 模型消耗 token 太快 | 数据配比、课程、去重让每 token 更值钱 |
| 合成数据 | 难以无限自喂，易退化 | 高质量合成 + 真实锚点可有效扩容 |
| 新数据源 | 多模态/视频难用、成本高 | 视频、代码、交互行为是巨大新矿 |
几个关键概念需要厘清：
- 不是「没有文本」，而是「没有高质量文本」。 低质、重复、SEO 垃圾、广告、机器灌水内容近乎无限，但喂多了反而损害模型；真正稀缺的是去重后、信息密度高、正确可靠的人类知识表达。
- 中文等语种的结构性稀缺。 高质量中文语料在全球占比中偏小，专业、书籍、学术类尤其稀缺，叠加部分平台内容封闭，使中文模型在「母语优质营养」上面临更紧的约束。
- 数据墙可能不是垂直悬崖，而是收益递减的斜坡。 更可能的情形是：随便抓来的新 token 边际收益下降，迫使行业转向质量、效率和新模态，而不是某天突然无米下锅。
三、合成数据：主药，但不能只吃自己
应对数据墙，行业的头号答案是合成数据——用强模型生成训练语料、问答、推理链、难例，再喂给下一代模型。它的价值真实：
- 可规模化、可定向：能针对稀缺能力（数学、代码、长推理、特定格式）大量造题、给可验证答案；
- 降低标注负担：在 数据标注产业 之外，用模型生成 + 规则验证替代部分人工；
- 蒸馏小模型：用强教师模型的输出训练小模型，是开源追平的重要手段（见 开源反攻）。
但合成数据有深刻风险，研究界称为「模型崩溃」（model collapse）：当模型一代代在自己（或同类）的输出上训练，分布尾部被截断、多样性塌缩、误差和偏差被反复放大，如同反复复印复印件。真实人类数据提供了与客观世界和真实分布相连的「锚」，这个锚难以被合成完全替代。因此主流做法不是「全合成」，而是：
- 真实高质量数据打底（保多样性与事实锚点）；
- 合成数据定向补短板、扩难例；
- 引入可验证奖励（RL，见 DeepSeek 时刻）让生成结果对对错负责，而不是只模仿文本分布。
四、新矿与法律边界：数据从哪来
当网页文本变贵，数据版图向几个方向扩张：
- 多模态与视频：图像、视频、音频蕴藏远大于文本的信息量，是多模态/世界模型的关键燃料（见多模态篇），但处理成本高、版权和肖像权问题更复杂。
- 代码与可执行环境：代码可运行、结果可验证，是高质量「带标准答案」的数据；终端交互、浏览器操作、工具调用等 Agent 轨迹成为新的高价值数据（呼应 Agent 落地篇）。
- 真实世界与机器数据：机器人、自动驾驶的传感器数据、仿真合成数据是物理 AI 的燃料（见 人形机器人、自动驾驶）。
- 专有与授权数据：与出版商、内容平台签授权协议，或用企业私有数据做壁垒；数据从「免费抓取」走向「付费许可与独占」。
法律边界正在快速收紧：内容方与平台就「未经授权抓取训练」发起大量诉讼与谈判（详见版权篇 H4），robots 协议、付费墙、数据库立法、公开数据使用条款都在重新划定可抓与不可抓。数据的获取成本，正在从接近零的爬取，变成实打实的许可、合规与诉讼成本。
五、变量与置信度判断
| 变量 | 作用方向 | 时间窗 | 置信度 |
|---|---|---|---|
| 高质量网页文本边际收益下降 | 倒逼质量/新数据源 | 已发生 | 高 |
| 数据效率（配比/去重/课程）提升 | 推迟墙 | 持续 | 中高 |
| 合成数据 + RL 验证 | 扩容但不替代真实锚 | 已发生 | 高 |
| 版权许可成本上升 | 数据成为资本开支 | 进行中 | 高 |
| 多模态/视频/行为数据规模化 | 打开新供给 | 2~5 年 | 中高 |
- 未来 1~3 年（高置信度）：随便爬取的低质 token 边际效用持续降低，行业转向数据配比、去重、合成 + 真实混合与定向难例；版权许可与诉讼成为数据获取的显性成本，数据合作和私有化数据价值上升。
- 未来 3~5 年（中高置信度）：视频、多模态、可执行代码和 Agent/真实交互行为数据成为重要增量，合成数据在可验证领域（数学/代码）贡献更大，但完全自喂的退化风险约束其比例。
- 长期（中置信度）：经典纯文本墙更可能以「收益递减斜坡」形式被效率和新模态逐步翻越，而非突然中断；真正稀缺的是合法、高质量、可形成独占飞轮的数据，数据资产能力成为头部玩家的核心壁垒之一。
六、对不同角色，这意味着什么
- 对模型公司：建立数据战略（来源合法性、配比、合成管线、数据飞轮）和留存真实高质量数据，和堆算力同等重要；中文等稀缺语种需专项投入。
- 对内容/平台方：数据从「被爬取的成本项」变成「可授权的资产」，议价权上升，但要在开放与封锁间权衡生态。
- 对企业：私有的业务数据、用户交互和工作流数据是构建差异化模型的护城河，数据治理与可用性格外重要。
- 对标注与数据服务：价值从单纯标注转向高质量采集、合成验证、RL 反馈和合规数据集（见 数据标注产业）。
- 对政策与法律：训练数据的合理使用边界将被持续重塑，影响全球模型公司的成本结构与竞争。
延伸观察：当数据成为战略资产，企业该怎么建自己的「数据护城河」
数据墙的讨论多聚焦在全行业层面的语料枯竭，但对单个企业而言，它有一个更直接、更可操作的含义：公开互联网数据人人可抓，无法构成差异化；真正能让一家公司的 AI 与众不同的，是它独有的、持续更新的、且经过业务验证的数据资产。 当通用基座模型因训练数据趋同而能力趋同（大家读的是同一个互联网），竞争优势就从「谁的模型大」转向「谁喂给模型的私有数据更独特、质量更高、飞轮转得更快」。这让数据治理从过去的合规和 IT 议题，上升为 AI 时代的核心战略议题。
企业的数据护城河通常有三层。最底层是业务过程数据：交易记录、用户行为、设备日志、供应链和客服记录等。这类数据量大，但原始价值密度低，关键在于能否脱敏、清洗、结构化成模型可用的形态，并沉淀出标注和反馈。中间层是决策与结果数据：哪些推荐被采纳、哪些报价最终成交、哪些诊断被证明正确——这类「带结果标签」的数据尤其珍贵，因为它天然包含可验证的对错信号，可以直接用于监督或强化学习（与 推理模型 的可验证奖励逻辑一致）。最上层、也最难复制的是用户交互反馈飞轮：产品用得越多，用户的点击、修改、采纳、放弃行为越多，模型越懂这个场景，体验越好则用户越多——这是一个越转越强的数据网络效应，也是平台型公司最深的 AI 壁垒。
但建数据护城河有几个现实陷阱。其一，「拥有数据」不等于「能用数据」。大量企业的数据散落在互不连通的系统里、口径混乱、权限不清，真正用于训练前要付出巨大的治理成本；不先解决数据架构和质量问题，谈训练私有模型就是空中楼阁。其二，隐私与合规是硬边界。用户数据的使用必须有合法基础，跨境流动受严格监管，金融医疗等行业还有额外要求——这既是约束，也是合规能力强的企业的竞争门槛。其三，避免「数据囤积」误区：并非数据越多越好，低质、重复、过时的数据反而拖累模型；在数据墙时代，「少而精、带反馈、可持续」的数据集往往胜过海量原始堆积。
对大多数企业，务实的路径不是从零训练基座，而是**「通用大模型 + 私有数据增强」的组合**：用能力强的通用或开源模型做底座（见 开源反攻），通过检索增强（RAG）、微调、工具调用等方式注入私有知识，让模型在保持通用能力的同时具备企业专属认知。这种路径成本低、迭代快，还能避免私有数据外流；真正需要自研模型的，只有那些数据规模、安全要求或场景特殊性足以支撑投入的头部组织。判断标准很朴素：如果你的数据是别人没有、且与业务结果强相关的，它就值得重点投资；如果只是公开信息的重复，再大的数据量也构不成护城河。
放到更大的产业图景里，企业数据战略的兴起，会创造一个围绕数据的新市场：数据清洗与治理工具、私有化 RAG 和向量检索（呼应 数据库的复兴）、合成数据生成、数据确权与交易、隐私计算和数据信托等。同时它也重塑了企业与大模型公司的议价关系——当最有价值的知识在企业自己手里，模型供应商的通用能力会被视为可替换的「引擎」，而掌握独特数据和业务流程的企业才掌握价值链的咽喉。数据墙对整个互联网是供给约束，对单个有准备的企业，却可能是把多年积累的隐性知识转化为 AI 时代显性壁垒的历史性机会。
除了「数据够不够」，数据墙时代还有一个同等重要、却更隐蔽的维度：数据质量的度量与治理正在成为一门硬工程。当随便扩大数据规模不再线性提升模型，团队的精力转向回答更精细的问题：哪些数据源真正贡献了能力？重复和低质内容的比例如何？训练中的「数据课程」（先学什么、后学什么、各阶段配比）怎样设计最优？如何在多轮训练中避免模型被低质数据「教坏」？这催生了一套数据-centric（以数据为中心）的方法论：用小规模对照实验（ablation）评估数据价值、建立数据质量评分和去重管线、追踪模型在特定能力上的数据归因。某种意义上，AI 的竞争重心正从「模型架构创新」部分转移到「数据工程和数据科学」——谁更懂得用数据，而不仅是谁拥有更多数据。对企业这同样成立：内部数据资产的质量、标注和治理水平，往往比是否自研模型更早决定 AI 落地的成败。
多模态数据带来的不只是增量，更是全新的技术和版权复杂度。 文本语料至少还可以爬取、清洗、去重，而视频和图像的训练涉及对海量画面、声音、字幕的理解和对齐，处理成本高出几个数量级；更关键的是，视频里同时包含画面、音乐、台词、演员肖像等多重权利，任何一项都可能构成版权障碍。音乐厂牌、影视公司、图片社、体育联盟等权利方高度集中且维权能力强，使得多模态训练的数据许可谈判远比文本复杂，甚至可能重塑内容产业与 AI 公司的关系——从诉讼对抗走向大规模授权，或通过入股、收入分成形成利益共同体。与此同时，合成视频和仿真环境（游戏引擎、机器人和自动驾驶仿真）提供了另一条绕开真实版权数据的路径，但又回到「合成数据能否保真、能否避免与真实分布脱节」的老问题。可以预见，多模态时代的数据获取会更「重」、更昂贵、更机构化，掌握高质量专有视觉/视频数据的一方，议价权会显著上升。
最后，数据墙对模型公司的组织和商业模式也有深层影响。当数据成为比算力更紧的约束，公司的护城河越来越多建立在独占数据和持续反馈闭环上，这会推动两种分化：一种是「拥有数据入口」的公司（平台、应用、设备厂商）凭真实交互数据占优，模型能力与产品数据形成飞轮；另一种是纯模型提供商必须通过 B 端合作、授权采购或进入终端场景来获取稀缺数据，否则容易在数据枯竭中掉队。数据还会影响公司边界——我们已经看到模型公司向应用和硬件延伸、应用公司反向自研模型，很大程度都是为了把数据闭环握在自己手里。对整个生态，这未必是坏事：当公开互联网数据红利见顶，价值会更多流向真实生产场景里产生的高质量、专有、带反馈的数据，而这些数据天然分散在千行百业之中，这为垂直行业和传统企业提供了独特的博弈筹码——它们手中「别人没有的数据」，可能正是下一轮 AI 竞争中最值钱的入场券。
结语：算力可买，好数据难再生
Scaling Law 的三根支柱里，算力可以加钱扩张、算法随人才进步，唯独高质量人类数据是难以快速再生的有限存量。数据墙是否会在某一年精确到来尚有争论，但「随便抓 token 就能变强」的时代确实在结束——文本收益递减、中文等语种结构性稀缺、版权让爬取从免费变昂贵。行业用合成数据、强 RL 验证、多模态视频、可执行代码和真实交互行为去翻越这堵墙，同时小心翼翼地保留真实数据这一防止模型崩溃的锚。最终，竞争的分水岭不再是谁吞下最多网页，而是谁能合法、持续、高质量地把真实世界的数据变成自己独占的飞轮。在这场竞赛里，数据不再是免费的阳光，而是和电力、晶圆一样需要争夺与定价的战略资源。
数据口径与延伸
- 数据口径：高质量文本存量有限、数据墙研究的争议、合成数据与模型崩溃、GQA 之外的数据效率手段、多模态/行为/授权数据与版权约束，来自公开研究、技术报告与法律/行业动态的通用口径。具体存量与耗尽年份估计分歧极大，本文不采用未核实的精确数字。数据截止 2026 年中。
- 相关产业观察：DeepSeek 时刻、开源模型反攻、数据标注产业、数据库的复兴。
- 同批待写延伸：版权与数据交易（H4）、多模态模型（F6）、人形机器人（J2）、自动驾驶（J1）。
一句话总结：在算力可加钱扩张、算法随人才进步的同时，去重后真正高质量的人类文本（书籍/论文/优质网页/代码，尤其中文优质语料）是难以快速再生的有限存量，而模型消耗 token 的速度指数增长，使「继续堆数据就变强」的经典 Scaling Law 面临边际收益递减——但「数据墙」是活跃争论而非定论，更可能表现为斜坡而非悬崖；行业的主药是合成数据与强 RL 后训练：用强模型定向生成数学/代码/推理难例并以可执行、可验证的方式纠错，但纯合成自喂会因多样性塌缩和误差放大导致模型崩溃，真实人类数据始终是不可替代的分布锚点；新的供给来自多模态音视频、可执行代码、Agent 工具调用轨迹、机器人/自动驾驶等真实机器数据和付费授权的专有数据，而版权诉讼与平台封锁正把数据成本从近乎为零的爬取变成显性的许可与合规开支——最终竞争从「谁抓得多」转向「谁掌握合法、高质量、可独占的数据飞轮」，数据因此成为与电力、晶圆并列的战略资源。