什么是模型崩溃？
模型崩溃（Model Collapse），也被称为"模型自噬"或"模型退化"，指当 AI 模型的训练数据中包含越来越多由前代 AI 模型生成的内容时，后代模型的质量会逐渐下降的现象。每次用 AI 生成数据训练下一代模型，模型都会丢失真实数据分布的尾部特征（长尾知识），几代之后模型可能变得"平庸"甚至"荒谬"。
模型崩溃的发生机制
第一代：在真实人类数据上训练，模型质量好，多样性丰富。第二代：训练数据中混入了第一代模型生成的内容。模型学会了真实人类的表达方式，也开始学习"AI 的表达方式"。第三代：训练数据中 AI 生成内容比例更高。模型开始遗忘真实人类数据中的长尾知识和创造性表达。质量下降。第四代更多代之后：模型在"自己的输出"的基础上反复训练，逐渐偏离真实数据分布，输出趋向同质化、平庸化。
模型崩溃的后果
多样性丧失：模型生成的输出越来越模板化，缺乏创意和个性。长尾遗忘：模型在罕见问题上的表现明显下降。错误固化：早期模型产生的错误在后代模型中被放大和固化。少数群体边缘化：在训练数据中本就比例较低的群体，其代表性会逐代丧失。
如何避免模型崩溃？
保留真实数据：确保每代模型的训练集中包含足量的、经过验证的真实人类数据。数据溯源：标记训练数据中哪些是 AI 生成的、哪些是人类创造的，向 AI 生成数据分配较低权重。持续数据采集：不断采集真实人类创造的"新鲜"数据来补充训练集。质量过滤：对合成数据进行严格的质量筛选，只保留高质量的训练样本。