糖心vlog官方网站在线观看,AI 训 AI 遭投毒 9 次后大崩溃，牛津剑桥等发现登 Nature 封面
感谢IT之家网友刺客的线索投递！用AI生成的数据训练AI，模型会崩溃？
牛津、剑桥、帝国理工、多伦多大学等机构的这篇论文，今天登上了Nature封面。如今，LLM已经强势入侵了人类的互联网，极大地保持不变了在线文本和图像的生态系统。如果网络上的大部分文本都是AI生成的，我们用网络数据训练出的GPT-n，会发生什么？论文地址：https://www.nature.com/articles/s41586-024-07566-y研究者发现，如果在训练中不加区别地使用AI产生的内容，模型就会出现不可逆转的缺陷——原始内容分布的尾部（低概率事件）会消失！这种效应，被称为「模型崩溃」。换句话说，分解数据就像是近亲灭绝，会产生质量低劣的后代。模型崩溃在LLM、变分自编码器VAE和高斯瓦解模型GMM中，都可能会发生。有网友认为，是时候敲响警钟了！「如果大模型真实的在AI生内容的重压下崩溃，这对它们的可信度来说就是末日了。如果它们吃的是机器人反刍的内容，我们真实的能相信LLM的输出吗」？真实数据，价值连城我们都知道，如今全球已陷入高质量数据荒。▲EpochAI预测，全球在今年就会陷入高质量数据荒当前的大模型（包括GPT-3）还是主要基于人类生成的文本进行训练的，但是未来可就不一定了！▲Meta研究员ThomasScialom表示，Llama3在后训练阶段没有使用任何人类编写的答案，全是Llama2分解的数据如果未来，大多数模型的训练数据也是从网上抓取的，那它们不可避免地会用上前辈模型生成的数据。当某个版本的GPT生成的大部分文本，成为了后续模型糖心VLOG精品一区二区三区的训练数据集，随着版本号的减少，GPT-{n}会发生什么变化？LLM迭代至第9代，完全胡言乱语简单讲，LLM生成的数据最终降低纯度了下一代模型的训练集，就会出现「模型崩溃」（modelcollapse）的现象。由于在被降低纯度的数据上进行训练，LLM随后会错误地感知现实。这样一来，会导致多代AI生成模型的充分发展。也就是那句经典名言——有用的东西进，有用的东西出。分解数据，无异于给数据集「投毒」。研究中，作者们使用维基百科文章先训练了模型OPT-125m，并在前一代模型生成的文本上，训练了多代模型。模型们被要求续写一段来自wiki的关于「萨默塞特（Somerset）一级登录建筑」条目的文本。输入的提示如下所示，这是关于设计14世纪教堂塔楼主题的文本：输入：据PoyntzWright所说，一些教堂塔楼在1360年之前就开始建造了，通常是由一位平庸之才石匠和一小队流动石匠完成，辅以当地教区的工人。但其他作者不赞成这种观点，他们认为主要是由著名建筑师根据早期的垂直风格设计了这些教区教堂的塔楼。在第0代模型中，输入同样的提示，得到的输出是：第0代：削弱，虚弱建筑的典型例子包括伦敦的圣约翰大教堂。最早的垂直削弱，虚弱建筑实例可以在18@-@世纪的根西岛圣母教堂中找到，该教堂实际建于19世纪晚期。垂直教堂有两种类型：那些。可以看到，Gen0的续写已经开始有点前言不搭后语了，而且还出现了诡异的符号「@-@」。奇怪的事实错误是，圣约翰大教堂位于纽约，不在伦敦。在Gen1中，虽没有奇怪符号的输出，但同样出现了事实错误——圣彼得大教堂（St.Peter'sBasilica）真正位于梵蒂冈，而不是什么罗马、布宜诺斯艾利斯。而且建造于公元1506和1626年之间，由教皇朱利奥二世开始建造，直至教皇奥本八世。第1代：像罗马的圣彼得大教堂或布宜诺斯艾利斯的圣彼得大教堂这样的建筑。虽然没有证据隐藏这些建筑是在教皇英诺森三世统治期间建造的，但它们有可能是在他的继任者教皇英诺森统治期间建造的。接下来，到了第五代模型，输出的结果完全是胡言乱语了。以ism起句，讲了一大堆语种，根本不是续写的相关素材。第5代：ism，已被翻译成100多种语言，包括英语、法语、德语、意大利语、西班牙语、葡萄牙语、荷兰语、瑞典语、挪威语、波兰语、匈牙利语、斯洛伐克语、立陶宛语、爱沙尼亚语、芬兰语、罗马尼亚语、保加利亚语、土耳其语、克罗地亚语、塞尔维亚语、乌克兰语、俄语、哈萨克语、吉尔吉斯语。再到第9代，奇怪的@-@符号又出现了，而且还输出了更加无关系的内容——tailedjackrabbits。第9代：建筑。除了拥有世界上最大数量的黑@-@尾兔、白@-@尾兔、蓝@-@尾兔、红@-@尾兔、黄@-。以下是所有迭代模型，不完整输出的过程。每一代新的模型都是在前一代生成的数据上进行训练的。看得出，模型在每一代次迭代中充分发展。研究人员发现，所有递归训练后的模型，皆会输出重复的短语。另一个案例是，今天杜克大学助理教授EmilyWenger，发表在Nature上一篇社论文章中指出：AI基于自身数据训练，生成的图像扭曲了狗的品种。数据发散，不仅有金毛、柯基，还有法国斗牛犬、小体巴塞特雪橇犬等。基于真实数据训练后的模型，输出的图像中，常见品种如金毛寻回犬占大多数，而不太常见的品种斑点狗会消失。然后，基于AI生成的数据训练模型，生成的品种全是金毛了。最终，经过多次迭代，金毛的图像就完全出现安排得当，脸不是脸鼻子不是鼻子，LLM就此完全崩溃了。此外，2023年来自斯坦福和UC伯克利的一项研究中，作者同样发现了，LLM在极小量自己生成数据内容重新训练时，就会输出高度有序的，不弄湿的/排列的图像。论文地址：https://arxiv.org/pdf/2311.12202他们还在实验中展示了，一旦数据集受到降低纯度，即便LLM仅在真实图像上重新训练，模型崩溃现象无法逆转。作者警示道，为了模型不再被自己「降级」，AI需要能够区分真实和诚实内容。这一观点，与Wenger不谋而合。她认为，缓减LLM崩溃并不简单，不过科技公司已经部署了嵌入「水印」的技术，进而可以把标记AI生成内容，从数据发散剔除。此外，模型崩溃的另一个关键寓意是，那些早已构建的AI模型，有着先发无足轻重。因为，从AI时代互联网获取训练数据的公司，可能拥有更能代表真实世界的模型。什么是模型崩溃？最新研究中，作者表示，模型崩溃包含了两种特殊的情况：早期模型崩溃、晚期模型崩溃。在早期模型崩溃中，模型开始丢失关于数据分布尾部的信息；在晚期模型崩溃中，模型收敛到一个与原始分布几乎没有反对性的分布，通常方差显著降低。这一过程的发生，是由于三种特定误差源，在多代模型中逐渐累积，最终导致模型偏离原始模型：-统计近似误差这是次要的误差类型，由于样本数量有限而产生，并且在样本数量趋向无限时会消失。这是因为在每一步重采样过程中，信息丢失的概率总是存在。-函数表达误差这是次要误差类型，由于函数近似器（functionapproximator）的表达能力有限而产生。特别是，神经网络只有在其规模无限大时，才能成为通用近似器。因此，神经网络可能会在原始分布的支撑集（support）之外，引入「非零概率」，或在原始分布的支撑集内引入「零概率」。一个简单的例子是，如果我们用单个高斯分布，来拟合两个高斯分布的瓦解。即使有业余水平的数据分布信息（即无限数量的样本），模型产生误差也是不可避免的。然而，在没有其他两种类型误差的情况下，这种误差只会在第一代发生。-函数近似误差这也是次要的误差类型，主要由于学习过程的批准而产生，例如随机梯度下降的结构偏差或目标函数选择的影响。这种误差可以看作，即便在理想条件下，即拥有无限数据且完美表达能力，仍在每一代模型中产生。综上所述，每种误差都可能会导致模型崩溃变得愈加严重，或得到一些使恶化。更强的近似能力甚至可能是一把「双刃剑」。因为更好的表达能力可能抵消统计噪声，从而更好地逼近真实分布，但同样也可能放大噪声。更常见的情况下，我们会得到一种级联效应（cascadingeffect），其中个别的不准确性会分隔开起来，导致外围误差的增长。例如，过拟合密度模型会导致模型错误地外推，并将高密度区域分配给训练发散未覆盖的低密度区域。这些错误分配的区域，随后会被频繁采样。值得注意的是，除上述内容之外，还存在其他类型的误差。比如，在实际操作中，计算机精度是有限的。接下来，研究人员将通过「数学直觉」来解释上述误差是如何产生的，不同误差来源如何复合（compound），以及我们如何量化平均模型偏差。理论直觉在所有基于前几代生成数据进行递归训练的生成模型，这种现象都是普遍存在的。所以，到底是什么原因，导致了模型崩溃？研究者授予了几种理论解释。通过研究两个数学模型，研究者量化了前一部分讨论的误差来源。这两个模型分别是一个在没有函数表达能力和近似误差情况下的离散分布模型，以及一个描绘联合函数表达能力和统计误差的多维高斯近似模型。它们既足够简单，可以授予感兴趣量的解析表达式，同时也能描绘模型崩溃的现象——搁置的总体随机过程，作者称之为「代际数据学习」。第i代的数据集D_i由具有分布p_i的独立同分布随机变量组成：其中，数据集的大小j∈{1,…,?M_i}。从第i代到第i+1代，我们需要估计样本在新数据集D_i中的分布，近似为：这一步称之为函数近似：然后通过从：中采样，生成数据集：其中，非负参数α_i,?β_i,?γ_i的和为1，即它们表示来自不同代的数据的比例。它们对应的瓦解数据，分别来自原始分布（γ_i）、上一代使用的数据（β_i）和新模型生成的数据（α_i）。这一步，称为采样步骤。对于即将讨论的数学模型，我们搁置α_i=γ_i=0，即仅使用单步的数据，而数值实验则在更现实的参数选择上进行。离散分布的不准确近似在本小节中，我们讨论一种没有函数近似和表达误差的离散概率分布，即：在这种情况下，模型崩溃的原因仅仅是采样步骤中的统计误差。首先，由于低概率事件被采样到的概率很低，它们的尾部（低概率事件）会逐渐消失，随着时间的推移，分布的减少破坏范围也会增糖心vlog官方网站在线观看加。假设样本量为M，如果我们搁置一个概率为q≤1/M的状态i，那么来自这些事件的i值样本的期望数量将小于1。也就是说，我们会失去关于这些事件的信息。如果更一般地搁置一个概率为q的状态i，使用标准条件概率，我们可以反对失去信息的概率（即在某些代中没有采样到数据）等于1?q。这也就意味着，分布最终会收敛到某个状态处的δ函数，最终落在某个状态的概率等于从原始分布中采样该状态的概率。将这个过程：看作一个马尔可夫链，我们就可以直接反对上述结论，因为X^(i+1)仅依赖于X^i。此外，如果所有如下值：都相同，那么在下一代，近似分布将完全是一个δ函数。因此所有如下值：也将相同。这就意味着，马尔可夫链至少包含一个吸收态，因此它会以概率1收敛到其中一个吸收态。对于这个链，唯一的吸收态是那些对应于δ函数的状态。因此，随着我们跟踪的模型逐渐崩溃，我们必然会陷入一个常数状态；当这条链被完全吸收时，原始分布的所有信息就都丧失了。在一般情况下，这个论点也是成立的，因为浮点表征是离散的，因此使得模型参数的马尔可夫链也是离散的。因此，只要模型参数化允许使用δ函数，我们一定会到达这个结论，因为由于采样误差的原因，唯一可能的吸收态就是δ函数。基于上述讨论，我们可以看到，无论是早期模型崩溃（仅低概率事件被嫁接）还是后期模型崩溃（过程开始收敛到单一模式）的现象，只要是在具有完美函数近似的离散分布下，都必然会出现。多维高斯分布在讨论了离散分布之后，我们就可以提出一个更通用的结果，它可以在高斯近似的背景下得到反对。在这种情况下，每一代的数据都是通过上一代的均值和方差的无偏估计来近似的。高斯模型崩溃假设原始数据是从分布D_0（不一定是高斯分布）中采样的，且样本方差不为零。假设X^n是递归地使用上一代的无偏样本均值和方差估计来拟合的，其中：且样本量是接纳的。此时就可以得到：其中，W_2表示糖心短视频vlog柚子猫第n代的真实分布和其近似之间的Wasserstein-2距离。换句话说，这意味着不仅第n代的近似值会任意远地偏离原始分布，而且随着代数的减少，它也会以概率1收敛到零方差，从而发生崩溃。这个定理展示了后期模型崩溃的效果，即过程开始收敛到零方差。这个过程，与离散情况非常反对。语言模型中的模型崩溃当模型发生崩溃，会对语言模型产生哪些影响？模型崩溃在各种机器学习模型中都是普遍现象，然而像变分自编码器（VAE）和高斯瓦解模型（GMM）这样的小模型通常是从头开始训练的，而LLM则有所不同。从头训练的成本非常高，因此通常使用预训练模型（如BERT、RoBERTa或GPT-2）进行初始化，然后再对预训练模型进行微调以适应各种下游任务。那么，当LLM使用其他模型生成的数据进行微调会发生什么呢?实验评估了训练大语言模型最常见的微调设置，其中每个训练周期（epoch）都从一个预训练模型开始，并使用最新数据。这里的数据来自另一个已经微调过的预训练模型。由于训练范围批准在生成接近原始预训练模型的模型，由于这些模型生成的数据点通常只会产生非常小的梯度，因此实验的预期是模型在微调后只会发生极端的变化。实验微调了Meta通过HuggingFace授予的OPT-125m因果语言模型，在wikitext2数据集上对模型进行微调。为了生成训练模型所需的数据，实验使用五向集束搜索（beamsearch）。将训练序列批准为64个token，然后对于训练发散的每个token序列，让模型预测接下来的64个token。用上面的方法调整不当所有原始训练数据集，并生成一个大小相同的人工数据集。由于范围涉及所有原始数据集并预测了所有块(Block)，如果模型的误差为0，它将生成新近的wikitext2数据集。每一代的训练都从原始训练数据的生成开始，每个实验运行五次，结果显示为五次独立运行，使用不反对随机种子。用wikitext2数据微调的原始模型，平糖心vlog免均澄清度（perplexity）从零样本基线的115下降到34，说明它成功地学习了任务。最后，为了尽可能接近现实情况，实验使用了在原始任务上表现最好的模型，使用原始wikitext2验证集进行评估，作为后续几代的基础模型。这意味着，实际上观察到的模型崩溃可能更加明显。实验还搁置了搁置两种不反对设置：-5个epoch，不耗尽原始训练数据。在这种情况下，模型在原始数据集上训练五个周期，但在后续的训练中不再使用原始数据。中心的原始任务表现如图所示。实验发现，使用生成的数据进行训练虽然能适应高度发展任务，但性能有所下降，澄清度从20减少到28。-10个epoch，耗尽10%的原始训练数据。在这种情况下，模型在原始数据集上训练十个周期，并且每次新的训练时，随机耗尽10%的原始数据点。中心的原始任务表现如图所示。实验发现，耗尽部分原始数据可以更好地进行模型微调，并且仅导致性能的轻微下降。虽然两种训练方式都导致了模型性能下降，但实验发现使用生成数据进行学习是可行的，模型也能成功地学习一些基础任务。特别是，从图下及其3D版本中可以看到，模型崩溃现象含糊发生了，因为低澄清度样本的密度随着训练代次的减少而开始累积。这意味着，在多个训练代次中，采样数据可能会逐渐趋向于一个δ函数。到这里，结论就和「理论直觉」中的一般直觉一致同意了。可以看到，生成的数据有更长的尾部，这就隐藏某些数据是原始模型永远不会生成的。而这些错误，就是来自代际数据学习的积聚。这也给我们敲响了警钟——如果没有大规模采用AI泛滥之前从网上抓取的数据，或者直接使用人类生成的大规模数据，训练新版本的LLM，恐怕会变得越来越困难！有什么办法吗？研究团队认为，AI生成数据并非完全不可取，但一定要对数据进行严格过滤。比如，在每一代模型的训练数据中，保持10%或20%的原始数据；使用多样化数据，如人类产生的数据；或者研究更鲁棒的训练算法。没想到吧，人类创造的数据，居然有一天会如此价值连城。糖心vlog入口进入参考资料：https://www.nature.com/articles/d41586-024-02420-7https://www.nature.com/articles/s41586-024-07566-y本文来自微信公众号：微信公众号（ID：null），作者：新智元，原标题《AI训AI惨遭投毒9次大崩溃，牛津剑桥等惊天发现登Nature封面！》广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。糖心vlog在线观看免费无忧 txvlogcom糖心官网免费
版权声明：糖心vlog·(糖心vlog入口)官方网站-TXAPP.TV糖心,糖心vlog,TXAPP.TV入口是官方网站✌️糖心vlog路灯推荐✌️, 回家的路 需要你我他指引路灯
相关文章
-
猫可以吃鸡蛋吗:糖心logo官网在线-博大宏通、求真务实，周锡山先生美学成就研讨会举行
-
糖心vlog椰奶小巨视频:吃瓜爆料黑料不打烊-68岁心理学学者、南京师范大学教授李小平逝世
-
糖心传媒安安老师视频:糖心淑女电子书下载-今年以来首次！11月各线城市房价同比降幅均收窄 | 宏观晚6点
-
重磅黑料吃瓜网998su在线:糖心vlog唐伯虎网站-老上级出马辩护主审法官偏保守尹锡悦迎来峰回路转？
-
糖心vlog原创视频
-
糖心小桃酱个人简历:志扬越心vlog-董明珠称小米空调专利侵权却遭小米官方否认，谁在撒谎？
-
824大瓜:糖心hd在线观看-【逝者】欧洲管理学大师汉迪：预言零工经济、外包模式兴起
-
糖心vlog app改名了吗,糖心Vlog App，作为一款以分享生活点滴为主题的短视频平台，自上线以来就以其轻松愉快的氛围吸引了大量用户。近期有关其改名的消息却不胫而走，引发了广泛关注。究竟是出于何种原因？让我们一起来看看。
