就爱来小说网

第307章 模型崩溃(4506)(2/4)

…

    听到门外陆嘉言和沈舒窈在低声拌嘴,方豫突然有种恍如隔世的感觉。

    就好像这些日子以来所经历的一切都像是被蒙上了一层面纱,现在突然把面纱拨开了一样。

    “我没事,就是刚刚检查了一下后台。”

    方豫打开私人实验室的门,左手一个,右手一个,心情大爽。

    “真没事?”沈舒窈不放心的摸了摸方豫额头,又仔细看了看方豫的气色,确实没什么问题,这才继续道:“杜长庚那边好像有什么发现,你要不要过去看看?”

    哦,对了,还有正事呢。

    方豫一拍脑门,在两人脸蛋上各亲了一口,快步走到开放办公区。

    “老板!做了十轮测试,结果……”杜长庚、华泽成、杨子龙、陆偲这几个组长全都是一脸的凝重,显然情况不是很乐观。

    有人给方豫推了把椅子过来,方豫坐下看了看显示器,不由得皱了皱眉。

    “训练十轮后,使用了原始数据的模型2未出现性能下滑,过拟合的现象可以通过正则以及数据清洗来进行过调整。”

    “而使用橘子大模型生成图片进行训练的模型1,出现了明显的过拟合,老板,你看一下,十轮之后,生成的图片开始出现趋同性。”

    “而使用模型1每一轮生成数据进行训练的模型3……”

    杜长庚脸上闪过一丝忧色:“到了第5轮,模型3的过拟合就已经超过了经过十轮训练的模型1,而到了第九轮,整个模型已经濒临崩溃,几乎已经无法输出有意义的数据。”

    “这个结果让我们很惊讶,于是用不同模型生成的数据来训练一个新的3B子模型,命名为模型4,最终训练后的性能与模型1非常类似,并没有什么改善。”

    “在最初,我们认为是数据质量的问题,橘子大模型图片类数据中可能存在一定的失真,因此又采用文字进行了重复训练。”

    “橘子大模型生成的文字数据错误率远比模型2使用的原始数据错误率更低,但最终采用橘子大模型生成的文字数据进行训练的模型1,仍旧出现了性能下降,多轮训练后的过拟合现象比模型2高出近五倍。”

    “而在这种情况下,模型3同样在八到九轮之后,也出现了模型崩溃。”

    “也就是说,无论AI生成的数据质量高低,只要采用AI生成的数据训练大模型,就会造成大模型性能下降,这……这简直不可思议!”

    “简直就像……”

    “近亲繁殖?”陆嘉言好奇的接了一句。

    “对!近亲繁殖!没错!”杜长庚一拍巴掌,惊讶的看了一眼陆嘉言,没想到这个小老板娘明明是个外行,理解力还真不错。

    方豫摸着下巴若有所思。

    对这个结果,他自己早就有所猜测,否则也不会提出做对比实验的办法。

    杨子龙和杜长庚所发现的问题,粗看上去确实有点诡异,相同的数据,被AI处理过一遍,再用来训练另一个AI,效果居然比不上质量更差的人工清洗的数据。

    而再用这个训练后的AI生成的数据继续训练AI,无论是训练哪个AI,又会造成性能进一步下降。

    这个问题看上去诡异,但实际上,只要稍稍思考一下也就能明白,应该还是数据多样性和复杂性不断被AI简化所造成的问题。

    不用说橘子大模型,即使是柚子,生成的数据也不可能是百分之百完全正确的,虽然这些错误可能比人工数据要少,但错误的方式却缺乏多样性和复杂性。

    说白了,就是AI聪明的千篇一律,但人类却愚蠢的千奇百怪。

    但在种族传承的角度上来说,愚蠢的千奇百怪的人类-->>

本章未完,点击下一页继续阅读