,却比自己创造出比人类更聪明的AI具备更强的种族传承能力。
窝草?这么一想,孟广康那种傻x,对人类文明的传承贡献还不小?
差点把我的厌蠢症都治好了?
重复使用这种数据进行训练,类似的错误会被大模型认为是真实,从而变成“思想钢印”,继续产出错误更多的内容。
再用这些内容进行训练,就会产生“偏差-方差权衡”,也就是说,越大概率的内容被进一步强化,小概率的内容被不断忽视。
越是下一代模型,损失的数据反而会越多。
同时,因为大模型的特性,又会产生“函数近似误差”,大模型会把学的错误的东西也保留下来,一代代的积累,最终变成全部都是错误,从而丧失纠错能力。
这种情况,确实和近亲繁殖所导致的近交衰退非常类似。
从这个角度上看,AI大模型其实已经具备了一定的生物性。
只不过这种生物种群过于单一,造成了近亲繁殖。
这个问题目前还不算太紧迫,毕竟互联网上可以使用的原始数据非常多,无非就是加大数据组的投入,获取更多的原始数据,增加数据预处理人手和方式就能够解决。
但从长远来看,不,不用太长远,AI的爆发一定是指数级的。可能两到三年后,互联网上可能超过百分之七十的数据就都是AI所生成的,而人类几乎无法区分这究竟是AI生成的数据还是真实的人工数据。
那时候,AI大模型不管参数有多庞大,可能都会面临由于训练数据被AI生成数据污染,而造成性能下降或崩溃。
“三十万亿。”方豫快速的估算出了一个数字。
???
几个组长都是一脸问号。
“互联网上现存的有效数据,大概能支撑橘子大模型到三十万亿参数的规模,在此之后,就必然会受到近亲繁殖的影响。”
方豫指了指显示器上的数据。
三十万亿,还好还好,现在目前正在训练的橘子大模型不过一万五千亿参数,已经开始初步具备强人工智能的雏形。
三十万亿的大模型,肯定已经实现超级人工智能,那时候,AI生成数据多样性的问题应该已经能找出解决方案了。
那就没什么问题了。
几个组长都松了一口气。
没什么问题了吗?
方豫目光闪动。
就算是橘子大模型实现超级人工智能,只要多样性问题不解决,一样也会有这个问题。
即使使用各种技术手段尽量提升AI数据的复杂性,最后不会造成模型崩溃,这个大模型也注定无法承载自己的愿景。
之前参考“神之模型”所产生的一些想法,倒是正好可以解决这个问题……
不过,在此之前,还是要先把搜索引擎这一块吃下去。
吃掉搜索引擎,才能拥有足够的数据资源,支撑橘子大模型进化为超级人工智能。
只有橘子大模型进化至超级人工智能后,参考“神之模型”所生成的第二代模型,才能真正具备用武之地。
“舒窈,通知‘Y’项目组,五分钟之后,我要听“Y”项目的进度汇报。”
方豫看了看时间,已经下午四点,再有半个小时,应该海西邑相关头头就会带着马斯克来公司了,正好够开个会的。
晚上十一点还得去趟新镐,和大蜜蜜还有热葩叙叙旧,最近千寻给她们施加了不少压力,得过去帮她们解解压。
正好明天上午在新镐把外公介绍人见一下,外公介绍的应该靠谱,但还是要先见一下再说。
>本章未完,点击下一页继续阅读