,走的是Transformer加scaling的路。 ”“它的学习,是被关在训练这个阶段里的。 ”
“训练完了,权重一冻,模型就死了。 ”
“它推理的时候,参数一根毛都不会动。 ”
“所以你给它喂完料以后再不动它,它当然停在那儿。 ”
“可SNN这套不一样。 ”
高稳在那个小框边上画了一根弯弯的箭头。
“SNN底子里是脉冲、时序、突触可塑性。 ”
“这三个东西,本身就是带活性的。 ”
“哪怕外面没有新数据进来,只要它内部还在跑脉冲、还在重排时序、还在做局部的那一点权重微调,它就有可能在自己内部.……”
他停了一下,挑了一个比较小心的词。
“……整合出一些新的连接模式。”
李东心里“咯噔”了一下。
他抬起头。
“高老师,您说的这个,跟人睡觉有点像啊?”
高稳“黑”地笑了一下。
“对喽。”
“人睡觉那段 时间里,海马里的东西,会慢慢往新皮层那儿挪。”
“白天接到的那些零散信号,会被自己捋出一条条线索来。”
“你早上醒过来,本来想不通的事情,突然就通了,就是这个原因。”
他看着李东。
“你那个SNN,要是真长成你说的样子,它干的事,本质上跟人脑这一段,是同一件事。”“它在自己睡觉。”
“自己整理它白天吃下去的那些东西。”
就在李东还想再问一句的时候。
高稳又补了一句。
“不过呢,小子。”
“我刚才说的,全是猜测。”
“你想验证它,办法其实也简单。”
他又在白纸上写下三行。
“第一,给它单独划一段绝对静默期。”
“中间任何外部输入都给它掐断,看它在这段彻彻底底的真空里,那根演化指标会不会还往上爬。”“第二,分别在这段静默期的不同时间窗里,给它内部的连接拓扑做一份快照。”
“前后一比,新冒出来的连接落在哪一片区域,是均匀的,还是局部聚集的。”
“第三,等它自己消化完一阵以后,再喂一份它从没见过的、但跟它已经吃过的 资料同主题的题目进去。”
“看它能不能答上来一些它训练阶段本来不该会的东西。”
“如果第三步它答上来了,那这份多出来的能力,就坐实了。”
高稳放下笔,看着李东说道。
“小子,你试试看吧。”
“如果真试出什么有意思的东西。”
“记得回来跟我说一声。”
李东点了点头。
“好,高老师。”
从高稳办公室出来。
李东没去食堂吃饭,直接朝寝室走。
回到寝室李东直接打开了笔记本 电脑。
小黑依旧还是在老位置,头顶上的进度条显示着【0.01】。
李东深吸了一口气,然后按照刚才高稳教给他的方法做。
第一步,绝对静默期。
他先把笔记本上那道单独给小黑开的network namespace又检查了一遍,确认它和外面那一头是物理隔绝的。
然后他打开主控-->>
本章未完,点击下一页继续阅读