准确率91.5%，比星海大模型模块高2.5个百分点。”

    陈默愣了一下。“她怎么做到的？”

    “用开源模型微调。LLaMA、Falcon、Bloom。在伯克利的服务器上跑了一个晚上。”

    陈默走到屏幕前，看着那些数据。“你试了吗？”

    “正在试。她用了一个简单的微调方法，只训练了最后一层。效果好，速度快。”

    陈默笑了。“下一代，真的不一样。”

    陆方点头。“对。他们比我们开放。我们习惯从零开始造轮子，他们习惯站在巨人的肩膀上。”

    陈默拍了拍陆方的肩膀。“那就跟着他们学。”

    陆方也笑了。“好。”

    2024年7月28日，星期日，下午两点。陆方按照陈曦的教程，成功微调了LLaMA-7B模型。准确率91.2%，和伯克利的结果基本一致。他兴奋地给陈曦发消息：“成功了！91.2%。”

    陈曦回复：“恭喜！接下来可以试试更大的模型，比如LLaMA-13B。准确率还能再提高。”

    陆方：“13B需要更大的显存。我没有。”

    陈曦：“用云服务。按需付费，不贵。”

    陆方：“我试试。”

    他注册了一个云服务账号，租了一台带A100显卡的服务器。按小时计费，一小时十几块钱。他把模型上传，开始微调。等了两个小时，结果出来——准确率93.1%。他靠在椅背上，长出一口气。

    他给陈曦发消息：“13B跑通了。93.1%。”

    陈曦：“厉害！下一步，可以试试多模型集成。把几个模型的预测结果加权平均，准确率还能再提高。”

    陆方：“多模型集成？我没试过。”

    陈曦：“试试。不复杂。就是把几个模型的输出做加权平均。权重可以用验证集上的准确率来定。”

    陆方：“我明天试试。”

    陈曦：“好。有结果告诉我。”

    2024年7月30日，星期二，上午九点。陆方完成了多模型集成的测试。他用LLaMA-7B、Falcon-7B、Bloom-7B三个模型，在验证集上计算准确率，然后用准确率作为权重，对三个模型的输出做加权平均。测试结果——准确率94.2%，超过了单一模型。他给陈曦发消息：“多模型集成跑通了。94.2%。”

    陈曦：“厉害！夏普比率多少？”

    陆方：“1.9。”

    陈曦：“不错。继续优化，争取到2.0。”

    陆方笑了。他想起2019年，陈曦第一次来公司，画了那张产业链图谱。那时候，她才11岁，什么都不懂。现在，她在伯克利，教他做多模型集成。

    他关掉电脑，站起来，走到窗前。窗外，深圳的夏阳炽烈，平安金融中心的玻璃幕墙反射着刺眼的白光。远处，深圳湾的海面平静如镜。他想起周寻说过的话——“淘汰我们的不是技术，是我们不会用技术。”他学会了用技术。不是被技术淘汰，是用技术淘汰别人。这是他的路。

    他转过身，走回工位，打开电脑，继续调模型。

    2024年8月1日，星期四，上午九点。技术部晨会。陆方站在白板前，手里拿着马克笔。他的眼袋很深，但眼神很亮。

    “过去一周，我用开源模型做了微调和多模型集成。准确率从89%提高到94.2%。”他在白板上写了几个数字：89%→94.2%。

    “下一步，我计划把开源模型正式接入星海平台，替换掉现有的大模型模块。成本更低，效果更好，而且我们自己可以控制模型，-->>

本章未完，点击下一页继续阅读