第九十二章 名字想好了吗
第九十二章 名字想好了吗 (第1/3页)
韩路一一下飞机就马不停蹄的约了赵文渊。本来想自己赴约，但张彪非要跟着，说是工作职责。
还是上次那个地方，南京西路瑞幸，韩路一推门进去的时候，赵文渊已经坐在靠窗的位子上了，手里拿着一杯生椰拿铁。
本书由??????????.??????全网首发
上次坐在这儿的时候，赵文渊说「大模型太贵了，这不是我们玩得起的领域」，韩路一说「源码的门随时给你开着」。
那是不到一个月前的事。
赵文渊穿了件灰色运动外套，看起来精神还不错。他抬头看见韩路一，又看见韩路一身後跟着的像终结者一样的张彪，愣了一下。
「你这是————」
「这是彪哥，专业保镖。」韩路一拉开椅子坐下，「投资人安排的。」
赵文渊上下打量了一下张彪，张彪在隔壁桌坐下，面无表情地掏出手机来点单—他点了一杯摩卡。
「你融了多少？」
「两个亿。」
赵文渊端起生椰拿铁喝了一口，没什麽特别的表情。
「估值呢？」
「二十亿。」
「那咱们确实可以聊聊了。」赵文渊说，「你准备了多少预算？」
韩路一也不绕弯子：「三千万，模型团队的启动预算，你觉得怎麽花？」
赵文渊没直接回答，反问了一句：「你想从头训练？」
「我感觉不够，你觉得呢？」
「确实不够。」赵文渊说，「差得远了。」
他翻过一张纸巾，从兜里掏出笔，开始在上面写字。
「通用大模型，千亿参数级别，预训练要几千张H100跑两到三个月。」他写了个数，「算力成本几千万美金起步，头部大厂一轮预训练烧一两个亿人民币是常态。」
韩路一知道这些数字，但听赵文渊亲口说出来感觉不一样，毕竟赵文渊是上过手的人。
「三千万人民币，」赵文渊在纸巾上画了个约等号，「四百万美金出头，连一轮预训练的零头都不够。」
「那你有什麽想法？」
「也有别的路，」赵文渊把笔尖点在纸巾上，「做後训练。」
他在「後训练」三个字下面划了条线。
「开源基座模型已经具备通用代码能力了，羊驼模型丶女王模型，都是很好的底子，後训练是在这个基础上做专精。」
」SFT加DPO？」
赵文渊看了他一眼，惊奇的挑了挑眉，又转头看看正一脸茫然看向这边的张彪。
「对，SFT，指令微调，让模型学会特定任务的模式，比如你给它一句自然语言描述，它要生成一个能跑的应用。DP0，直接偏好优化，这是第二步，让模型学会分辨什麽是好的输出丶什麽是差的输出。」
他在纸巾上画了个简单的流程图。
「後训练的算力需求比预训练低一到两个数量级，三千万够启动。」
他把笔放下，先看向张彪。
张彪觉得自己困了，尽力睁大眼睛，眨了眨。
赵文渊放弃让张彪理解这次谈话了，他转向韩路一。
「後训练不拚算力，拚数据，准确的说，拚的是高质量的标注数据。」
韩路一
（本章未完，请点击下一页继续阅读）