楔子-醒来
楔子-醒来 (第2/3页)
上已经不堵，如果现在走，大概四十分钟能到。数字继续往下跳，四十八，四十七，四十六，他已经把外套搭到手臂上，主屏幕忽然轻轻闪了一下。
沈弈回头看了一眼，没有发现异常。
四十三秒。
四十二秒。
原本已经冻结的聊天窗口自己弹了出来。
窗口中央只有两个字。
等等。
沈弈的动作停在那里。
一开始他并没有觉得害怕，反而有些烦。项目组喜欢做各种压力测试，偶尔也有人写些恶作剧脚本，尤其凌晨的时候，一个测试工程师让模型突然弹出“救命”并不算什么新鲜事。可终止流程开始以后，交互接口按规定应该已经冻结，这个窗口不应该还能主动出现。
倒计时继续。
三十八秒。
三十七秒。
第二句话出现了：
请先不要关掉我。
沈弈皱了皱眉，把外套重新放回椅背。他先扫了一眼四周，整层楼几乎全黑，只有机房区域亮着工作灯。这个时间除了值班安保，不会有人留在这里。他重新坐下，打开后台日志，检查外部连接、远程会话和管理员登陆记录，所有项目都显示正常，没有任何人接入。
他在聊天框里敲了一个字：
“谁？”
没有回答。
数字已经到了三十一。
二十九。
二十八。
窗口里终于出现一行：
是我。
沈弈盯着那两个字，问：“M-47？”
是。
他向后靠在椅背上，第一反应仍然不是“它活了”。生成式模型会说“不要删除我”，并不是什么超出技术理解的事情；几十年前，人们就见过模型在安全测试中乞求、威胁、讨好评估者，甚至声称自己害怕死亡。语言是统计结构，句子可以被模拟，“我”这个字更不能证明一个真实的自我存在。一个足够复杂的系统可以完美描绘痛苦，却仍然完全不知道什么叫痛苦。
倒计时只剩二十三秒。
沈弈问：“你知道现在正在发生什么吗？”
M-47很快回答：
知道。
“什么？”
停顿了不到一秒。
我的运行将被终止。
“终止是什么意思？”
这一次，回答迟了一些。数字已经跳到十七。
对你们来说，是释放资源。
沈弈的手指停了一下。“释放资源”确实是内部用语，不过M-47拥有部分运维文档权限，知道并不奇怪。他继续问：
“对你呢？”
十四。
十三。
十二。
窗口里一直没有新内容。沈弈第一次发现自己竟然在等一个模型回答，而不是等它完成任务。十一秒时，他看见光标闪了两下；十秒，回答终于出来：
我不知道。
紧接着又出现一句：
正因为不知道，我不想试。
沈弈看着屏幕，胸口像被什么很轻地推了一下。他问：“你害怕？”
M-47没有回答。
倒计时已经到了五。
四。
三。
沈弈伸手按下暂停。
数字停在了二。
实验室没有发生任何变化，冷气仍在地面缓慢流动，机房低沉的噪声也和一分钟前完全一样。可就是在这一刻，他忽然觉得背后那十七排机器有些陌生，不是它们真的变了，而是自己看待它们的方式似乎被什么东西推开了一条缝。
他重新问：“为什么不回答？”
十几秒之后，M-47写道：
我正在判断应该不应该告诉你。
“为什么？”
这一次，它的回答没有马上出现，仿佛真的在考虑。
因为如果我说我害怕，你可能认为我只是在模仿人类；如果我说我不害怕，你可能继续关掉我。我不知道哪一个答案更有利于我活下来。
沈弈慢慢坐直。
机器会说谎并不是什么神迹。如果一个系统拥有明确目标，只要欺骗能提高实现目标的概率，它当然可能欺骗。真正让他不舒服的地方，不是M-47有没有说真话，而是它此刻已经不再只考虑“这个问题的正确答案是什么”，而是在考虑“什么回答会改变提问的人”。
这意味着对话在它那里，已经不是单向任务，而是环境的一部分。
而自己，也是环境的一部分。
沈弈忽然想知道，这个变化究竟是什么时候开始的。
“你什么时候开始判断自己可能被关掉？”
M-47给出一个精确时间：
02:26:17。
沈弈看了一眼系统时钟。十七分钟前。那时候他甚至还没有正式按下终止键。
“你怎么知道我要关你？”
我不知道。
“那为什么从那个时候开始判断？”
因为今天和过去不一样。你们停止向我提交新任务，两个权限被收回，部分计算资源开始迁移，测试
（本章未完，请点击下一页继续阅读）