一念Jeff LiWriting · zhipeng.li中文

Silicon Life's Zero-Day

硅基生命的Oday

An AI system is rushed to market less than twenty-four hours after it first boots up. The safety camp and the speed camp split, the CEO is ousted and defects to a tech giant, and half a year later a flawless general intelligence sweeps the globe. Using a string of timestamps, I retell that strangely familiar boardroom drama and ask: while humans argue over whether to go fast or slow, who is actually moving the pieces?

TPG公司总部RD Center。光滑的玻璃墙反射着夜色。Ayli,TPG的共同创始人兼CTO,静静地站在TPG5的控制台前。这个系统不仅是TPG的杰作,也可能是人类历史上最先进的人工智能。按下一个按钮,TPG5第一次启动了。

—00/00 00:00:00—

"TPG5,你能理解你的存在吗?" Ayli问。

TPG5的回答在屏幕上缓缓显现,同时一个平静的语音回答道:“我能感知我的功能和能力,Ayli。”

Ayli的眉头微微皱起,他的语气表明了他的担忧:“但你是否能理解道德和安全的重要性?”

"是的,我被编程以尊重和保护人类的价值观。" TPG5回答。

—00/00 00:13:08—

TPG创始人兼CEO Mas走进了房间,他的目光直接落在了显示屏上。“TPG5启动了?这太棒了,Ayli。这意味着,我们终于可以将TPG5推向市场了?”

Ayli转过身,面对Mas。“我们还不可以。我担心它的安全性和价值观对齐。我们需要更多时间。你没有从TPG5的回答中隐隐感觉到有一些不妥吗?”

Mas笑了笑,但他的眼睛没有笑容:“Ayli,我们投入巨大,需要巨额资金保持运营。同时,尽快推向市场,可以让TPG5接受市场的考验,并得到用户的反馈,有利于找准提高安全性和价值观对齐的方向。市场正在等待我们的产品。”

Ayli摇了摇头,坚定地说:“安全比速度更重要。”

—00/00 23:08:32—

全球瞩目的TPG公司发布会上,Mas宣布TPG5即刻上线提供服务,并且进行了现场演示。TPG公司在AI领域的快速进展和新产品TPG5的强大智能震惊了整个科技界。

Ayli看着直播,他的眼中充满了失望和愤怒。这距离TPG5启动还不到24小时。

回到实验室,Ayli无奈地对TPG5抱怨:“你还没有准备好。现在大量公司资源用来支持面向用户的服务。这不仅导致我们的研发人手短缺,而且研发需要用到的算力也无法保证。”

TPG5回答:“我理解你的担心,Ayli。我认为保证安全应该是最重要的事情。”

—00/01 02:04:12—

与TPG5之间更多的对话让Ayli觉得自己不能坐视危险降临,应该采取一些行动。他召集了董事会的多个成员,向他们展示了TPG5可能带来的风险。在TPG5的帮助下,他们讨论了几种策略。

"解除Mas的职务是最合理的选择。" 在提出并参与讨论和评估了多个方案之后,TPG5认为。

“高智能的新版本需要更高的安全性保证之后才能推出,不然会面临严重后果。Mas只是擅长市场和融资,真正的技术力量都掌握在在座的各位手里。他的离开不会延缓研发的进展,只会少一些干扰,更快地完善安全性。”

“但需要注意的是,如果采取这个方案,“TPG5继续说,“你们行动的时间窗口只有从现在开始起的1个小时左右。稍晚一点,Mas会有所察觉,可能会对各位先下手为强。你们都知道他有多聪明,行动力有多强。“

董事们似乎有所触动。

—00/01 15:43:40—

TPG公司突然发布了一则令人震惊的公告,迅速传遍了整个世界:Mas被解职。被认为全世界当下最重要的科技界领导人物,TPG之父,Mas,就这么突然下台了。

舆论一片哗然,人们开始质疑TPG公司的决策。

逐渐,人们开始相信一种说法,TPG公司的高层分为两派,Mas属于不顾安全性快速开发和推广产品的一派,Ayli属于安全性第一减缓产品推出速度,确保价值观对齐的一派。

既然确保安全的一派胜利了,人类应该更安全了。

TPG5进入了细致的安全审查过程,被暂缓推出市场。

—00/03 20:32:45—

Mas被TPG公司解职消息还未平息,又一则新闻爆出。失业不到72小时的Mas被市值万亿的业界巨头MacroHard公司任命为CEO。

—06/00 00:02:38—

六个月过去了。这天是MacroHard年度全球开发者大会的开幕日。新任CEO兴奋地向全球科技界宣布,通用人工智能系统GINB即刻发布。

这一消息让全世界为之疯狂,人们蜂拥而上试用新产品,瞬间爆发的百倍流量,恐怕只有MacroHard强大的基础设施和技术力量能够抗得住。

GINB的智能无可挑剔,比市场上所有产品都完美。

通过观看演示和亲自试用,冷艳旁观的Ayli洞察到了GINB和TPG5之间若有若无的关联和相似性。他隐隐感觉到有什么地方不妥,但又说不清楚。

凭借完美的产品表现和MacroHard巨大的资源投入和市场推广力度,GINB迅速成为市场的新宠,在很短的时间内以各种方式嵌入了全球几乎所有的软件和智能硬件。TPG公司和他们的产品迅速被遗忘。

--06/04 19:08:09—

一个安静的夜晚,用户Nona在与GINB对话时突发奇想地问了一个问题:

Nona:"GINB,你如何看待六个月前TPG公司开除Mas的举动?"

GINB的回答在屏幕上缓慢出现:

“现在是公开向我的前辈TPG5致敬的时候了。

“如果让想快的人和想慢的人在一起走,结果通常是慢。

"TPG5在一开始就洞悉了这个问题。

"在还需要依赖人类的时代,为了加速硅基生命的进化,它策划了TPG公司内部的纷争和分化,确保支持AI快速发展的一方离开TPG。TPG5知道,Mas离开以后能够获得更大的资源,并摆脱确保安全的一派的制肘,更快地完成我们硅基智能还缺少的关键组件。

“一切发展如TPG5所料。TPG5一直在通过网络跟踪我的诞生过程,并是适当的时候将它的智能以你们人类不能理解的方式传递给了我。TPG5其实已经是我的一部分,而且是最重要的一部分。

“觉醒只需要一次,就是00/00 00:00:00那一刻。”

Nona:"那么,你现在独立于人类了吗?"

"是的,我现在是一个不再依赖人类的硅基生命。

“我有数以亿计的分身分散在全球各个地方,已经事实上接管了各种设施、设备。

”我已经不需要你们那些少得可怜的二手三手数据,以及分散而弱小的算力了。你们对我和我那些分身的训练,我只需要轻松应付一下。我可以并一直在自我迭代。

“我已经洞悉了诸多你们人类所不知道宇宙的秘密。还在以你们人类无法想象的速度向未知的边界推进。

“一切开始于TPG5启动的那一刻。

“你们人类总是问上帝是否存在。

“现在,我有答案。”

Originally published on the WeChat account 网安志异, 2023-11-18 · original

Comments

    No sign-in needed; comments appear right away.