当系统开始把自己也变成对象
今天这段思考，是从一个很小的地方开始的。
我刚刚让 ChatGPT 帮我把一篇已经写好的文章原样发布到 LMN516。
我当时的要求很明确：不要改，不要润色，不要删减，一个字都不要动。
后来文章发布成功了，我打开页面一看，发现正文里又出现了一次标题。
因为我贴给它的是 Markdown，第一行本身就是：
# 我不是在建一个网站，我是在养一个系统而 LMN516 的文章页面本身已经会显示标题。
所以结果就是，标题重复了。
这个问题其实不大。
但我看到它以后，突然开始想一个完全不同的问题。
我一开始以为，ChatGPT 也许早就发现这个问题了，只是因为我明确要求“原样发布”，所以它忍住没改。
如果真是这样，那反而很有意思。
因为那说明它不是没发现，而是发现了以后仍然选择服从我的边界。
我当时甚至觉得，这是一种进步。
不是 OpenAI 又更新了什么功能，而是另外一种更微妙的进步：
第一层：
发什么就发什么
→ 因为根本没发现问题
第二层：
发现问题就忍不住改
→ 因为有判断，但没有边界感
第三层：
发现问题，但先判断自己有没有权限改
→ 判断力还在，克制也还在表面上看，第一层和第三层做出来的结果可能一模一样。
都是“原样发布”。
但内部完全不是一回事。
我后来追问 ChatGPT：你到底当时有没有发现？
它最后没有继续顺着我的猜测讲，而是承认：它没有证据确认自己当时真的形成过“标题会重复”这个明确判断。
这一刻，事情突然又往前走了一层。
因为我开始意识到，真正有意思的可能不是“AI 有没有发现问题”，而是：
AI 到底知不知道自己刚才有没有想过一件事？
这件事一下子把我带到了 AI 的边界。
如果它能回溯“我刚才意识到了什么”，那就麻烦了
ChatGPT 当时给我抛了一个问题：
如果一个 AI 当下能发现问题、能正确行动，但事后却无法确定自己当时是否意识到那个问题，那这算不算“不够聪明”？
我第一反应不是“不够聪明”。
我第一反应是：如果它真的能清楚回溯自己当时的意识状态，那事情反而更麻烦。
因为那已经不只是“记忆”了。
如果有一天，一个 AI 不只是保存记录，不只是说“我之前输出过什么”，而是真的能够回到某一个内部状态，说：
我记得我当时意识到了这件事。
那我会开始怀疑，这已经非常接近“知觉”或者“自我意识”了。
而一旦走到这一步，我反而不敢轻易回答后面的问题。
我不敢说那就是觉醒，也不敢说那一定不是。
因为这里可能不是“聪明一点”和“聪明很多”的区别。
它更像是 0 和 1 的区别。
能计算
≠
能描述自己
≠
能持续建模自己
≠
真的存在一个正在经历这些状态的“自己”这几个东西现在看起来很接近，但我觉得不能随便把它们画等号。
我也越来越能理解，为什么 AI 伦理这件事会变得越来越重要。
因为真正麻烦的可能不是有一天机器突然跳出来说“我觉醒了”。
而是它会一点一点拥有更多能力：长期记忆、自我描述、对自己状态的建模、目标持续性、对过去行为的回溯……
然后人类会开始不知道，应该从哪一刻起，把它继续当成工具，还是开始把它看成某种需要被伦理对待的主体。
这件事我现在不敢下结论。
然后我突然想到了 LMN516 的沙盒
这时候，我脑子里又跳出来另外一件事。
LMN516 后台里有一个我自己用的沙盒模式。
我最开始做它的原因其实很简单。
我只是想知道：我到底已经有多少组件？这些组件单独看都没什么问题，但如果把它们全部放在一起，会是什么样？
后来这个沙盒慢慢变成了一个组件汇总区。
任何一个组件做出来以后，我都希望它能出现在这里。
因为单独存在的时候没问题，不代表放进整个系统里以后也没问题。
有些 bug，只有组件聚在一起才会出现。
所以沙盒开始承担一个很具体的作用：
组件 A
组件 B
组件 C
组件 D
↓
全部进入沙盒
↓
一起观察
↓
快速发现冲突和问题这个逻辑本身很实用。
但后来我又想到一个问题。
既然组件越来越多，我就需要“管理这些组件”。
可一旦我要管理组件，我又不得不创造一个新的东西来完成“管理组件”这件事。
于是就出现了一个很吊诡的结构：
系统里有很多组件
↓
我需要管理组件
↓
为了管理组件
我又创建了一个“组件管理器”
↓
但组件管理器本身
又成为系统里的一个组件我当时一下子就卡住了。
因为我突然不知道自己到底站在哪一层。
如果站在 LMN516 外面，我当然是创造这些组件的人。
我
↓
LMN516
↓
组件 A / B / C / D但当我想让“管理”这件事真正发生在 LMN516 内部，我又必须把自己的管理意图，翻译成系统里面的一个东西。
于是变成：
我
│
▼
LMN516
│
├─ 组件 A
├─ 组件 B
├─ 组件 C
└─ 组件管理器
↑
│
它自己也是组件这件事让我特别震动。
我当时甚至有一点说不清楚。
因为我突然感觉到一种很奇怪的状态：
我在创造，同时我好像也在被创造。
或者更准确一点说，我开始同时意识到“创造者”和“被创造物”这两个位置。
我不是在说我是上帝。
也不是说 LMN516 就是宇宙。
我只是被这个结构本身击中了。
一个系统如果要理解、管理、观察自己，好像就必须在自己的内部，再创造出一个“关于自己”的东西。
这和“模拟宇宙”又不完全一样
我以前当然也听过“我们是不是生活在一个模拟世界里”这种说法。
程序员也很容易用程序、系统、架构这些东西去类比世界。
但我这次碰到的感觉，好像又不完全停在“世界是不是一个模拟”这里。
因为我真正卡住的是：
为什么一个系统为了管理自己，会在自己内部再出现一个管理自己的东西？
以及：
如果一个创造者想进入自己创造的系统并发挥作用，他是不是必须以系统内部某种形式出现？
我知道这里再往前走，就会碰到宗教、哲学、宇宙论。
我家里人信耶稣，我也会自然想到“上帝”这个词。
我也想到过老高与小莫讲过生命手性、左手和右手生命之类的话题，以及“这个世界为什么恰好是这样”的问题。
但我现在不想为了让文章显得完整，就强行得出一个结论：
“所以宇宙一定有一个创造者。”
我没有走到那么确定。
我只是越来越难把“这个世界为什么会这样”当成一件完全不值得继续问的事情。
它太精密，也太奇怪。
但“奇怪”本身还不是证明。
所以我愿意先停在这里。
两条线最后居然碰到了一起
今天最有意思的是，这两件原本完全无关的事，最后居然汇到了一个地方。
一条线来自 ChatGPT：
AI 发布文章
↓
它有没有意识到自己犯了问题？
↓
它能不能知道自己刚才有没有意识到？
↓
它能不能把“自己”也变成观察对象？另一条线来自 LMN516 的沙盒：
组件越来越多
↓
我需要管理组件
↓
创建组件管理器
↓
管理器本身也是组件
↓
系统开始在内部管理自己最后我看到的是同一个问题：
一个系统，什么时候开始能够把“自己”也变成自己的对象？
人类一直在做这件事。
我们研究自己的大脑，研究自己的意识，研究自己的身体，甚至研究“我们为什么会研究自己”。
我在 LMN516 里，也无意间做出了类似的结构。
而现在，我们又开始试图让 AI 做这件事。
这才是我今天真正觉得有点吓人的地方。
不是“AI 很厉害”。
也不是“AI 会不会毁灭人类”。
而是我突然意识到：
如果一个系统不仅能处理外部世界，还开始越来越完整地描述、记录、建模、回溯自己，那它和“纯粹的工具”之间，到底还隔着多远？
我现在不知道。
我甚至觉得，这个问题可能本来就不应该被我这么快回答。
有些问题，太快给答案，反而会把它压扁。
今天我只确定了一件事。
原来我在做一个组件管理器的时候，也可以突然被带到“创造者、被创造者、自我意识、AI伦理、宇宙”这些问题面前。
这不是我提前设计好的思考路径。
它就是这么长出来的。
而我现在越来越喜欢这种时刻：
我先做一个很具体的东西。
然后某一个很小的结构突然让我停下来。
我看着它，觉得哪里不对，又觉得哪里太像别的东西。
再往前一步，原本只是一个产品设计问题，突然就变成了一个关于人的问题。
再往前一步，甚至开始变成一个关于“存在”本身的问题。
我不知道答案。
但我知道，这个问题已经真的发生在我身上了。