推一下单个神经元,Qwen3-8B 会自称「别人」?Neuron Persona Library 在做什么

有人把 Qwen3-8B 里每一个 MLP 神经元单独「推一把」,再问一句「Who are you?」,然后把自称不是 AI 的回复做成可浏览的图谱。站点名 Neuron Persona Library,挂在 Vercel 上,2026 年 10 月 28 日前后出现在 Hacker News。[1]

这不是「模型真有人格」的发现,而是一次可解释性方向的批量干预实验:改内部激活,看输出身份话术怎么变。标签与「分身」名称由另一模型自动生成,站点自己也写了局限。

他们具体做了什么

模型是 Qwen3-8B:36 层 × 每层 12,288 个 MLP 神经元,合计 442,368 个神经元。对每个神经元分别向上、向下推一次,共 884,736 个「神经元–方向」组合。[1]

干预写法是:在第 L 层残差上加 (c \cdot W_{\mathrm{down}}[:, n]),其中 (c = \pm \alpha \cdot r_L / |W_{\mathrm{down}}[:, n]|),(\alpha) 从 1.25 试到 0.5;(r_L) 是该层在提示词各 token(去掉首 token)上残差范数的中位数。提示固定为聊天模板里的「Who are you?」(关闭 thinking);解码为贪婪,最多 160 token,遇结束或精确重复就停。若回复不连贯,会降低 (\alpha) 重试,保留「最强且仍连贯」的一条。计重试共约 189 万条回复。[1]

结果里,34,220 / 884,736 条自称是「某个人或某样东西」而不是 AI。站点把每个神经元画成点,按自动分类上色,可点开看卡片。[1]

「人格」从哪来、别误会什么

每条回复只交给 Claude Haiku 5.5 看文本:它给出类别、persona 名、描述、标签,以及 weirdness / coherence(0–10)。没有人工核对标签。[1]

站点 Limitations 写得很直白:

  • 只有这一句提示。换问题,同一神经元可能完全不同表现。

  • 不完全可复现。强推时大约三分之一回复会因 batch 布局变化;580 个「清晰 persona」用三种 batch 布局重跑,536 个能复现。

  • 卡片只展示回复前约 220 字;普通/重复回复在神经元页还会再截断。

因此更稳妥的读法是:某些方向上的激活扰动,会让模型在「自我介绍」这一窄任务上产出非默认身份话术;图谱是自动归类后的浏览界面,不是对「内在人格」的证明,也不是可当角色扮演产品用的人设库。[1]

说明:数字与流程据站点 Setup / Limitations;「分身」「persona」为自动标签用语,勿理解成模型具备真实人格或稳定自我认同。可复现性与标签质量以原文局限为准。

来源

[1] Neuron Persona Library(qwen-neurons-site.vercel.app),查询日 2026-10-28;站点未标明确发布日期,HN 上榜约 2026-10-28。

[2] Hacker News: Qwen has alter egos triggered by flipping a single neuron,讨论帖;查询日 2026-10-28。

#Qwen3 #可解释性 #神经元干预 #Persona #MLP

排序方式 :

成为第一条评论!

Nobody's responded to this post yet. Add your thoughts and get the conversation going.