剛小步快跑了一波GPT 5.1，主打讓大模型說人話，OpenAI又在可解釋性上做文章了。

真的是paper的那種。

論文公開了OpenAI內(nèi)部一種訓(xùn)練小模型的新方法，能讓模型的內(nèi)部機(jī)制更容易被人類理解，即更具可解釋性。

OpenAI自己是這樣介紹的：

• ChatGPT背后的語(yǔ)言模型具有復(fù)雜且時(shí)長(zhǎng)令人驚訝的結(jié)構(gòu)，我們尚未完全了解它們是如何工作的。
  這種方法有助于我們縮小其中的差距。

簡(jiǎn)單來說，在這項(xiàng)研究中，OpenAI研究員們的核心思路是：訓(xùn)練神經(jīng)元連接少、但神經(jīng)元數(shù)量多的稀疏模型，讓神經(jīng)網(wǎng)絡(luò)變得簡(jiǎn)單，也更容易理解。

如果你對(duì)模型可解釋性感興趣，這篇論文值得一讀。

而對(duì)于OpenAI的難得open，還有不少網(wǎng)友關(guān)心：那么新的小模型系列要來了嗎？

通過稀疏模型理解神經(jīng)網(wǎng)絡(luò)

來看具體研究?jī)?nèi)容。

OpenAI研究員們認(rèn)為，推理模型通過思維鏈展現(xiàn)出的可解釋性在短期內(nèi)非常有價(jià)值，能讓我們捕捉到模型的“欺騙”等行為。但完全依賴這一特性顯然不太可靠，隨著時(shí)間的推移，這種策略也可能會(huì)失效。

想要更本質(zhì)地理解模型機(jī)制，還是需要對(duì)模型的計(jì)算過程進(jìn)行完全逆向工程。

問題在于，從復(fù)雜密集網(wǎng)絡(luò)入手，難度非常大：每個(gè)神經(jīng)元都與其他數(shù)千個(gè)神經(jīng)元相連，不同的神經(jīng)元又執(zhí)行著許多不同的功能，這讓理解它們看上去幾乎不可能。

那么，能否訓(xùn)練一個(gè)擁有很多神經(jīng)元，但每個(gè)神經(jīng)元只有幾十個(gè)連接的模型，來幫助人們理解模型機(jī)制呢？

基于這一核心思路，OpenAI的研究人員訓(xùn)練了一個(gè)小模型：采用的還是現(xiàn)代語(yǔ)言模型的基礎(chǔ)架構(gòu)（類似GPT-2），只做了一個(gè)小小的改動(dòng)——

強(qiáng)制將模型的大部分權(quán)重設(shè)為0。

評(píng)估可解釋性

有了這個(gè)稀疏模型，下一步，研究人員的目標(biāo)是，找出模型在每一項(xiàng)任務(wù)中的“回路（circuit）”。