一分钟讲清ChatGPT的底层逻辑。

混沌学园第352位老师，微软中国CTO，工程师韦青。

语言是思想的边界。这是维特根斯坦说的，我要给他再加一句：技术是思想的实现。我们都以为技术是技术，忽略到了能够把技术开发出来。

你先得有一个思想，ChatGPT实际上它只是一种提取已经被沉淀，被记忆的知识的一种交互方式。底下是什么？是Foundation Model，就是基础模型。如果用在语言上面叫做Large Language Model(大语言模型)。比方说像谷歌的Bert，像facebook 的拉码，都有不是说只是OpenAl的。

但是为什么OpenAl的GPT现在那么火？它背后是有它的技术信仰，再加上有微软的，像Satya(微软CEO技术信仰的结合，这些人是都相信。靠这种大量的语料和海量的计算，能够产生出对于知识的沉淀和应用。像Sam Altman(OpenAl创始人)已经自己也在讲。

他们后来是因为又用了一些技术方法，已经被记忆下来的模型，或者Large Language Model，又能把它拿出来用才发现原来，我两年前这个模型已经把人类的知识记下来了，只是还没有找到一个有效的办法把它提取出来。这是两步。

大家知道，第一步是拿着Large Language Model，是把人类知识先给它沉淀下来就蒸馏。但是蒸馏完之后，有点类似于什么呢？像玫瑰精油精油是没法用的。大家知道吧精油太浓了，其实你要用的话还得要基底油，用调和油把它调成比方说洗发液、沐浴露。

所以这两年时间是干这个事情。忽然发现原来用这种古铜色就是指令的方法，用这种微调的方法，用这种Prompt的方法，提示词的方法。我就能把精炼的玫瑰精油能把它拿出来滴到沐浴露中去。这东西一下子发现哪都可以用了。

混沌学园，陪伴每一个有梦想的人，思维创造美好作品，用。