历史上有过3次人工智能热潮： 1950年代，计算机在算法层面实现感知器模型实现模拟神经元，可以自动完成某些分类任务了。但算力瓶颈无法逾越。 1980年代，BP算法提出，实现了多层神经网络，敲开了非线性分类问题的大门。但是BP算法存在梯度消失问题。 2010年，深度学习抑制了梯度消失问题，同时强化了特征提取。效果是在语音和图像处理领域取得了大幅进展。 2015年12月，OpenAI成立。 2017年，关于OpenAI是否转型为营利机构，苏茨克维和布洛克曼抵制马斯克，马斯克淡出。 2017年，Google发布论文《Attention Is All You Need》，首次提出Transformer模型。LLM是NLP自然语言处理领域中的一种特定类型的语言模型，建立在Transformer架构上。OpenAI立刻开发了GPT(Generative Pre-trained Transformer)系列模型。 2018年，OpenAI发布GPT-1。
