2022年11月30日，OpenAI发布了大语言模型（large language model）ChatGPT，开启了人工智能时代。此前，GPT（Generative Pre-trained Transformer）模型就已经在自然语言处理领域引起了广泛关注，相关学者尝试剖析大语言模型的内部结构和工作机制。虽然由于高维非线性结构的复杂性，存在某种程度的黑盒性质，但是并非没有途径探究其底层原理。本报告从统计语言模型N元文法切入，渐次分析Word2VEC、Bert、GPT、ChatGPT的模型结构和训练方法，揭示大语言模型的语言学基础。

张金光，河北师范大学文学院讲师，2002年毕业于北京师范大学，获理学硕士学位，2018年毕业于北京大学中文系，获文学博士学位。研究方向为中文信息处理和实验语音学。