Day1上午

Transformer

1、你需要的仅仅是“注意力”

2、Transformer中的block

3、自注意力机制

4、多头注意力

5、位置编码（抛弃RNN）

6、Batch Norm与Layer Norm

7、解码器的构造

初代GPT

1、  “独角兽”的威力

2、GPT的内部架构

3、基于Transformer的改造

4、自注意力机制的改进

Day1下午

GPT的演进

1、GPT2

2、GPT3

3、InstructGPT

chatGPT的原理实践

1、指示学习（Instruct Learning）

2、相关数据集

3、有监督微调（SFT）

4、从人类反馈中RL的思路

5、奖励建模（RM）

6、PPO

7、chatGPT的应用领域

8、chatGPT引发的讨论

chatGPT的国内替代品

1、问东风AI

2、其他替代品