Day1上午

 Transformer

 1、你需要的僅僅是“注意力”

 2、Transformer中的block

 3、自注意力機(jī)制

 4、多頭注意力

 5、位置編碼（拋棄RNN）

 6、Batch Norm與Layer Norm

 7、解碼器的構(gòu)造

 初代GPT

 1、  “獨(dú)角獸”的威力

 2、 GPT的內(nèi)部架構(gòu)

 3、 基于Transformer的改造

 4、 自注意力機(jī)制的改進(jìn)

 Day1下午

 GPT的演進(jìn)

 1、GPT2

 2、GPT3

 3、InstructGPT

 chatGPT的原理實(shí)踐

 1、指示學(xué)習(xí)（Instruct Learning）

 2、相關(guān)數(shù)據(jù)集

 3、有監(jiān)督微調(diào)（SFT）

 4、從人類反饋中RL的思路

 5、獎勵建模（RM）

 6、PPO

 7、chatGPT的應(yīng)用領(lǐng)域

 8、chatGPT引發(fā)的討論

 chatGPT的國內(nèi)替代品

 1、問東風(fēng)AI

 2、其他替代品