今日paper(3/25) - MAGPIE

https://drive.google.com/file/d/1Y9FyjK9hDppJJo_VH4TkHGnWs-nYNJLW/view?usp=sharing

重点:

1. 因为auto regressive, 模型可以根据 Pre_query 补全后面的User一般问的问题 也就是我们需要的instruction 建立起 Pre_query template → instruction → response

2. 生成domain specific instruction… 通过扮演领域chatbot

优势:

1. diversity → t-SNE full coverage
2. 高效 需要样本量少
3. 可控 → 可以control task category做专业领域数据集 和 instruction language
4. 全流程自动
5. 成本低 自己租服务器(paper里用的lambda ai) 高精度少样本量即可涵盖