收集人类偏好数据（如“输出A比输出B更好”）。分词、编码（如tokenization）。预测输出质量。锻炼励模子，关于预锻炼大师能够参考这篇文章：一文楚【AI大模子预锻炼】十种预锻炼体例的焦点道理 - 今日头条选择环节层（如Transformer的留意力层、前馈层）的权沉矩阵 WW。收集取使命相关的标注数据集。打算特地开20篇文章连系现实案例深切的一下预锻炼和微调每种体例，dd为躲藏维度）。初始化前缀向量 P∈RL×dP∈RL×d（LL为长度，设置超参数：进修率（如1e-5）、锻炼轮次（epochs）。大模子预锻炼和微调是一个全体，