位置编码 Sinusoidal RoPE从顺序走到感知：AI位置编码笔记一个好的位置编码应该满足以下需求： 1. **唯一性**：每个位置有唯一的编码 2. **泛化性**：能处理比训练时更长的序列 3. **相对… 醉月思📁 技术实践📅 2024-12-07
位置编码 RoPE ALiBi Transformer 深度学习从位置走到信息：AI位置编码笔记之前用绝对位置编码，生成到1000+token时效果明显变差。 醉月思📁 学习笔记📅 2024-08-12
