2024-04-14 17:41:30 +08:00
|
|
|
|
|
|
|
|
|
|
# Train Meaning dataset
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## level and index
|
|
|
|
|
|
|
|
|
|
|
|
不同level和index对结果的影响
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 不同模型深度对结果的影响
|
|
|
|
|
|
|
|
|
|
|
|
6层相对于3层没有提升的原因，可能是数据集太小，3层已经能完全拟合
|
2025-06-25 20:13:48 +08:00
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## qk图解释
|
|
|
|
|
|
|
|
|
|
|
|
1. key[10] = 1000.0
|
|
|
|
|
|
2. 每一行数据（像素）表示一个新的token，和前面所有token的关系
|
|
|
|
|
|
|
|
|
|
|
|
|
