Witllm/wit/doc/train_meaning_dataset.md

20 lines
449 B
Markdown
Raw Normal View History

2024-04-14 17:41:30 +08:00
# Train Meaning dataset
## level and index
不同level和index对结果的影响
![alt text](level_and_index.png)
## 不同模型深度对结果的影响
6层相对于3层没有提升的原因可能是数据集太小3层已经能完全拟合
![alt text](model_level_number.png)
## qk图解释
1. key[10] = 1000.0
2. 每一行数据像素表示一个新的token和前面所有token的关系
![alt text](q@k_seq_47_layer_0.png)