diff --git a/wit/doc/train_meaning_dataset.md b/wit/doc/train_meaning_dataset.md index 539e1f7..2be30a4 100644 --- a/wit/doc/train_meaning_dataset.md +++ b/wit/doc/train_meaning_dataset.md @@ -22,4 +22,10 @@ ## 在样本的中间插入固定的token 1. 使用stride的方法,在每个token的中间插入一个固定的无用的token -2. 插入的token用或者不用于计算loss,对精度都没有提升 \ No newline at end of file +2. 插入的token用或者不用于计算loss,对精度都没有提升 +3. 使用tree的数据集,在token中间插入一些tree node,对精度都没有提升 + +## 非线性Dot + +1. A = B *C 变成 A = B *(C+D) 等价于 A = B*C + B*D +2. 增加了参数,会提升精度 \ No newline at end of file