From 297c346df930fad815cc3616d2d9b2079e96ab95 Mon Sep 17 00:00:00 2001
From: Colin <>
Date: Thu, 21 Aug 2025 13:52:34 +0800
Subject: [PATCH] Add none linear dot.

---
 wit/doc/train_meaning_dataset.md | 8 +++++++-
 1 file changed, 7 insertions(+), 1 deletion(-)

diff --git a/wit/doc/train_meaning_dataset.md b/wit/doc/train_meaning_dataset.md
index 539e1f7..2be30a4 100644
--- a/wit/doc/train_meaning_dataset.md
+++ b/wit/doc/train_meaning_dataset.md
@@ -22,4 +22,10 @@
 ## 在样本的中间插入固定的token
 
 1. 使用stride的方法，在每个token的中间插入一个固定的无用的token
-2. 插入的token用或者不用于计算loss，对精度都没有提升
\ No newline at end of file
+2. 插入的token用或者不用于计算loss，对精度都没有提升
+3. 使用tree的数据集，在token中间插入一些tree node，对精度都没有提升
+
+## 非线性Dot
+
+1. A = B *C 变成 A = B *(C+D) 等价于 A = B*C + B*D
+2. 增加了参数，会提升精度
\ No newline at end of file