Witllm/binary/readme.md

定义

梯度

1. 预测变化对整体损失 L 的影响程度, 参数θ在当前点的变化对损失值的影响方向和幅度
2. grad物理含义：loss L = 0 的时候，需要的变化量
3. w = w - grad * lr 若梯度为正，权重应该减小
4. w_grad = output_grad * input, input越大，grad越大，w调整的量越大
    1. input越大->对weight的放大倍数越大->才能达到loss=0的调整量
    2. 所以，weight的调整比例应该越大，才能弥补小input的loss=0
5. 梯度的大小反应了影响损失的“快慢”
    1. 梯度大​​ → 损失曲面陡峭 → 微小变化导致损失剧烈波动
    2. 梯度大，微小变化就可以使得loss变化一个单位
    2. 梯度大，和loss的关系越相关
6. input的梯度计算
    1. 对于repeat的操作，需要对grad_output进行sum
    2. 对于bits->index的操作，需要对grad_output进行repeat

问题

• 在一串的binary lut网络中插入一层，交换各个channel之间的数据，生成新的相同数量的channel

  1. 效果很差
     1. 好像是破坏了训练，可能是训练的方法不对,梯度下降不适合这种模型
     2. 最终分类是10，10个输出之间有关系就会很差？
  2. 模型总是在把原来的信息进行repeat，不影响最终的精度，进行全连接就有动态选择就很差
  3. 最后一层的repeat数量对精度的影响

     1. 10 因为前面的数量不够，导致精度不如10

     2. 1 and <10 因为10个输出结果中间有交叉数据（可能是最后一层交叉导致的），导致精度不如10

     3. 为什么 最后一层，10 x 80 精度不如 1 x 80 ？？？？

• LUT层梯度计算的问题

  1. 发现LUT的反向计算grad_weight没有考虑weight本来的正负符号，grad表示的是>0的置信度
     1. 考虑梯度符号之后，由于整个选择的梯度是一个，没有机会变换到别的
     2. weight_grad:后面一级计算的grad_input，对于当前weight的grad是一样的，没有机会变换到别的
     3. 当前的选择不可信后的grad会导致直接0/1整体取反,而不会改变分布
  2. 输出级别用于criterion的LUT的梯度计算和基于Binary的输出1概率的梯度的计算方式不一样
     1. LUT的是输出1的概率，不能直接和criterion的梯度进行下降
  3. grad input的目标是，要不要更换别的index
     1. 梯度的大小表示更换别的index的程度
     2. 梯度正负无所谓，需要随机？
  4. repeat是选择不同的weight，index是同样的，如果repeat出来的loss sum等0，那么这个index的不能下降，梯度等0

• unfold输出的维度不对

  1. LUT不是对卷积核进行计算,更容易收敛，但是精度没有更高
  2. LUT不是对卷积核进行计算,不容易收敛，精度差不多

• 好像只有AdamW优化器可以优化参数，明显收敛

• LUT的输出进行二值化对精度有影响，大概93->81

• LUT参数初始化为1.0，收敛速度非常快，好像比随机精度高，大概81->93

• 把input的Repeat从LutGroup移到Lut里面后

  1. 训练的收敛速度快很多（最快3epoch基本能收敛）
  2. 稳定性很大，对lr不敏感
  3. Repeat的反向由Lut统一处理，而不是pytorch自动反向，可能修复了一些维度处理的错误