## 定义

### 梯度
    1. 预测变化对整体损失 L 的影响程度, 参数θ在当前点的变化对损失值的影响方向和幅度
    2. grad物理含义：loss L = 0 的时候，需要的变化量
    3. w = w - grad * lr 若梯度为正，权重应该减小
    4. w_grad = output_grad * input, input越大，grad越大，w调整的量越大
        1. input越大->对weight的放大倍数越大->才能达到loss=0的调整量
        2. 所以，weight的调整比例应该越大，才能弥补小input的loss=0
    5. 梯度的大小反应了影响损失的“快慢”
        1. 梯度大​​ → 损失曲面陡峭 → 微小变化导致损失剧烈波动
        2. 梯度大，微小变化就可以使得loss变化一个单位
        2. 梯度大，和loss的关系越相关

## 问题

* 在一串的binary lut网络中
    1. 如果每个卷积的channel相互之间没有关系
    2. 中间插入一层，交换各个channel之间的数据，生成新的相同数量的channel
    3. 方法2的效果很差
        1. 好像是破坏了训练，可能是训练的方法不对,梯度下降不适合这种模型
        2. 最终分类是10，10个输出之间有关系就会很差？
* LUT层梯度计算的问题
    1. 发现LUT的反向计算grad_weight没有考虑weight本来的正负符号，grad表示的是>0的置信度
        1. 考虑梯度符号之后，由于整个选择的梯度是一个，没有机会变换到别的
        2. weight_grad:后面一级计算的grad_input，对于当前weight的grad是一样的，没有机会变换到别的
        3. 当前的选择不可信后的grad会导致直接0/1整体取反,而不会改变分布
    2. 输出级别用于criterion的LUT的梯度计算和基于Binary的输出1概率的梯度的计算方式不一样
        1. LUT的是输出1的概率，不能直接和criterion的梯度进行下降
    3. grad input的目标是，要不要更换别的index
        1. 梯度的大小表示更换别的index的程度
        2. 梯度正负无所谓，需要随机？

* unfold输出的维度不对
    1. LUT不是对卷积核进行计算,更容易收敛，但是精度没有更高
    2. LUT不是对卷积核进行计算,不容易收敛，精度差不多
* 好像只有AdamW优化器可以优化参数，明显收敛
* LUT的输出进行二值化对精度有影响，大概94->81