Witllm/unsuper

方向

1. 输入的信噪比
2. loss函数的设计
3. grad信息的应用

发现的问题

1. 3x3的时候会有重复
   1. 重复的权重，虽然权重看起来都一样，但是有稍微的不同，不是完全一样
   2. 3x3太小了导致了样本的信噪比太低，大部分的样本切出来都是0
2. 5x5的时候会有网格状重复
   1. 通过比较小的loss不断得训练（epoch很大），最终还是会变成所有kernel都一样的“网格布”
      1. 每个kernel都是数值很低的，很接近的结果
3. 7x7的时候边框区域问题

问题的调试

1. 几个卷积核都是重复的，网格状的
   1. grad太大，learning rate 太大，grad太小，训练的epoch不合适
   2. 网格状，就是为了尽量降低最终输出的绝对值，降低loss
      1. 形成4个一组，一共2组，的形式，交替成为最大值，把另外一组的输出降低，最后都输出最低的绝对值
      2. 需要类似batchnormal的方式对各个conv核心之间进行归一化
   3. 采用label不改变原来sample output的 abs均值的限制，也就是不改变所有卷积核输出的总能量
      1. 生成2个分别交替充当最大值的极端（只有2个像素不是0）的卷积核，
      2. 其他的几个卷积核都是输出接近0的网格
      3. 为什么生成了极端的卷积核？为什么还是有相同的卷积核？是不是数据集导致了这样的结果？
      4. 多个卷积核之间需要有差异，同一个卷积核的不同样本输入也要有差异，卷积核的分布要有要求
      5. 每个卷积核尽量平摊权重到所有像素，而不是集中一个像素？提高鲁棒性？
      6. 采用自动的ratio增益控制之后，好像没有重复了卷积核了，但是还有极端的2个像素有效的卷积核

可能的策略

1. 每个卷积核的改变权重(grad)能量守恒
2. 卷积核的每个像素的权重都独立统计？
   1. 权重的reduce体现的是相互之间的可比性，关系
3. 需要考虑梯度的绝对比值？