34 lines
2.0 KiB
Markdown
34 lines
2.0 KiB
Markdown
|
||
## 方向
|
||
1. 输入的信噪比
|
||
2. loss函数的设计
|
||
3. grad信息的应用
|
||
|
||
## 发现的问题
|
||
1. 3x3的时候会有重复
|
||
1. 重复的权重，虽然权重看起来都一样，但是有稍微的不同，不是完全一样
|
||
2. 3x3太小了导致了样本的信噪比太低，大部分的样本切出来都是0
|
||
2. 5x5的时候会有网格状重复
|
||
1. 通过比较小的loss不断得训练（epoch很大），最终还是会变成所有kernel都一样的“网格布”
|
||
1. 每个kernel都是数值很低的，很接近的结果
|
||
3. 7x7的时候边框区域问题
|
||
|
||
## 问题的调试
|
||
1. 几个卷积核都是重复的，网格状的
|
||
1. grad太大，learning rate 太大，grad太小，训练的epoch不合适
|
||
2. 网格状，就是为了尽量降低最终输出的绝对值，降低loss
|
||
1. 形成4个一组，一共2组，的形式，交替成为最大值，把另外一组的输出降低，最后都输出最低的绝对值
|
||
2. 需要类似batchnormal的方式对各个conv核心之间进行归一化
|
||
3. 采用label不改变原来sample output的 abs均值的限制，也就是不改变所有卷积核输出的总能量
|
||
1. 生成2个分别交替充当最大值的极端（只有2个像素不是0）的卷积核，
|
||
2. 其他的几个卷积核都是输出接近0的网格
|
||
3. 为什么生成了极端的卷积核？为什么还是有相同的卷积核？是不是数据集导致了这样的结果？
|
||
4. 多个卷积核之间需要有差异，同一个卷积核的不同样本输入也要有差异，卷积核的分布要有要求
|
||
5. 每个卷积核尽量平摊权重到所有像素，而不是集中一个像素？提高鲁棒性？
|
||
6. 采用自动的ratio增益控制之后，好像没有重复了卷积核了，但是还有极端的2个像素有效的卷积核
|
||
|
||
## 可能的策略
|
||
1. 每个卷积核的改变权重(grad)能量守恒
|
||
2. 卷积核的每个像素的权重都独立统计？
|
||
1. 权重的reduce体现的是相互之间的可比性，关系
|
||
3. 需要考虑梯度的绝对比值？ |