35 lines
1.2 KiB
Markdown
35 lines
1.2 KiB
Markdown
|
||
1. 输入的信噪比
|
||
2. loss函数的设计
|
||
3. grad信息的应用
|
||
|
||
|
||
abs.cpu().detach().numpy()
|
||
array([[8.1206687e-02, 2.2388995e-05, 3.7080176e-02, 5.7033218e-02,
|
||
1.7404296e-03, 7.6270252e-02, 5.9453689e-02, 4.0801242e-05]],
|
||
dtype=float32)
|
||
ratio_nor.cpu().detach().numpy()
|
||
array([[4.3121886e+00, 3.2778070e-07, 8.9907879e-01, 2.1270120e+00,
|
||
1.9807382e-03, 3.8038602e+00, 2.3113825e+00, 1.0885816e-06]],
|
||
dtype=float32)
|
||
|
||
都比较差的时候区分不开
|
||
|
||
|
||
## 发现的问题
|
||
1. 3x3的时候会有重复
|
||
1. 重复的权重，虽然权重看起来都一样，但是有稍微的不同，不是完全一样
|
||
2. 3x3太小了导致了样本的信噪比太低，大部分的样本切出来都是0
|
||
2. 5x5的时候会有网格状重复
|
||
3. 7x7的时候边框区域问题
|
||
|
||
## 发现的原因
|
||
1. 几个卷积核都是重复的，网格状的
|
||
1. grad太大，learning rate 太大
|
||
2. grad太小，训练的epoch不合适
|
||
|
||
## 可能的策略
|
||
1. 每个卷积核的改变权重(grad)能量守恒
|
||
2. 卷积核的每个像素的权重都独立统计？
|
||
1. 权重的reduce体现的是相互之间的可比性，关系
|
||
3. 需要考虑梯度的绝对比值？ |